Senior Data Engineer

Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.

Обязанности

• Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных;

• Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников;

• Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC;

• Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse;

• Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков;

• Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков;

• Участвовать в архитектурных решениях и код-ревью, развивать каталог данных.

Требования

• Опыт в Data Engineering от 4–5 лет;

• Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов;

• Уверенное знание SQL и Python;

• Опыт работы с dbt в продакшене: модели, тесты и CI;

• Опыт разработки и эксплуатации DAG в Apache Airflow;

• Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ;

• Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности;

• Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки;

• Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git.

Будет плюсом

• Опыт загрузки данных из MS SQL или 1С;

• Знание Debezium и CDC;

• Опыт работы с dlt и OpenMetadata;

• Знакомство с платёжными и персональными данными;

• Опыт работы с on-prem инфраструктурой.

Условия

• Конкурентную заработную плату — обсудим после собеседования;

• Удалённый…