Data-инженер (middle+/senior), ритейл

Мы в поисках data-инженера на проект крупного ритейлера.

Чем предстоит заниматься:

• Создавать и развивать Spark-пайплайнов, в том числе Structured Streaming.

• Проектировать модульные и динамические DAG, разрабатывать кастомные операторы, сенсоры и хуки.

• Заниматься построением слоистой модели в dbt (staging, intermediate, marts): реализация incremental‐моделей, снимков (snapshots), макросов, настройка Slim CI.

• Проектировать структуры Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных.

• Участвовать в выборе архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки.

• Настроивать CI/CD‐процессы в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals).

• Внедрять DQ‐фреймворки (например, Great Expectations), настроивать метрики качества данных и алертов.

• Заниматься развитием Semantic Layer (Cube, MetricFlow) и выстраиванием lineage в DataHub.

• Составлять дата‐контракты.

Для нас важно:

• Опыт в data‐инжиниринге от 4 лет.

• Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода.

• Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи.

• Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД.

• Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator.

• Высокий уровень владения dbt.

• Навыки эффективной работы с Git: владение командами rebase и cherry‐pick, организация версионирования релизов.

• Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы.

• Работа с S3: настройка lifecycle‐правил и управление версионированием объектов.

• Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией…