Data Engineer senior (DWH, ETL)

Пожалуйста пишите в сопроводительном письме Вашу локацию и ожидания по з.пл.

О проекте:

Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.

Задачи:

• Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)

• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python

• Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы

• Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill

• Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов

• Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег

• Вести документацию и каталог данных

Требования:

• Опыт в Data Engineering / DWH от 5 лет

• Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация

• Python на уровне production-кода

• Опыт ETL/ELT: Airflow и Spark

• Понимание моделирования хранилищ и инкрементальной загрузки

• Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах

• Kafka или RabbitMQ, Docker, Git, CI/CD

• Опыт код-ревью и наставничество

• dbt в продакшене

• Apache Iceberg (или Delta/Hudi), Trino

• Debezium и CDC

• Инструменты data quality и каталоги данных

• Kubernetes, on-prem-инфраструктура

Условия:

• Полная занятость с графиком 5/2

• Удалённый формат работы

• Работа в аккредитованной ИТ-компании

• Работа с современным стеком технологий и крупными игроками рынка

• Официальное трудоустройство по ТК РФ или ИП РФ