Senior/Middle Data Engineer

Чем предстоит заниматься

• Разрабатывать и сопровождать ETL/ELT-пайплайны.

• Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.

• Проектировать и реализовывать интеграции и потоки данных.

• Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.

• Оптимизировать запросы, пайплайны и процессы обработки данных.

• Анализировать и устранять инциденты, повышать стабильность процессов.

• Участвовать в code review и развитии стандартов разработки.

• Реализовывать и поддерживать проверки качества данных.

• Взаимодействовать с аналитиками, Data Scientists и другими командами.

• Участвовать в развитии Data Platform и технической документации.

• Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.

Что важно

• Уверенный SQL и Python.

• Практический опыт работы с Apache Airflow.

• Опыт разработки ETL/ELT-пайплайнов.

• Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.

• Опыт работы с MPP СУБД, предпочтительно Greenplum.

• Понимание принципов оптимизации запросов и пайплайнов.

• Опыт работы с Git и code review.

• Понимание принципов Data Quality и Data Governance.

Будет плюсом

• Опыт работы с ClickHouse и S3.

• Понимание Data Vault.

• Опыт настройки мониторинга и алертинга.

• Знакомство с каталогами данных, например OpenMetadata.

• Опыт CI/CD и DevOps-практик.