Data Engineer DLH / Инженер данных Data Lakehouse

A2 Consulting – представитель группы компаний КОРУСКонсалтинг, резидент ПВТ, команда профессионалов в области внедрения систем бизнес-анализа (BI) и корпоративных хранилищ данных (DWH) на предприятиях различных отраслей с покрытием региона СНГ, EU и USA.

Наша основная задача – предоставлять своим клиентам конкурентные преимущества посредством построения (внедрения) современных систем в сфере данных – DataGovernance, DataWareHouse и Buisness Intelligence.

В связи с активным ростом группа компаний A2 Consulting ищет в свою команду Data Engineer для участия в проектах по внедрению решений класса Data Lakehouse (DLH).

🔹 Что мы ищем в кандидатах:

• Опыт работы в качестве Data Engineer от 2 лет

• Уверенное знание SQL и реляционных баз данных

• Уверенное знание Python;

• Опыт работы с оркестраторами ETL-процессов (Apache Airflow).

• Понимание концепций Data Lakehouse и медальонной архитектуры;

• Опыт построения ETL/ELT pipelines (пакетная и потоковая обработка);

🔹 Что будет входить в обязанности:

• Проектирование, разработка и поддержка ETL/ELT-процессов загрузки данных из источников в Data Lakehouse;

• Разработка трансформаций данных по слоям решения;

• Сбор витрин данных по разработанному ТЗ для сервисов и BI-аналитики;

• Настройка и сопровождение оркестрации пайплайнов в Apache Airflow;

• Работа с табличным слоем на Apache Iceberg и объектным хранилищем;

• Участие в контроле качества данных;

• Написание документации, комментирование кода;

• Взаимодействие с Data-аналитиками и архитекторами для создания новых и оптимизации существующих витрин.

🔹 Будет плюсом:

• Опыт работы с объектным хранилищем (S3-совместимое MinIO/ Ceph) и табличными форматами (Apache Iceberg / Hudi / Delta);

• Опыт работы с Apache Spark;

• Опыт работы с SQL-движками Trino / Presto;

• Опыт работы с Apache Kafka и CDC (Debezium);

• Опыт работы с dbt;

• Опыт внедрения решений на Kubernetes;

• Опыт работы в банковской / финансовой сфере;

• Знакомство с инструментами data…