Data Engineer (DWH / NRT)

Чем предстоит заниматься:

• Проектирование и развитие архитектуры DWH: Применение системного подхода к моделированию корпоративного хранилища данных, проектирование детального слоя данных ( DDS / Data Vault) и витрин данных.

• Сопровождение и масштабирование хранилища: Развитие экосистемы DWH на базе Greenplum, Clickhouse и PostgreSQL .

• Разработка контуров пакетной и NRT-обработки: Создание, оптимизация и поддержка ETL/ELT процессов (batch) и стриминговых потоков данных ( Near Real-Time ).

• Работа с dbt: Построение, организация и оркестрация слоя трансформаций данных с использованием dbt , обеспечение качества данных (data quality) и версионирования моделей.

• Оптимизация производительности: Разработка хранимых процедур, функций и экспертная оптимизация сложных SQL-запросов под архитектурные особенности MPP (Greenplum) и колоночных (Clickhouse) СУБД.

• Интеграция со смежными командами: Взаимодействие с BI-аналитиками и разработчиками для обеспечения прозрачного Data Lineage и высокого качества аналитических данных.

Обязательные требования:

• Стек и базы данных: Уверенное знание SQL (аналитические функции, CTE, JOIN), опыт работы и оптимизации PostgreSQL (PL/pgSQL), Greenplum (MPP) и Clickhouse .

• Трансформация и оркестрация: Практический опыт работы с dbt (материализации, тесты, документация) и Apache Airflow .

• Разработка и инструменты: Уверенное владение Python для задач дата-инженерии, знание Git и базовых CI/CD практик.

• Аналитический склад ума: Умение разбираться в чужом коде, проводить рефакторинг и вносить необходимые изменения в существующие ETL-пайплайны.

Желательно (будет плюсом):

• Архитектурный бэкграунд: Понимание системного подхода к проектированию DWH, методологий моделирования данных (Kimball, Inmon, Data Vault 2.0) и построения слоев данных ( DDS ).

• Стриминг и NRT: Опыт работы с Apache Kafka (проектирование топиков, интеграция, delivery guarantees) и реализации Near Real-Time контуров (включая ClickHouse Kafka Engine).

•…