Инженер по обработке данных (Data Engineer) / Управление по управлению данными

Обязанности:

• Проектировать и развивать архитектуру корпоративного хранилища данных (DWH) с акцентом на регуляторные и комплаенс-витрины (RegTech).

• Разрабатывать и оптимизировать надежные, отказоустойчивые ETL/ELT-пайплайны с гарантией качества и неизменяемости исторических данных.

• Формировать слой витрин данных (Data Marts) и интегрировать DWH с BI-системами (Power BI, Apache Superset, Tableau или FineBI) для управленческой отчетности.

• Настраивать Data Quality проверки, логирование, мониторинг и валидацию данных, поступающих из разнородных источников (OLTP, API, плоские файлы).

• Вести техническую документацию, поддерживать каталог данных и lineage (прослеживаемость трансформаций от источника до отчета).

Требования:

• SQL и СУБД: Уверенное владение продвинутым SQL (оконные функции, оптимизация сложных аналитических запросов, работа с планами выполнения). Опыт работы с колоночными и аналитическими БД (ClickHouse, Greenplum, Snowflake) или реляционными СУБД (PostgreSQL).

• Стек ETL/ELT: Практический опыт работы с современными оркестраторами (Apache Airflow, Prefect, Dagster) и инструментами трансформации данных (dbt).

• Языки программирования: Уверенный Python (pandas, polars, SQLAlchemy, pyspark) для построения коннекторов, парсинга и обработки данных.

• Моделирование данных: Глубокое понимание методологий проектирования DWH (Data Vault 2.0, модель Кимбалла/звезда/снежинка).

• Интеграция с BI: Практический опыт выстраивания моделей данных под управленческий учет и BI-инструменты (Power BI, Superset и аналоги), понимание концепции семантического слоя.

• Data Governance & Quality: Опыт внедрения проверок качества данных (Great Expectations, dbt tests) и обеспечения аудируемости (Data Lineage).

• Высшее образование (ИТ, математика, экономика).

• Опыт работы от 3 лет в Data Engineer.

• Знание языков (русский и английский язык).

Профессиональные навыки (сертификаты, знание спец. компьютерных программ и др.):

• Опыт работы в банковском или…