Дата- инженер/ Разработчик DWH

Чем предстоит заниматься:

• Проектировать и разрабатывать пайплайны загрузки данных из источников в единый интеграционный слой

• Настраивать CDC через Debezium + Kafka, обрабатывать insert/update/delete, late data, дубли, эволюцию схем

• Разрабатывать ETL-процессы на Informatica PowerCenter, Оркестрация потоков через Airflow

• Поддерживать загрузку данных в режиме 1:1 с источником, контролировать полноту и целостность

• Разрабатывать трансформации в преддетальном слое: приведение типов, форматов, структур, ключей и справочников к виду DWH на Oracle

• Работа с Impala/Hadoop + spark при интеграции данных с источника

• Обеспечивать работу как батчевых, так и near-real-time (NRT) пайплайнов

• Вести документацию, data lineage, метаданные, участвовать в code review

• Работать в кросс-функциональной команде с аналитиками, QA, DBA, архитектором и бизнес-заказчиком

Что мы ожидаем:

• Опыт в Data Engineering от 3 лет

• Уверенный SQL

• Опыт оркестрации пайплайнов в Airflow

• Опыт работы с Kafka и Debezium, понимание CDC

• Опыт обработки JSON/XML и приведения полуструктурированных данных к табличному виду

• Понимание принципов DWH, слоёв хранилища, историчности, SCD, Data Quality

• Опыт работы с батчевыми и NRT-пайплайнами

• Python или другой язык для автоматизации и обработки данных

• Git, понимание процессов релиза

Будет плюсом:

• Опыт с несколькими источниками: 1С, SAP, API, реляционные БД

• Опыт работы с Oracle, PL/SQL

• Опыт работы с большими объёмами данных и стримингом

• Опыт с Great Expectations, dbt или другими DQ-инструментами

• Понимание архитектуры DWH и построения бизнес-сущностей из нескольких источников

• Опыт разработки ETL-процессов на Informatica PowerCenter

Что мы предлагаем взамен:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI

• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный…