Senior Data Engineer

Обязанности:

• Развитие новой функциональности:

• Разрабатывать новые ETL/ELT-процессы обработки и доставки данных из корпоративных систем в ядро хранилища. Модифицировать и улучшать существующие процессы;

• Разрабывать dbt модели;

• Разрабывать DAG в Airflow, настраивать контроль SLA, мониторинг и алерты, обрабатывать инциденты при сбоях загрузок;

• Проектировать и оптимизировать таблицы и витрины в ClickHouse для аналитичских команд и BI-систем;

• Разрабатывать контроли качества данных используя фреймворки Great Expectations и dbt-tests;

• Описывать технические части итоговой работы в документации.

• Улучшение того, что уже есть:

• Исследовать проблемные места в текущей реализации и предлагать способы решения проблем;

• Проводить оптимизацию задач с недостаточной производительностью;

• Проводить рефакторинг кода;

• RnD и взаимодействие со смежными командами:

• Проводить исследования различных инстументов для работы с данными;

• Взаимодействовать с командами смежных систем для выбора оптимальных решений при проектировании изменений.

Требования:

• Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса);

• Понимать принципы работы Airflow (даги, таски, операторы, сенсоры, хуки, контекст);

• Уверенный опыт работы с Python достаточный для разработки операторов в Airflow (ООП).

Будет плюсом:

• Опыт работы с системами мониторинга (Prometheus + Grafana, Open Telemetry, Sentry);

• Опыт работы с СУБД Clickhouse;

• Опыт работы с технологиями и инструментами для работы с большими данными Spark (PySpark).

Условия:

• График работы: 5/2 с 09:00 до 18:00 (в пятницу до 16:45);

• Работа в аккредитованной Минцифры ИТ-компании;

• Конкурентоспособная заработная плата (обсуждается по результатам собеседования);

• Соцпакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно-курортное лечение;

• Возможность расти как вертикально, так и повышать уровень своих профессиональных и…