Data Engineer

Требования к кандидату на позицию Data Engineer (DWH)

Основные задачи

• Разработка и сопровождение ETL/ELT-процессов

• Интеграция данных из различных источников

• Разработка и поддержка витрин данных и DWH

• Оптимизация SQL-запросов и производительности пайплайнов

• Мониторинг качества и корректности загрузок данных

Обязательные требования

Базы данных

• Практический опыт работы с:

• Oracle Database

• PostgreSQL

• Уверенное знание SQL:

• сложные JOIN

• оконные функции

• CTE

• оптимизация запросов

• аналитические функции

• Понимание принципов построения DWH:

• Star Schema

• Snowflake Schema

• основы Data Vault

ETL / Оркестрация

• Опыт работы с Apache Airflow:

• разработка и поддержка DAG

• настройка зависимостей

• мониторинг задач

• Опыт разработки ETL/ELT-процессов

Разработка

• Хорошее знание Python:

• работа с данными

• автоматизация процессов

• интеграция с API

• обработка файлов (CSV, JSON, XML)

• Опыт работы с Git

Будет плюсом

• Опыт работы с:

• Kafka

• Greenplum

• Знание Linux

• Опыт контейнеризации (Docker)

• Понимание CI/CD процессов

• Опыт работы с большими объемами данных

Ожидаемые компетенции

• Внимательность к качеству данных

• Аналитическое мышление

• Умение разбираться в сложных интеграциях

• Самостоятельность в решении технических задач

• Навыки командной работы

Требования по опыту

Middle Data Engineer

• Опыт работы от 2 лет

• Опыт промышленной разработки ETL-процессов

• Хорошее знание SQL и Python

Senior Data Engineer

• Опыт работы от 4–5 лет

• Опыт проектирования DWH и сложных пайплайнов

• Опыт оптимизации производительности и архитектурных решений

• Наставничество младших инженеров