Data Engineer/Дата-инженер

Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data Engineer/Дата-инженера.

ЗАДАЧИ, КОТОРЫЕ ПРЕДСТОИТ РЕШАТЬ :

• Разработка и поддержка ETL/ELT-пайплайнов для выгрузки данных из API внешних площадок (маркетплейсы, сервисы погоды, и прочие сервисы) в хранилище (MSSQL, PostgreSQL, ClickHouse);

• Оркестрация процессов с помощью Apache Airflow: миграция существующих cron-скриптов в управляемые DAG-и, настройка зависимостей, мониторинг и перезапуск процессов;

• Оптимизация производительности SQL-запросов и хранимых процедур: настройка индексов, партиционирование, анализ планов выполнения;

• Поддержка и в будущем миграция OLAP-кубов на базе Microsoft Analysis Services (SSAS Tabular) в DWH хранилище;

• Подготовка витрин данных для аналитиков и BI-систем: проектирование схем, наполнение данными, контроль качества;

• Настройка и сопровождение инфраструктуры для аналитиков: Jupyter Notebook/JupyterHub, обеспечение быстрого доступа к данным;

• Мониторинг состояния пайплайнов и отправка уведомлений (в различные каналы) о статусе выполнения задач.

НАШИ ОЖИДАНИЯ:

• Высшее, неоконченное высшее образование;

• Опыт коммерческой разработки ETL-процессов от 2-х лет;

• Уверенное знание SQL (сложные запросы с оконными функциями, CTE, оптимизация, хранимые процедуры, триггеры);

• Опыт работы с реляционными СУБД: MSSQL, PostgreSQL (администрирование на уровне запросов, настройка производительности);

• Практический опыт разработки на Python: написание ETL-скриптов с использованием pandas, SQLAlchemy, requests; интеграция с REST API;

• Опыт оркестрации процессов: Apache Airflow (понимание архитектуры DAG, Operators, Scheduler, настройка подключений);

• Навыки работы с BI-инструментами на уровне подключения и оптимизации датасетов (Yandex DataLens: подключение к БД, создание датасетов, оптимизация производительности запросов);

• Понимание жизненного цикла данных, принципов построения DWH (схемы…