Middle Data Engineer

«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.

Мы развиваем data-driven культуру и расширяем команду данных. Ищем Middle Data Engineer, который поможет развивать платформу данных (DWH и Data Lake), настроит надежные пайплайны пакетной и потоковой обработки на Spark и Airflow, а также обеспечит команду аналитики быстрыми витринами для нашего корпоративного BI-инструмента — Apache Superset.

Чем предстоит заниматься:

• Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.

• Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.

• Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.

• Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.

• Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).

• Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

Что мы ждем от кандидата:

• Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.

• Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).

• Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.

• Практика работы с СУБД и хранилищами:

• PostgreSQL (реляционное моделирование, индексы…