Data Engineer (разработчик DWH)

X5 — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик», 5Post, «Много Лосося» и медиаплатформой Food.ru.

X5 Tech - IT-компания и основной цифровой партнер торговых сетей и бизнесов X5. Команда из более 6000 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.

В X5 Технологии открыта позиция "Инженер данных\DWH разработчик"

Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3

Обязанности:

• Сбор требований с бизнес-заказчиков и анализ источников данных

• Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink

• Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок

• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

Требования:

• Общее представление о стеке технологий Lakehouse

• Понимание различия работы между BigData/Lakehouse и с данными обычного размера

• Знание SQL (индексы, функции, оптимизация, профилирование производительности)

• Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)

• Умение работать с Git (знание команд git pull/commit/push)

• Опыт работы с DBT, Cosmos

• Представление о работе с Trino

• Понимание устройства Iceberg, форматов данных

• Понимание работы с minio или любого другого хранилища на основе S3

• Опыт использования системами ведения проектов и документации

• Знания основ программирования (JAVA, Python).

Условия:

• Официальное оформление с белой ЗП

• Полугодовые премии по результатам работы

• Возможность работать удалённо или в гибридном…