Senior Data Engineer (MLops)

X5 Tech - IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 5000 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.

Команда Данные и Мониторинги вертикали Орбита занимается формированием данных для процессов ценообразования X5.

В продукте реализуется масса различных интеграции, задачи также включают аналитику, разработку и продуктивизацию ML и LLM моделей. В роли DE/ML кандидату предстоит заниматься продуктивизацией и маштабированием ETL пайплайнов, ML сервисов и развитием кодовой базы. Принципиальным для рали является уверенное знание Python, SQL, Airflow, Spark, а также подходов к распределенной обработке данных на стеке Hadoop/Trino/HDFS/S3. Большим плюсом будет опыт работы с K8s и разработки микросервисов.

Стек:

• PySpark{3,4} / Trino

• Kubernetes / Minio / Iceberg / Clickhouse / PostgreSQL

• Kafka

• Airflow 2.11

• Python3

• FastAPI

• Docker

Обязанности:

• Разрабатывать собственную систему мониторинга цен и участвовать в развитии её архитектуры

• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)

• Продуктивизировать ML и LLM модели в процессы обработки данных

• Автоматизировать интеграцию данных из внешних и внутренних источников

• Настраивать хранение и доступность данных

• Делать платформу более надёжной, масштабируемой и удобной

• Развивать систему мониторинга цен и сбора данных для процессов ценообразования: собирать данные из разных источников, очищать, трансформировать и готовить их для процессов ценообразования, обеспечивая стабильный и масштабируемый поток данных.

• Интегрировать ML и LLM модели в процессы и обеспечивать их отказоустойчивость и маштабирование

Условия:

• Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;

• Возможность работать удалённо или в…