Senior ML Backend/MLOps Engineer (Лояльность)

Мы - Управление развития искусственного интеллекта блока "Развитие клиентского опыта B2C". В нашей зоне ответственности ML-решения, результаты работы которых ежедневно влияют на поведение десятков миллионов клиентов.

Развитие клиентского опыта – динамический и активно развивающийся процесс. Совместно с бизнесом мы проводим десятки различных экспериментов ежемесячно, и лучшие из них оформляем в полноценные ML продукты. Совокупные финансовые эффекты от наших продуктов > 1 млрд. руб. в год.

Обязанности

• проектировать и развивать end-to-end пайплайны для ML-решений в рамках программы Лояльности: от поставки данных и обучения до A/B-тестирования и вывода моделей в production

• декомпозировать и рефакторить существующие решения (в том числе полу-ручные MVP) в высоконагруженные, отказоустойчивые микросервисы на Python

• тестировать и оптимизировать PySpark ETL/ELT-пайплайны: профилировать узкие места, настраивать джобы, работать с партиционированием и форматом хранения данных для обеспечения производительности на больших объёмах

• разрабатывать внутренние Python-библиотеки и стандарты разработки для переиспользования кода командами Data Science.

Требования

• опыт от 3 лет в разработке на Python, из них от 2–3 лет в роли MLOps Engineer, Data Engineer или Backend-разработчика в ML-платформах

• уверенная работа с экосистемой Big Data: опыт работы, тестирования и оптимизации PySpark-пайплайнов, Apache Airflow (или аналоги), Kafka, Docker/Kubernetes (K8s), S3/HDFS

• опыт проектирования архитектуры ML-решений: понимание микросервисов, асинхронности, паттернов проектирования

• понимание полного цикла жизни ML-модели: от подготовки данных и feature engineering до мониторинга в проде (MLflow, Prometheus/Grafana или аналоги).

будет плюсом:

• опыт автоматизации CI/CD для полного цикла ML (обучение, валидация, развёртывание моделей) с использованием GitLab CI или Jenkins

• понимание PySpark на уровне администратора/архитектора: тонкая настройка кластеров, управление…