Senior ML Platform Engineer (Python Backend / MLOps)

Ищем сильного Python-инженера , который понимает специфику машинного обучения и умеет работать на стыке разработки, ML и инфраструктуры.

Основной фокус - Python Backend, Model Serving, оптимизация CPU/GPU, автоматизация MLOps и Spark в Kubernetes.

Обязанности:

• Разработка ML-сервисов:

• Анализировать исследовательский код и прототипы Data Scientists, превращать их в надёжные производственные сервисы для классического ML и Deep Learning.

• Разрабатывать API инференса, предобработку и постобработку данных, обработку ошибок и тесты.

• Обеспечивать воспроизводимость результатов модели между исследовательской и производственной средой.

• Совместно с DS формировать требования к признакам в Feature Store и взаимодействовать с Data Engineers.

• Формировать требования к контрактам для взамодействия с другими сервисами совместно с Архитектором

• Производительность и ресурсы для сервисов:

• Проводить нагрузочные тесты, профилировать и оптимизировать ML-сервисы.

• Подбирать CPU/GPU, RAM, количество реплик и параметры параллелизма с учётом производительности и стоимости ресурсов.

• Развивать инференс Deep Learning и LLM-моделей в Kubernetes.

• Исследовать способы эффективного использования и разделения GPU, включая MIG и HAMi.

• Мониторинг и надёжность:

• Разрабатывать метрики, мониторинг и оповещения для ML-сервисов.

• Контролировать задержки инференса, пропускную способность, ошибки, использование CPU/GPU и памяти.

• Анализировать логи и метрики, выявлять причины деградации производительности и сбоев.

• Совместно с DS автоматизировать сбор показателей качества моделей и входных данных.

• Повышать отказоустойчивость и стабильность ML-сервисов.

• Автоматизация MLOps:

• Развивать единые подходы к хранению, версионированию и управлению датасетами, моделями и артефактами.

• Автоматизировать запуск ML-задач, управление окружениями и воспроизводимость экспериментов.

• Анализировать проблемы в процессах разработки DS и создавать инструменты для их решения.

• …