DevOps / MLOps-инженер (LLM-инфраструктура)

Сейчас мы активно развиваем внутреннюю экосистему ИИ-сервисов (умные чат-боты, транскрибация, инструменты для разработчиков и инженеров). Наша LLM-инфраструктура работает on-premise: несколько GPU-серверов с vLLM, нагрузка растёт.

Нам нужен автономный DevOps/MLOps-инженер, который возьмёт на себя всю инфраструктуру ИИ-сервисов: от CI/CD и IaC до оптимизации производительности локальных языковых моделей и освободит ИИ-команду для профильных задач.

Ваши задачи:

1. Инфраструктура и доставки:

• Проектирование, развёртывание и поддержка CI/CD-конвейеров в GitLab CI для AI-сервисов.

• Автоматизация инфраструктуры с использованием Ansible; внедрение GitOps-подходов (Argo CD или Flux) при переходе на Kubernetes.

• Управление контейнерными средами: Docker, Kubernetes (кластеризация, масштабирование, обновления).

• Настройка мониторинга (Grafana + Prometheus), алертинга и лог-агрегации.

• Разработка скриптов и утилит на Python / Bash для автоматизации рутинных задач.

2. LLM-инфраструктура (ключевая часть роли):

• Развёртывание, поддержка и оптимизация инференса LLM на vLLM: управление GPU-ресурсами, тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size, --max-num-seqs, квантование AWQ/GPTQ/FP8), prefix caching, масштабирование под нагрузкой.

• Нагрузочное тестирование и бенчмаркинг моделей (TTFT, throughput, inter-token latency), балансировка трафика между инстансами инференса.

• Управление жизненным циклом моделей: версионирование, канареечные релизы, rollouts, откат обновлений.

• Обеспечение надёжного и безопасного развёртывания моделей в продакшн совместно с разработчиками AI-моделей и дата-инженерами.

• Участие в планировании и реализации практик MLOps (реестр моделей, воспроизводимость развёртывания).

• Обучение коллег культуре DevOps, создание документации (runbook'и, эксплуатационные гайды).

Мы ждём от вас:

• vLLM: опыт эксплуатации в продакшн — тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size…