MLOps / инженер LLM-инфраструктуры

Обязанности:

• Эксплуатировать и масштабировать стек обслуживания: vLLM, LiteLLM как шлюз, и др. Nginx, авторизация по bearer-токену для каждого сервиса.

• Проводить нагрузочные тесты на разных GPU и моделях при разной конкурентности и длине контекста и превращать результаты в решения по аппаратному обеспечению и моделям.

• Размещать несколько сервисов на ограниченных GPU: квантизация, sleep mode в vLLM и загрузка по требованию, совместное размещение STT/TTS, сервисов эмбеддингов и других моделей/сервисов.

• Строить мониторинг, алертинг и наблюдаемость LLM (Prometheus/Grafana, Langfuse), а также отчёты по использованию и затратам по командам.

• Автоматизировать деплой: CI/CD в GitLab, версионированные Docker-образы, воспроизводимые окружения с учётом корпоративной TLS-инспекции.

• Отвечать за бэкапы, защиту и контроль доступа на GPU-серверах.

• Другие задачи связанные с ML

Требования:

• От 3 лет в DevOps, SRE или MLOps; минимум 1 год обслуживания LLM или других GPU-моделей в продакшне.

• Глубокий практический опыт с vLLM, TGI, SGLang или TensorRT-LLM; понимание KV-кэша, батчинга, tensor parallelism и квантизации (AWQ, GPTQ, FP8).

• Уверенные Linux, Docker, драйверы NVIDIA/CUDA, Nginx, сети и TLS.

• Нагрузочное тестирование и анализ производительности: пропускная способность, TTFT, перцентили задержки.

• Скрипты на Python и Bash; GitLab CI или аналоги.

Будет плюсом

• Kubernetes с NVIDIA GPU Operator или Ray Serve.

• Опыт совмещения собственных и арендованных облачных GPU.

• Пайплайны дообучения (LoRA) и реестры моделей.

Условия:

• Оформление трудовых отношений в соответствии с действующим законодательством.

• Добровольная медицинская страховка или абонемент в фитнес-клуб Чехов.

• 27 календарных дней оплачиваемого отпуска в год.

• Возможности для обучения и развития сотрудников, корпоративные тренинги.

• Служебная сотовая связь.