Middle MLOps Specialist (ЦРИИИД)

Мы - команда высококлассных инженеров, которые строят платформу для инференса и SFT opensource LLM. Используем продвинутые cutting edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в Token thoughput. Cейчас мы разрабатываем и оптимизируем инфраструктуру инференса LLM-моделей.

Обязанности

• разработка и оптимизация инфраструктуры инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов

• обеспечение масштабируемости и надежности LLM-serving инфраструктуры; выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp)

• разработка механизма разграничения доступов к API-сервисам моделей

• построение системы observability и мониторинга LLM-инференса

• сбор модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.).

Требования

• уверенный пользователь Linux: сеть, storage, роли/пользователи, менеджмент процессов.

• уверенное владение Kubernetes (используем Istio Service Mesh)

• опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM) и

• опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks

• владение языками: Bash, Python, Groovy (Jenkins scripted)

• продвинутые навыки в CI/CD и оркестрации моделей.

Будет плюсом

• понимание распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand).

• знание служебных компонентов LLM-пайплайна: токенизаторы, KV-cache, контекстное окно.

• понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores).

• опыт работы с векторными БД (Opensearch, Qdrant, FAISS, pgvector) для RAG и других задач.

Условия

• гибридный формат работы (2-3 дня в офисе) из г. Москва

• годовой бонус и ежегодный пересмотр

• расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи

• корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях

• …