MLOps-инженер

Обязанности

• Развернуть и настроить сервер инференса (vLLM, при необходимости SGLang) на GPU-узле;

• Подобрать режим работы под нагрузку: квантизация, размер батча, длина контекста, распределение моделей по картам, реплики под конкурентность;

• Снять реальные показатели: пропускная способность, задержка, поведение под пиковой нагрузкой, давление кэша контекста;

• Поднять единый шлюз (LiteLLM): вход через корпоративную аутентификацию, разграничение прав по командам, квоты, журналирование, защитные фильтры (вырезание секретов и персональных данных);

• Обеспечить единственную точку входа: сервер инференса не виден клиентам напрямую, доступ только из корпоративной сети;

• Мониторинг и оповещения: загрузка карт, память, очереди, задержки, ошибки (Prometheus, Grafana);

• Процедура обновления моделей в закрытом контуре: подготовка в отдельной зоне, проверка подписей и контрольных сумм, перенос, внутренний реестр, выкатка с возможностью отката;

• Дежурство по сервису, разбор инцидентов, ёмкостное планирование;

• Отбор и проверка открытых моделей под наши задачи: чат и агент, автодополнение, работа с кодом. Сравнение кандидатов на нашем стенде, а не по публичным таблицам;

• Проверка лицензий на право коммерческого использования внутри компании;

• Замер полезности: доля принятых подсказок, время на правки, обратная связь команд;

• Настройка клиентов в средах разработки (Continue, Cline, Tabby, терминальные инструменты) и браузерного интерфейса для ролей, работающих без среды разработки: тестирование, аналитика, управление проектами;

• Подбор моделей и настроек под сценарии разных ролей, инструкции, помощь командам на старте;

• Обучающие материалы и кооткие занятия при выходе на все команды;

• Слой извлечения над репозиториями кода, затем над внутренней документацией и трекером задач;

• Конвейер загрузки: разбор документов, разбиение, локальная модель эмбеддингов, векторное хранилище, инкрементальное обновление;

• Соблюдение прав доступа…