ML/LLM-инженер (on-prem, агентные системы)

О проекте

NWIRE разрабатывает систему автоматизированного документооборота для крупной компании. Языковая модель проверяет и исправляет документы п и корпоративным шаблонам (текст, таблицы, рисунки, формулы), сверяет данные между главами и собирает итоговый пакет. Интерфейс - плагин для Яндекс Трекера, серверная часть на Go, модель работает на GPU-сервере в контуре заказчика.

Обязанности:

• Выбор открытой языковой модели (Qwen, DeepSeek, GLM и др.) и бенчмарк на контрольном наборе реальных документов.

• Развертывание и оптимизация инференса on-prem: vLLM / SGLang, квантизация (FP8/INT4), длинный контекст, настройка под нагрузку.

• Проектирование агентного пайплайна: промпты, tool calling, разбиение задач между моделью и детерминированными скриптами.

• Работа с DOCX: разбор и правка структуры документа, связка с рендерингом (LibreOffice) для контроля верстки.

• Метрики качества и регрессионные тесты: доля найденных ошибок, отсутствие ложных исправлений.

• Сопровождение опытно-промышленной эксплуатации, доработка по обратной связи пользователей.

Оборудование

• Целевая платформа: on-prem сервер Huawei Atlas 650E - 8× Ascend 950DT, 1 152 ГБ памяти HBM. Окончательный выбор будет сделан позже. Этот сервер проще всего привезти.

• На старте: разработка и подбор модели на арендованных GPU NVIDIA в Яндекс Облаке, затем перенос на собственный сервер заказчика.

• Стек на Ascend: CANN, MindIE / vLLM-Ascend. Нужна готовность разбираться с его особенностями: поддержка моделей, квантизация, производительность.

Требования:

• От 3 лет в ML/NLP, из них от 1 года - практическая работа с LLM в продакшене.

• Опыт self-hosted инференса открытых моделей (vLLM, SGLang, TGI или аналоги); понимание влияния памяти GPU, KV-кэша и контекста на производительность.

• Опыт построения LLM-агентов или пайплайнов с tool calling.

• Уверенный Python, Linux, Docker.

• Умение выстроить оценку качества модели на собственных данных.

Условия:

• Проект на 6 месяцев с возможностью…