ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)

MWS AI – это часть экосистемы МТС Web Services, где создаются AI-решения будущего. Голосовые ассистенты и чат-боты могут ответить на любой вопрос клиента, а компьютерное зрение \- распознавать лица и эмоции. Мы объединили сильных разработчиков, самый мощный суперкомпьютер, и прорывные идеи, чтобы делать жизнь людей комфортнее и безопаснее и помогать бизнесу.

Мы ищем опытного инженера, который доводит большие языковые модели от исследовательского чекпоинта до промышленной поставки: ускоряет инференс, квантует, измеряет качество и скорость, собирает поставку для клиентов и внутренних продуктов.

Чем предстоит заниматься:

• Квантование моделей (GPTQ, W8A8, FP8 и др.) и сравнение качества до и после.

• Ускорение инференса: speculative decoding, MTP, кэширование префиксов, логит-процессоры.

• Выбор и настройка рантаймов инференса (vLLM, SGLang, TensorRT-LLM, llama.cpp / MLX — по задаче).

• Нагрузочное тестирование и методология замера скорости: throughput, latency, длинный контекст.

• Автоматическая оценка моделей на бенчмарках и сравнение с open-source моделями (Qwen, GLM и др.).

• Подготовка релизов моделей: чекпоинт в S3, Docker-образ, поставка в продукты и клиентам.

• Разбор инцидентов у пользователей (качество, зацикливания, ошибки генерации).

Мы ждем от вас:

• Python на уровне промышленной разработки.

• Практический опыт инференса LLM хотя бы в одном рантайме (vLLM, SGLang, TensorRT-LLM или аналог).

• Понимание квантования и его влияния на качество.

• Опыт замеров производительности моделей на GPU (latency, throughput, утилизация).

• Docker; базовое понимание того, как модель запускается в Kubernetes.

• PyTorch, Hugging Face Transformers.

Будет плюсом

• Опыт оптимизации LLM — очень приветствуется: ускорение, сжатие, спарсификация моделей.

• CUDA и C++: написание и оптимизация ядер, чтобы самостоятельно реализовывать низкоуровневые оптимизации (например, спарсификацию модели).

• Speculative decoding, MTP, кастомные…