ML Engineer (LLM)

Обязанности:

• Деплой, конфигурирование и поддержка LLM-сервисов в продакшне (vLLM, SGLang, TGI и др.).

• Оптимизация inference-пайплайнов для высоконагруженных систем (10 000+ одновременных пользователей).

• Квантизация моделей (GPTQ, AWQ, GGUF, SmoothQuant и др.).

• Fine-tuning и дообучение LLM (SFT, LoRA/QLoRA, RLHF/DPO).

• Подбор моделей, проведение экспериментов и исследований в сфере LLM.

• Разработка решений на основе LLM: RAG, агенты, function calling и др.

Улучшение существующих решений и мониторинг качества моделей в промышленной эксплуатации.

Требования:

• Уверенное знание LLM-serving фреймворков: vLLM, SGLang и других фреймворков для Text Generation Inference— понимание их архитектурных отличий, сценариев применения, преимуществ и ограничений

• Глубокое понимание механизмов оптимизации инференса: continuous batching, PagedAttention, speculative decoding, flash attention, tensor parallelism, pipeline parallelism

• Опыт квантизации LLM: GPTQ, AWQ, GGUF, INT4/INT8, SmoothQuant

• Опыт дообучения LLM: SFT, LoRA / QLoRA, DPO, RLHF — понимание когда и что применять

• Работа с популярными open-source моделями (LLaMA, Mistral, Qwen, DeepSeek, GPT OSS) и их весами (HuggingFace Transformers)

• Понимание и практический опыт построения RAG-систем, цепочек промптов, agentic-пайплайнов

• Опыт работы с высоконагруженными системами: оценка throughput/latency, профилирование, горизонтальное масштабирование, балансировка запросов

• Базовое понимание аппаратной части: GPU-архитектуры (NVIDIA A100/H100/B200), VRAM management, NVLink, multi-GPU setups

• Понимание и изучение SOTA-решений в сфере LLM для последующей имплементации в проект

• Знания базовых алгоритмов машинного обучения и основ трансформерных архитектур (attention, MoE, RoPE и пр.)

• Знание OpenAI-совместимых API

• Опыт с multimodal LLM (Kimi K2.5, Qwen-VL и пр.)

• Знание классических и современных NLP-задач: NER, text classification, summarization, machine translation, question answering…