Senior MLOps\LLMOps Engineer

Обязанности:

• Разворачивать и эксплуатировать LLM-сервисы на GPU-кластере: инстансы vLLM/SGLang, тиринг по SLA, обновления без простоя парка;

• Тюнинговать движки: continuous batching, chunked prefill, prefix caching, планировщики, спекулятивное декодирование, квантование FP8/NVFP4;

• Строить мультинодовые схемы (TP/PP/EP) и P/D-дисагрегацию с передачей KV-кэша по RDMA;

• Настраивать наблюдаемость (TTFT/TPOT/P99, KV-hit, утилизация HBM);

• Участвовать в планировании мощности и токен-биллинге: бенчмарки, roofline-оценки, сценарии p10/p50/p99.

Требования:

Инференс-движки:

• Глубокое знание vLLM в проде: PagedAttention, prefix cache, планировщик и приоритеты, квантование, мультинод (Ray, TP/PP); умение читать исходники и патчить;

• Практика с одним из движков: SGLang, TensorRT-LLM, llama.cpp, DeepSpeed-MII/FastGen - и понимание компромиссов между ними;

• Квантование в проде: FP8, W8A8, GPTQ/AWQ; знание FP4/NVFP4/MXFP4 - механика, потери качества, применимость по тирам;

• Спекулятивное декодирование: как устроено, влияние на TPOT и пропускную способность, приём черновиков, когда вредит;

• Roofline-мышление: memory-bound декод против compute-bound префилла, роль пропускной способности HBM, footprint KV-кэша (GQA/MLA/сжатый KV) - умение прикинуть «влезет/не влезет» и ожидаемый throughput на узле;

Кластер и сети:

• NVIDIA-стек: драйверы, CUDA, NCCL; диагностика (nvidia-smi, DCGM, чтение отчётов Nsight);

• RDMA/InfiniBand/RoCE: тесты ширины канала, латентность all-to-all, топология и тюнинг NCCL;

• MoE-инференс: экспертный параллелизм, all-to-all dispatch/combine (DeepEP-класс), горячие эксперты и балансировка;

Платформа и инженерная база:

• Kubernetes в проде: GPU-шедулинг, device plugins/MIG, node pools, HPA/VPA;

• Деплой моделей: KServe/llm-d/Knative/Triton; реестры моделей, версионирование весов, LoRA-адаптация;

• Контейнеризация GPU-нагрузок: CUDA-образы, пиннинг потоков, hugepages;

Наблюдаемость и надёжность:

• …