MlOps inference engineer

Мы строим платформу LLM‐инференса, обслуживающую как внутренние, так и продакшен-сервисы. Наша миссия — обеспечить стабильный, масштабируемый и экономичный сервинг больших языковых моделей. Мы ищем инженера, который поможет в развитии инфраструктуры, оптимизацию latency и throughput, а также внедрение передовых подходов к распределенному LLM‐инференсу.

Обязанности:

• Разработка и оптимизация инфраструктуры инференса LLM‐моделей.

• Performance-tunning llm моделей, поиск точек деградации или кейсов оптимизации на основе реальных логов

• Помощь в capacity-планировании командам-заказчикам

• Обеспечивать масштабируемость и надежность LLM‐serving инфраструктуры, выбор инструментов для инференса (sglang, vLLM, TensorRT‐LLM).

• Разрабатывать и внедрять механизмы оптимизации стоимости и производительности GPU‐нагрузок

Ключевые знания и навыки:

• Глубокая экспертиза в архитектуре и инференсе больших языковых моделей.

• Понимание устройства моделей (трансформеры, BERT, LLM и т.д.)

• Опыт построения высокопроизводительных LLM‐сервисов с использованием vLLM, TensorRT‐LLM/FasterTransformer/Triton Inference Server/etc.

• Знание методов оптимизации и ускорения LLM‐инференса: quantization (FP16, INT8, FP8), FlashAttention, paged attention, speculative decoding.

• Понимание нюансов распределенных систем и GPU‐коммуникации (NCCL, MPI, RDMA, InfiniBand).

• Опыт в управлении кластером для LLM‐нагрузок (Kubernetes, Ray, KServe, Kubeflow) в облаке или на своем железе.

• Уверенное владение Python

• Знание инструментов профилирования GPU (nvidia‐smi, Nsight, TensorRT Profiler).

• Опыт участия в архитектурном дизайне крупных AI‐платформ

• Продвинутые навыки работы в Linux, CI/CD и системах оркестрации моделей.

Будет преимуществом:

• Опыт построения LLM‐сервисов с потоковой генерацией токенов (streaming inference).

• Знание особенностей служебных компонентов LLM‐пайплайна: токенизаторы, KV‐кэш, контекстное окно.

• Понимание внутренней архитектуры GPU (CUDA, cuDNN…