Инженер AI-платформы (LLMOps / AI Platform Engineer),

О команде

Мы развиваем внутреннюю on-prem AI-платформу, которой пользуется вся компания: собственный inference на GPU, LLM-шлюз, RAG и AI-агенты в защищённом контуре. Приоритет — собственная инфраструктура там, где это критично. Помимо собственных моделей, платформа обеспечивает безопасное использование внешних моделей; при этом работа с моделями и AI-агентами выполняется в изолированной песочнице (sandbox), ограничивающей доступ к файлам, сети и данным.

Эта роль — про развитие AI-платформы изнутри: установку и конфигурирование AI-сервисов, их развёртывание в Docker и Kubernetes, запуск новых моделей на нашем GPU-оборудовании и обеспечение их безопасности и производительности. Мы ищем инженера с сильным техническим бэкграундом в администрировании Linux, контейнеризации, автоматизации и информационной безопасности.

Чем предстоит заниматься

• Установка, конфигурирование и развитие AI-платформ: веб-интерфейсы для моделей, LLM-шлюзы, оркестрация AI-workflow и агентов, облачные среды разработки (CDE), RAG-платформы

• Развёртывание и сопровождение сервисов: контейнеризация (Docker) и оркестрация (Kubernetes)

• Развёртывание и запуск новых моделей на сервисах инференса (vLLM и аналогичные) с учётом возможностей GPU, включая оптимизацию и quantization

• Безопасные конфигурации (hardening, secure by design) и безопасность платформы: RBAC, secrets management, network policies, изоляция моделей, защита от prompt injection

• Обеспечение изолированного и безопасного выполнения моделей и AI-агентов (sandbox)

• Автоматизация развёртывания и обновления, управление конфигурациями (IaC, CI/CD, GitOps)

• Мониторинг, диагностика и оптимизация производительности; контроль latency, throughput и стоимости инференса

• Оценка качества моделей (evals) и наблюдаемость (observability)

• Развитие и продвижение использования AI-технологий в компании

• Контроль лицензий open-weight моделей и требований compliance

• Взаимодействие с командами разработки и инфраструктуры, подготовка…