Техлид группы AIaaS (AIaaS techlead)

Как международный Managed IT Service провайдер, мы развиваем направление AI as a Service (AIaaS) : единый шлюз доступа к языковым моделям (LLM) и сопутствующим AI-инструментам с маршрутизацией запросов, аутентификацией, квотированием, учётом потребления токенов, мониторингом доступности и агрегацией логов. Услуга предоставляет клиентам единую точку входа (OpenAI-совместимый API и веб-интерфейс) ко множеству моделей в рамках одного договора, а инфраструктуру, масштабирование, обновление версий и безопасность данных обеспечиваем мы.

Ищем технического лидера , который возглавит группу AI as a Service : будет развивать услугу на базе AI-инструментов, в том числе собственной разработки (Ainergy), обеспечивать их стабильную работу 24×7 и точечно усиливать смежные услуги (Managed IT, Managed DevOps).

В первую очередь нам важен сильный технический специалист с уверенным знанием Linux, контейнеризации и оркестрации контейнеров , который не боится сам погружаться в код, инфраструктуру и решать инциденты.

Чем предстоит заниматься:

• Развитие и эксплуатация платформы AIaaS и AI-инструментов собственной разработки (Ainergy): API-шлюз, маршрутизация к моделям, аутентификация, квотирование, учёт токенов;

• Развёртывание и сопровождение инференса языковых моделей (как проприетарных, так и open-source) в контейнерах под управлением Docker или Kubernetes на GPU-инфраструктуре;

• Обеспечение высокой доступности, масштабируемости и предсказуемой производительности сервисов в режиме 24×7;

• Контроль автоматизации рутинных задач и процессов для обеспечения стабильности и минимизации человеческого фактора;

• Организация мониторинга, алертинга и реагирования на инциденты с использованием Prometheus/VictoriaMetrics, Grafana, ELK;

• Подключение новых LLM-моделей и поддержание совместимости интеграций для клиентов без изменения их кода;

• Взаимодействие с командами разработки и смежными группами (Managed IT, Managed DevOps ) для быстрой адаптации сервисов под меняющиеся требования…