Senior Engineer AI DSO (LLM / AI-продукты)

Мы в поиске Senior Engineer AI DSO (LLM / AI-продукты) в направление Data Science Operations команды Data Science

Вы будете заниматься сопровождением и развитием операционной архитектуры корпоративной LLM-платформы РУСАЛа

Задачи:

Вы будете отвечать отвечать за полный цикл операционного сопровождения разработки и внедрения интеллектуальных решений на корпоративной LLM-платформе:

• Настройка и обеспечение работоспособности интеграций и конфигураций LLM-платформы для активностей и пользователей;

• Формирование и администрирование групп пользователей в OpenWebUI (пользователи по проектным активностям в рамках реализации проектов);

• Формирование и администрирование групп пользователей LiteLLM (пользователи по проектным активностям в рамках реализации проектов);

• Реализация сетевых доступов для сегментов сетей под сервисы реализуемых продуктов в рамках LLM-платформы, в соответствии с архитектурой платформы и требованиями ИБ;

• Подготовка и актуализация гайдов и инструкций для подразделений-заказчиков по работе с сервисами LLM-платформы;

• Обеспечение доступа к гайдам, администрирование корпоративных баз знаний;

• Подготовка и актуализация внутренних гайдов для администрирования сервисов LLM-платформы;

• Управление процессами взаимодействия пользователей с активностями и сервисного обеспечения платформы;

• Организация SLA и процедур поддержки LLM-платформы;

• Синхронизация с ИБ и формирование документации для фреймворков по обеспечению безопасности и платформы в целом.

Требования:

• Опыт работы в Data Science c LLM/NLP разработкой от 2 лет;

• Опыт администрирования и настройки, конфигурирования сервисов на базе LiteLLM, OpenWebUI;

• Понимание реализации On-premise архитектуры для работы с LLM, LLM Orchestration plane;

• Опыт реализации API-интеграций и обеспечения сетевых доступов для сегментов сетей под сервисы реализуемых продуктов в рамках LLM-платформы;

• Опыт применения фреймворков для обеспечения безопасной работы, использования Guardrails;

•…