Senior LLM Inference Backend Engineer

О команде:

Наша команда обеспечивает доступность нейросетей для тысяч пользователей одновременно. Мы сопровождаем и улучшаем production-платформу для хостинга LLM: ее надежность, производительность и масштабирование. Кроме того, мы создаём прикладные AI-продукты на базе LLM. Ищем опытного инженера, которому интересно работать и с платформенной частью, и с продуктовой.

Чем предстоит заниматься:

• Инфраструктура и высоконагруженный инференс (Platform Engineering) :

• Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты;

• Оптимизация производительности: кэширование, батчинг, etc.;

• Надежность и observability: обеспечение SLA и предотвращение регрессий;

• Оценка и внедрение новых LLM.

• Продуктовая разработка (LLM Application):

• Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review;

• Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием;

• Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы).

• Исследования и прототипирование (R&D):

• Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена;

• Исследование новых технологий и подходов для улучшения продуктов.

​​​​​​ Мы ждем от будущего члена команды:

• Экспертиза в Python & Backend:

• Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования;

• Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами.

• Архитектура и надежность (Production):

• Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты;

• Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок.

• Глубокие знания LLM & Inference:

• Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание…