Senior LLM Engineer

Мы ищем инженера, который будет проектировать AI-агентов для департамента ключевых клиентов. Вы будете работать в связке с заказчиком, продуктом и инженерными командами, отвечая за технический результат агента end-to-end.

Обязанности

• проектирование агентных архитектур: ReAct / планы-действия, tool calling, мультиагентные схемы, маршрутизация запросов между моделями и сценариями

• разработка и оптимизация промптов (few-shot, CoT, structured output), управление контекстом, версионирование промптов вместе с кодом

• реализация RAG: чанкинг, эмбеддинги, векторный и гибридный поиск, реранжирование, работа с метаданными и мультиязычными документами.

• интеграция LLM с корпоративными системами через API и MCP-инструменты: написание и поддержка собственных tools, схем аргументов, обработка ошибок и таймаутов

• построение оценочных контуров (evals): датасеты, LLM-as-a-judge, регрессионные прогоны на каждом изменении промпта или модели

• защита от галлюцинаций и prompt injection, работа с отказами и обходными путями, контроль grounding на источниках

• мониторинг качества и стоимости в продакшене: трейсинг, логирование шагов агента, , телеметрия токенов и задержек

• упаковка агентов в сервисы: FastAPI / Python-бэкенд, контейнеризация, CI/CD, секреты, работа в контуре банка

• подбор и сравнительная оценка открытых и проприетарных моделей под задачу клиента.

Требования

• 5+ лет в разработке ПО, из них 2+ года в практической работе с LLM и агентными системами

• уверенный Python и опыт промышленной разработки: тесты, ревью, CI/CD, работа в команде

• практика с фреймворками агентов и LLM-стеком: LangChain / LangGraph, LlamaIndex, OpenAI/локальные API, Pydantic, асинхронность

• глубокое понимание RAG, векторных БД (Qdrant / Milvus / pgvector и др.), эмбеддингов и стратегий поиска

• опыт построения evals и оценки качества LLM-систем, а не только «демо-промптов»

• навыки работы с генеративными AI-моделями

• опыт вывода LLM-решения в продуктив и его последующей…