LLM Engineer / инженер LLM-решений

OSMI IT ищет LLM Engineer для разработки и запуска LLM-решений: RAG, ИИ-агентов и агентных сценариев на платформе OSMI AI. В этой роли важно подтверждать качество воспроизводимыми измерениями и контролировать время ответа и стоимость инференса в контуре заказчика.

Чем предстоит заниматься

• Разбирать бизнес-процессы заказчиков, проектировать LLM-решения и согласовывать критерии приёмки.

• Создавать RAG-пайплайны: чанкинг, эмбеддинги, гибридный поиск BM25 и reranker, метаданные и права доступа.

• Разрабатывать ИИ-агентов: agentflow, tool calling, контекст и память. Подключать инструменты через MCP Gateway — 1С, Битрикс24, Directum RX и API заказчиков.

• Собирать эталонные датасеты и eval-наборы на реальных сценариях, расширять выборку синтетическими данными.

• Измерять качество: выстраивать метрики и проверки перед релизом, отслеживать регрессии промптов и моделей, проводить A/B-сравнения и валидировать LLM-as-judge.

• Подбирать и дообучать малые модели 7–14B для классификации, маршрутизации, извлечения сущностей, ASR и OCR.

• Оптимизировать инференс: квантизация, батчинг, vLLM, кеширование и маршрутизация запросов между малыми и большими моделями.

• Контролировать достоверность и безопасность: галлюцинации, ссылки на источники, prompt injection и маскирование персональных данных.

• Обеспечивать наблюдаемость действий агентов через Langfuse или аналоги, выводить решения в продакшен и сопровождать их.

Что мы ожидаем

• 3–6 лет в разработке, из них от 2 лет — с LLM-решениями, RAG или агентами в продакшене.

• Уверенное владение Python и SQL. Умение организовать воспроизводимые эксперименты и автоматические прогоны.

• Опыт работы с LLM, включая Qwen, Llama, DeepSeek, GigaChat/YandexGPT, и облачными API. Понимание возможностей и ограничений моделей.

• LangGraph или аналоги, tool calling, MCP, OpenAI-совместимые API, управление контекстом и памятью.

• Практический опыт с RAG: чанкинг, эмбеддинги, гибридный поиск, reranker, векторные базы Qdrant, pgvector…