Научный сотрудник (Data Scientist)

Мы разрабатываем агентную систему и инструменты для объективной оценки её качества.

Ищем middle-инженера на стыке ML и Python, который понимает принципы работы агентных систем и имеет инженерную базу для их развития.

Обязанности:

• Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов.

• Определять единицу оценки: ответ, вызов инструмента, trace/trajectory или итоговый артефакт.

• Создавать и поддерживать тестовые датасеты, разметку и ground truth.

• Разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators.

• Калибровать автоматические оценки на человеческой разметке.

• Запускать и анализировать эксперименты, находить регрессии и недостатки покрытия.

• Работать с traces и наблюдаемостью в Langfuse.

• Совместно с командой определять quality gates для изменений агентов, моделей и промптов.

• Развивать агентов и агентную платформу: инструменты, навыки, интеграции.

• Развивать программную инфраструктуру на Python и интегрировать её с рабочей агентной системой, работать с существующими API и внешними сервисами.

• Разбираться в полном пути запроса через несколько сервисов и диагностировать проблемы по логам и traces.

• Проектировать явные контракты данных и устойчивую обработку ошибок.

• Писать unit- и интеграционные тесты, участвовать в code review.

• Работать с CI/CD и контейнеризированным окружением.

• Использовать coding agents для реализации задач и отвечать за качество итогового решения.

Требования:

• Production-Python: типизированный код, явные модели данных (dataclasses, Pydantic), понятная декомпозиция модулей.

• Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев.

• Понимание `async`/`await`, HTTP API и корректной обработки сетевых ошибок.

• Опыт работы в сервисной или event-driven архитектуре.

• Умение ориентироваться в незнакомой кодовой базе и находить причину проблемы по коду, логам и трассам.

• Git и командная разработка через code review.

• …