LLM Data Scientist — оценка качества GigaChat (модельные риски генеративных моделей)

Наша команда отвечает за оценку модельного риска и независимый контроль генеративных моделей Банка. В нашей зоне ответственности GigaChat — текстовые и мультимодальные LLM — и open-source модели: команда первой видит, на что способна новая версия, прежде чем она выйдет к пользователям.

Нам нужен специалист, который возьмет на себя измерение качества GigaChat:

• разработку бенчмарков и измерение на них качества модели — на собственных данных, а не по публичным лидербордам

• развитие собственной библиотеки валидации LLM полного цикла: от сбора данных и разметки до финальных метрик и отчетов

• вынесение заключения по модельному риску: при каких условиях версию можно выпускать и что осталось непроверенным.

Эта роль про независимое измерение фундаментального качества модели: не про обучение GigaChat — этим занимается отдельная команда — и не про продуктовые метрики вроде DAU и retention.

Обязанности

Развивать собственный фреймворк оценки LLM

• писать чистый код фреймворка и проверять чужой: регулярные код-ревью, PR, поддержка растущей кодовой базы

• настраивать автоматизацию и CI под растущую аудиторию и вести регулярную валидацию версий GigaChat и open-source альтернатив по единой методике — фреймворком пользуются команды по всему Банку.

Разрабатывать бенчмарки и проектировать проверку

• разрабатывать и актуализировать собственные бенчмарки под ключевые сценарии Банка: подбор задач, редкие и намеренно трудные случаи, эталонные ответы

• превращать запрос «модель стала лучше?» в план проверки: что измеряем, на какой выборке, с чем сравниваем.

Строить LLM-судей и автоматические метрики

• делать судей под задачу, знать их перекосы (self-preference, position bias, length bias) и калибровать оценки против человеческих

• понимать, где автоматическая оценка не годится и нужен другой подход, и снижать стоимость измерений без потери достоверности.

Давать заключение по модельному риску

• оценивать автономность модели в сценарии и цену ее ошибки: что она делает…