GenAI Evaluation Engineer (Риски)

Наша команда отвечает за независимую оценку и контроль качества генеративных моделей Банка.

Наша основная задача оценить флагманские генеративные модели Сбера – GigaChat, Kandinsky, GigaCode и PhysicalAI решений. Мы первыми видим, на что способна новая модель и проводим оценку новых возможностей прежде чем она выйдет к пользователям.

Мы не просто «проверяем метрики», а:

• глубоко разбираемся в подходах команд-разработчиков и в бизнес-процессах, где работают модели

• критически рассматриваем архитектурные и методологические решения и предлагаем улучшения

• разрабатываем собственные проверки, метрики и бенчмарки и фреймворки для их запуска

• проводим оценку логов пользователей для построения наиболее релевантного тестирования

Отдельный фокус – R&D деятельность:

• создание новых методологий оценки качества

• участие в разработке и развитии передовых банковских и российских бенчмарков (MERA, POLLUX и др.)

• адаптация передовых мировых бенчмарков под специфику банковских кейсов

• и многое другое

Эта роль про независимое измерение фундаментального качества модели: не про их обучение – этим занимается отдельная команда

Обязанности

Придумывать, как вообще измерить модель

ИИ стремительно развивается в мире и выходят новые модели и их виды, однако не всегда любая новая модель стала лучше предыдущей. Вам будет необходимо создать план по её проверке: что именно измерять, на какой выборке, с чем сравнивать, какая разница вообще будет считаться разницей в реальном качестве.

Отвечать за достоверность измерений

Полученные метрики не всегда отражают только лишь качество модели. Нужно уметь отделять реальный прирост качества от прочих факторов: ловить утечки данных в обучение, отличать дефект модели от дефекта замера, промпта или обвязки и проявлять тот же скепсис к собственной методологии: измеряем ли мы то, что заявили.

Разбираться в причинах ошибок

«Модель ошиблась» – это не вывод, а начало работы. Найденная вами причина той или иной проблемы модели…