ML Research Engineer – Image & Video Generation (Модельные риски генеративных моделей)

О команде

Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models).

Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей.

Мы работаем с новыми версиями Kandinsky до их выхода к пользователям. Разрабатываем собственные методологии, бенчмарки и инструменты полного цикла, объединяя автоматические метрики, human evaluation и подходы LLM/VLM-as-a-judge.

О роли

Мы ищем специалиста на стыке исследований и инженерной разработки.

В этой работе не всегда существует готовая методология или универсальная метрика. Нужно определить, из чего складывается качество модели, спроектировать проверяемый эксперимент и реализовать воспроизводимый evaluation-пайплайн.

Роль охватывает весь цикл оценки: от формулирования критериев и подготовки тестовых данных до анализа результатов и рекомендаций для команды разработки. Важно не только измерить качество модели, но и понять, насколько она подходит для реальных пользовательских и бизнес-сценариев, какие ограничения критичны и что осталось непроверенным.

Обязанности

Проектировать оценку с нуля

• декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки

• проектировать оценку там, где готовой методологии ещё нет.

Разрабатывать evaluation-пайплайны

• реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик

• обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки

• готовить инструкции для асессоров и контролировать качество разметки.

Строить VLM-as-a-judge

• разрабатывать судей под конкретные критерии, учитывать их bias и ограничения

• понимать, где автоматическая оценка работает, а где без человека нельзя.

Разбираться в…