Senior Research Engineer (Multimodal Diffusion, Post-train)

Исследуем и внедряем передовые методы для инструктивного редактирования изображений/видео, интеграции аудио в видео-генерацию и повышения качества за счет RLHF (Reinforcement Learning from Human Feedback).

Обязанности

• Разработка и обучение диффузионных моделей для инструктивного редактирования видео и изображений.

• Исследование архитектур для совместной генерации видео и синхронизированного аудио по текстовому промпту.

• Создание пайплайна RLHF для тонкой настройки моделей:

• Обучение мультимодальных reward-моделей (видео/аудио/текст).

• Интеграция алгоритмов RL (PPO, DPO, GRPO, OPD) в диффузионный пайплайн.

• Проектирование экспериментов, анализ результатов.

• Тесная коллаборация с Distributed Engineers для эффективной имплементации идей.

Требования

• Сильный бэкграунд в CV, генеративных моделях (Diffusion, GANs), мультимодальном ML.

• Опыт работы с диффузионными моделями (Stable Diffusion/FLUX, Wan 2.X и пр.) и фреймворками (Diffusers).

• Практические знания Reinforcement Learning, особенно RLHF.

• Уверенное владение PyTorch и навыки распределенного обучения (DDP/FSDP).

• Способность быстро прототипировать и проводить исследования SOTA методов.

• Опыт работы с SGLang, vLLM, Transformers

• Бонус: Опыт с аудио-генерацией (AudioLDM, MusicGen), публикации на NeurIPS/ICML/CVPR.

Условия

• комфортный современный офис рядом с м. Кутузовская

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• система обучения для профессионального и карьерного развития

• расширенный полис ДМС с первого дня работы и страхование для семьи

• льготная программа ипотеки для сотрудников

• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера.