Senior Research Engineer (LLM Pretraining)

Мы занимаемся pretrain'ом больших языковых моделей в GigaChat: проектируем архитектуру, подбираем рецепт обучения и поддерживаем весь инженерный контур вокруг него.

Недавно мы обучили MoE-модель на 700 миллиардов параметров — и на этом не собираемся останавливаться. Обучение идёт на кластерах H100 и B200. GigaChat — самый быстрорастущий проект Сбера, и pretrain — его ядро.

Чем занимается команда

• Архитектура и законы масштабирования.

• Рецепт обучения: оптимизаторы, расписание learning rate, нормализация, точность вычислений.

• Устойчивость больших прогонов и ускорение сходимости.

• Диагностика обучения и оценка изменений с опорой на математический аппарат.

• Инженерный контур: воспроизводимость, тесты, CI/CD.

• Роль с акцентом на модель, оптимизацию и инфраструктуру обучения, а не на данные. Главная цель — делать обучение быстрее, надёжнее и предсказуемее.

Какие задачи стоят перед командой

• Ускорение цикла «идея → эксперимент → вывод → внедрение».

• Снижение количества ручных прогонов и неочевидных сбоев, повышение воспроизводимости и прозрачности результатов.

• Повышение надёжности больших прогонов.

• Ранняя диагностика деградаций и отделение реальных улучшений от ложных сигналов (расхождение, NaN, коллапс энтропии, артефакты маршрутизации, ложное снижение функции потерь).

• Обеспечение безопасного масштабирования при внедрении крупных архитектурных изменений.

• Анализ влияния сложных архитектур (например, mixture of experts и маршрутизация) на качество, стабильность и скорость обучения.

• Определение и развитие метрик, корректно отражающих изменения в обучении моделей.

Почему мы

Масштаб - 700B MoE уже обучена, дальше — больше. Кластеры на H100 и B200.

Публикации. Можно и нужно писать статьи по результатам своей работы — это не ограничивается.

Команда - в России нет другой команды, которая занимается pretrain'ом на таком масштабе. Коллеги — люди, которые глубоко разбираются в теме.

Влияние. Вы берёте направление целиком. Это не «выполнять…