Руководитель направления Pretrain Efficiency

Мы развиваем GigaChat и ищем сильного руководителя направления RL Efficiency. Это роль для человека, который возьмёт на себя эффективность всего RL-контура: обучающий цикл, rollout, reward-сигналы, взаимодействие с инференсом и инфраструктура под онлайн-эксперименты.

Цель направления — сделать так, чтобы online RL / RLHF / RLVR обучение GigaChat было максимально быстрым, стабильным и дешёвым: сократить time-to-feedback по экспериментам, поднять утилизацию кластера и упростить запуск новых RL-рецептов на масштабе.

Обязанности

Развивать направление RL Efficiency целиком

• Определять, как должно развиваться направление эффективности RL: какие места критичны на данный момент, как измерять прогресс и что в первую очередь ограничивает скорость экспериментов.

• Вести направление целиком: от постановки гипотез и плана работ до внедрения результатов в регулярный цикл обучения.

• Принимать решения о приоритетах между ускорением rollout, оптимизацией обучающего цикла, инфраструктурой и системой оценки качества.

Ускорять цикл online RL

• Оптимизировать пайплайн online RL: генерация rollout'ов, сбор reward-сигналов, обновление весов модели, overlap этапов.

• Выстраивать эффективное взаимодействие между обучающим контуром и инференс-движком (vLLM / SGLang / собственные решения), добиваясь высокой утилизации и низкой задержки.

• Работать с весами и KV-cache: быстрое обновление весов между итерациями, снижение overhead синхронизаций, оптимизация памяти.

• Повышать стабильность больших RL-прогонов: контроль деградаций, автоматическое восстановление, диагностика сбоев.

Развивать инфраструктуру под RL-эксперименты

• Развивать фреймворк обучения, поддерживающий RLHF / RLVR / PPO / GRPO / DPO и их вариации на масштабе.

• Делать так, чтобы новые RL-рецепты можно было быстро и безопасно запускать на больших моделях без ручной поддержки для каждого эксперимента.

• Обеспечивать воспроизводимость RL-экспериментов: версионирование данных, конфигов, чекпоинтов…