Middle LLM Researcher (диффузионные текстовые модели)

Команда текстовых диффузионных моделей занимается прикладными исследованиями в области языковых моделей с альтернативными архитектурами и подходами к генерации текста: диффузионные текстовые модели, креативный генеративный ИИ.

Обязанности

• Организация SFT и RL дообучения моделей для агентного креативного ИИ

• Улучшение моделей спекулятивного декодирования для ускорения инференса LLM, доработка архитектур, пайплайна обучения и протокола оценки.

• Подготовка датасет для агентного сценария генерации русскоязычной поэзии.

Требования

• Владение инструментами и экосистемой: Linux, Python, torch, transformers, vllm.

• Практический опыт проведения экспериментов в ML: планирование, сбор обучающих данных, оценка моделей, включая человеческую разметку, статобработка результатов, масштабирование.

• Опыт работы с языковыми моделями: архитектурные модификации трансформера, распределенная тренировка, бенчмаркинг, оптимизация инференса.

• Опыт работы с данными для обучения LLM: генерация синтетики, очистка данных, подготовка датасетов для обучения.

Будет плюсом

• Практический опыт запуска распределенных задач в вычислительном кластере.

• Опыт научных публикаций по темам CS и ML.

• Опыт доведения ML решений до прода.

Условия

• комфортный современный офис рядом с м. Кутузовская

• гибридный формат работы

• ежегодный пересмотр зарплаты, годовая премия от 3х окладов

• большой спортзал и зоны отдыха

• система обучения для профессионального и карьерного развития

• расширенный полис ДМС с первого дня работы и страхование для семьи

• программа ипотеки для сотрудников со скидкой -1/3 от текущей ставки

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера.