Senior Data Scientist (ML Evaluation & Metrics)

Чем предстоит заниматься:

• Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками

• Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха

• Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки

• Готовить ТЗ на сбор и упаковку наборов данных

• Разрабатывать дизайны и анализировать результаты тестов ML решений в продукте

• Формулировать и имплементировать методологии оценки качества данных

• Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML систем.

• Отвечать за отчётность и логирование ML-метрик. Определяя формат релизных отчётов, обязательный набор метрик, сравнение с baseline

• Определять дизайн оценки качества. Формировать драфт задач для ML инженеров, описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить.

Для нас важно:

• От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде

• Глубокое понимание метрик ML (классификация, детекция, сегментация, ранжирование)

• Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии

• Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков

• Python (pandas, numpy, scipy, sklearn, Jupyter)

• Умение писать: компактные и внятные отчёты с выводами, ТЗ, инструкции, которые понимают с первого раза

• Умение задавать правильные вопросы и докапываться до сути постановки

• Крайне желательно - опыт оценки рекомендательных систем

• Высшее техническое или математическое образование

Будет плюсом:

• Опыт в модерации контента, антифроде или trust & safety

• Опыт организации…