Аналитик ИИ продуктов

Чем предстоит заниматься:

• Разрабатывать методику оценки качества AI-решений: определять ключевые метрики (precision/recall, доля авто-решений, доля ложных срабатываний), устанавливать целевые пороги и согласовывать их с заказчиком и руководителем AI-продуктов.

• Формировать бенчмарк-наборы данных, запускать регрессионное тестирование между версиями пайплайна и фиксировать показатели деградации.

• Обеспечивать наличие и высокое качество эталонных датасетов, организовывать процесс разметки совместно со стейкхолдерами.

• Развивать эталонные выборки через цикл активного обучения (active learning).

• Анализировать типичные ошибки модели, готовить диагностические отчёты и передавать инсайты команде разработки для устранения проблем.

• Переводить технические метрики в бизнес-эффекты, готовить данные и материалы для защиты направления и обоснования инвестиций.

• Вместе с руководителем AI-продуктов формировать измеримые критерии готовности решения к внедрению в продакшен.

Мы ожидаем:

• Коммерческий опыт в аналитике данных, ML-аналитике или data science от 3 лет.

• Практический опыт определения и валидации метрик качества в задачах, где готовых метрик изначально не было.

• Навыки самостоятельной работы с датасетами: сбор, очистка, разметка, анализ и подготовка данных.

• Уверенное владение SQL и Python на рабочем уровне для повседневных аналитических задач.

• Опыт построения бенчмарков и расчёта метрик качества и ранжирования.

• Понимание архитектуры LLM и RAG-пайплайнов, умение выявлять факторы, влияющие на итоговое качество ответов.

• Навыки презентации результатов и объяснения технических метрик нетехническим стейкхолдерам.

• Будет плюсом: опыт решения задач информационного поиска, классификации, маппинга или матчинга данных.

Условия:

• Возможность выбора формата работы (гибрид/удаленка);