Менеджер по качеству данных (ML-датасеты)

Качественные данные — основа машинного обучения. От того, насколько датасет полон, точен, репрезентативен и актуален, напрямую зависит качество модели в продукте.

Мы создаём датасеты, которые помогают 2ГИС находить дорожные знаки, выделять здания на спутниковых снимках, отличать фотографии меню от интерьеров и оценивать привлекательность контента. Работаем с задачами Computer Vision, NLP и AI.

Ищем менеджера по качеству данных, который будет отвечать за создание, развитие и валидацию датасетов для ML-моделей. Ты будешь проектировать процессы сбора и разметки данных, выстраивать контроль качества, автоматизировать повторяемые этапы и вместе с ML-командами улучшать данные на основе результатов моделей.

Чем предстоит заниматься

• Проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных.

• Формулировать требования к датасетам совместно с командами Computer Vision, NLP и AI.

• Определять критерии качества данных, организовывать проверки разметки и анализировать ошибки.

• Оценивать скорость, стоимость и качество разметки; находить узкие места и улучшать процесс.

• Проводить эксперименты с подходами к разметке, автоматизации и контролю качества, анализировать результаты и принимать решения на их основе.

• Использовать LLM и другие инструменты автоматизации для ускорения подготовки и проверки данных.

• Работать с асессорами и заказчиками: объяснять требования, собирать обратную связь, устранять проблемы в процессе.

• Развивать типовые пайплайны и масштабировать успешные решения на новые задачи.

• Поддерживать датасеты после запуска: расширять их при дрейфе данных, появлении новых сценариев и изменении требований к качеству модели.

• Писать понятные инструкции для асессоров, правила разметки и промпты для LLM.

Мы ожидаем, что ты

• Имеешь опыт работы в области качества данных от 2-х лет.

• Имеешь опыт с краудсорсинговыми проектами, разметкой данных или контролем качества разметки.

• Умеешь декомпозировать неопределённую…