QA-инженер по данным (Data Quality)

О компании и роли

Привет! Меня зовут Виктор, я отвечаю за развитие новых направлений в компании.

Мы делаем платформу ценовой аналитики для мирового винного рынка. Система находит винные магазины по всему миру, обходит их сайты, определяет, какое вино там продаётся и по какой цене, и собирает всё в единый каталог. В базе десятки тысяч сайтов и миллионы записей, данные разбирают парсеры и ML-модели.

Ищем человека, который возьмёт на себя качество данных в базе: будет находить ошибки и пробелы, разбираться, откуда они берутся, и добиваться, чтобы их исправили.

Что предстоит делать

• Проверять данные по всей цепочке: сайт магазина, товарные ссылки, упоминания вина, карточка в каталоге, цена. На каждом шаге искать, где теряется полнота и где появляются ошибки

• Сверять полноту с внешними источниками: другими агрегаторами, поисковой выдачей, сайтами производителей

• Доводить каждую находку до причины: сколько таких записей, какое правило, алгоритм или загрузка их дали, что поменять. Дальше задачи разработке и правки в постановках

• Писать автоматические проверки, которые регулярно гоняются по продакшен-базе, и следить за метриками качества

• Проверять результаты массовых загрузок и ручной разметки

• Описывать каждую проверку в Confluence: что проверяли, на какой выборке, что нашли и что решили

Примеры того, что нужно ловить

• Одно и то же вино попало в каталог несколькими карточками, а под одной карточкой оказались два разных вина

• Страну сайта определили по телефону без международного кода, и часть французских магазинов стала американскими

• Магазин показывает одно вино на двух языковых версиях сайта, мы парсим обе, и в базе дубли

• История цен по магазину обрывается, а временная недоступность товара на недели гасит цену

Как устроена работа

Готовых тест-кейсов под базу нет, их предстоит придумать. Часть методики проверок уже описана в Confluence. Её нужно подхватить и превратить в систему: регулярные проверки, метрики, понятные отчёты.

Данные лежат в…