Data Quality Middle+/Senior (Антифрод-платформа)

Мы развиваем продукт DataQuality - систему мониторинга качества данных, которая в реальном времени следит за потоком событий антифрод-платформы: согласованность полей, заполненность расчетов, стабильность скорингов и агрегатов, статистику срабатывания фрод-правил, пропажу типов событий.

Мы ищем аналитика данных, который возьмет на себя две связанные задачи: довести систему алертов до состояния, когда сигналов мало, но каждый по делу, и исследовать связанные с данными обращения пользователей антифрод-платформы, находя в них подсказки о том, что мы еще не умеем мониторить.

Это техническая роль. Поток платформы - тысячи событий в секунду, история в Hadoop - миллиарды строк. Поэтому нужно понимать, как Spark исполняет ваш запрос, и уверенно владеть статистикой: пороги алертов выводятся из распределений, а не подбираются на глаз.

Роль хорошо подойдет тем, кто работал с ML (обучал и оценивал модели, искал аномалии, следил за дрейфом признаков), но не хочет уходить в Data Science или MLOps. У нас статистика и ML-подходы применяются к прикладной задаче с быстрым результатом: настроенная вами проверка уже завтра ловит реальный инцидент на боевом потоке.

Обязанности

• разбирать поток срабатываний проверок качества данных, отличая реальную деградацию от шума и ложных сигналов

• настраивать проверки так, чтобы снижать долю ложных срабатываний: подбирать пороги по уровням severity, окно агрегации и базовый период на основе распределения метрики за исторический период, а не «на глаз»

• копать до первопричины срабатываний: идти в сырые события, поднимать историю, сопоставлять с релизами и инцидентами

• оценивать качество алертов: сколько сигналов были ложными и почему (строгий порог, короткое окно, сезонность, редкий тип события)

• развивать методы детектирования: проверять статистические и ML-подходы к поиску аномалий и дрейфа на временных рядах и распределениях скорингов, оценивать их на истории инцидентов и предлагать, что включать в продукт

• работать с полной…