Data Engineer / DataOps (сессионный антифрод)

Мы делаем систему сессионного антифрода. Она собирает отпечаток устройства и поведение пользователя в интернет-банке, распознаёт ботов и мошенников и решает, пропустить операцию или остановить.

Чем предстоит заниматься:

• Собирать наборы для обучения из истории событий в Iceberg: срез за период, метки из подтверждённых решений аналитиков, состав набора записан, чтобы его можно было собрать заново.

• Вести учёт версий моделей: какая версия на каких признаках обучена, с какими метриками, в каком статусе (тест, канарейка, прод, отозвана). На старте это таблица и регламент, не отдельная платформа.

• Сделать подготовку данных для модели на пути события: по описанию модели (список полей и правила преобразования) собрать нужные поля из события, кешей и графа и привести их к одному виду, тому же, что при обучении. Сам вызов модели и её обслуживание делает Java-команда, ваша часть данные и их скорость: на сборку и преобразование не больше 50 мс.

• Настроить проверку новой версии модели на данных: отложенный по времени срез, сравнение с текущей версией на одних и тех же событиях, прогон по истории.

• Поставить мониторинг в Prometheus и Grafana: отставание конвейеров, сверки источников, дрейф входных данных и скоров, задержка и доля таймаутов, качество по подтверждённым решениям; оповещения.

• Проектировать таблицы ClickHouse под нагрузку: ключи сортировки, партиции, сроки хранения, материализованные представления.

• Вести стенды данных: Docker, S3-хранилище, Kafka, ClickHouse, PostgreSQL; сборка и деплой в Jenkins; метрики в Grafana.

• Документировать схемы и регламенты так, чтобы ими пользовалась команда и заказчик.

Что ждём от кандидата:

• Уверенный Python и стек обработки данных: pandas, PyArrow, Parquet, тесты на pytest.

• ClickHouse в бою: настройка, схемы таблиц и ключи сортировки, поведение под нагрузкой и при слияниях, SQL-аналитика, умение объяснить план запроса.

• Kafka: топики, партиции, группы потребителей, повторы и дубли, Avro и реестр схем…