Старший инженер данных (антифрод)

Ищем Data Engineer / Backend специалиста для разработки и развития высоконагруженных систем антифрод-скоринга, работающих в режиме реального времени. Вы будете работать на стыке Data Engineering, Backend и Machine Learning: развивать микросервисы и data процессы, создавать витрины и ML-фичи, обеспечивать обработку и доставку данных в online и batch контуры.

Чем предстоит заниматься:

• Разработка и развитие микросервисов и data процессов для online/streaming и batch обработки;

• Построение пайплайнов обработки, обогащения и репликации данных;

• Создание витрин, агрегатов и ML фичей для антифрод моделей;

• Работа с большими объемами исторических данных и тяжелыми расчетами;

• Обеспечение качества, консистентности и доступности данных;

• Оптимизация производительности и надежности сервисов и пайплайнов;

• Взаимодействие с бизнес заказчиками и Data Scientists: сбор требований, проработка решений, понимание особенностей обучения и применения ML моделей.

Наши пожелания к кандидатам:

• Коммерческий опыт разработки на Python;

• Опыт создания backend сервисов и data пайплайнов;

• Понимание принципов микросервисной архитектуры;

• Опыт работы с большими объемами данных;

• Понимание batch и streaming обработки;

• Опыт работы с реляционными и in-memory базами данных;

• Понимание принципов работы ML пайплайнов;

• Готовность самостоятельно разбираться в предметной области и работать на стыке технических и бизнес задач.

Технологический стек:

• Big Data: Spark, Hadoop, S3, Iceberg, Airflow;

• Backend: Python, FastAPI, Flask, Aiohttp;

• СУБД: MS SQL, Oracle, PostgreSQL;

• In-memory: Redis, Apache Ignite, Tarantool DB, Tarantool Column Store;

• Streaming: Kafka;

• Инфраструктура: Linux.

Будет плюсом:

Опыт в Anti-Fraud / Risk / Scoring, low-latency системах, feature pipelines, online inference, а также практический опыт со Spark, Kafka, Tarantool или Ignite.

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам…