Senior Data Engineer

3 дня в неделю в офисе

Мы ищем data engineer’а в команду, занимающуюся развитием ML-подходов в страховании. Если у вас хорошая математическая подготовка, вы любите анализировать большие объемы данных и хотите получить опыт участия в полном цикле разработки ML-решений, а также готовы внедрять эти решения и влиять на бизнес, то мы будем рады видеть вас в нашей команде.

Наши модели работают в online-режиме 24/7, решая задачи оценки риска, выявления фрода, ценообразования и формирования индивидуальных предложений. Мы оцениваем влияние нашей работы на бизнес-метрики с помощью A/B-тестов. Используем в работе open-source решения: Spark, MLFlow, DVC, Feast, CatBoost, Docker, данные готовим на Hadoop-кластере.

Обязанности:

• Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow, как и батч загрузку, так и стриминг с помощью Kafka

• Готовить витрины данных, в том числе из сырых логов

• Разрабатывать API и сервисы по данным

• Подключать новые источники и отвечать за бесперебойную поставку данных

Требования:

• Уверенный Python и Отличные знания SQL (JOIN, подзапросы, оконные функции);

• Уверенные знания стека Hadoop (HDFS, YARN, Hive) и Pyspark;

• Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры);

• Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне;

• Знание базовых команд Linux-консоли, git;

• Интерес к технологиям больших данных и большое желание учиться;

Будет плюсом:

• Знакомство с системами контейнеризации и виртуализации Linux (Docker, Kubernetes);

• Опыт разработки REST-сервисов на Python (Flask / FastAPI);

• Знакомство с Kafka;

• Знакомство с CDC (Debezium);

• Работа с No-SQL БД (Redis. Hbase);

• Оптимизация и хранение данных в Clickhouse

Что мы предлагаем:

• Работу в профессиональной команде, которая готова делиться знаниями и опытом;

• Возможность внешнего обучения и прокачки твоих скиллов за счет Компании;

• Заботу о сотрудниках: возможность прохождения…