Data Engineer (Интегрированный риск-менеджмент)

Мы - команда Департамента интегрированного риск-менеджмента.

Наш продукт «Витрины данных» состоит из витрин на Hadoop и GreenPlum.

Разработкой витрин данных занимаются несколько Agile-команд.

Цель витрин: сбор, подготовка и хранение данных, необходимых для расчета регуляторных риск метрик: риск взвешенных активов (RWA), экономического капитала (ECAP) и ставок оценочных и пруденциальных резервов; поставка данных для смежных бизнес-процессов.

Сейчас ищем инженера данных (Data Engineer) в команды развития витрин данных на Hadoop.

Обязанности

• анализ и уточнение требований к доработкам у аналитика и бизнес заказчика

• прототипирование и разработка витрин данных на Hadoop: проектирование модели данных, написание SQL-запросов, сборка дистрибутивов, оптимизация кода

• разработка выгрузок данных из витрин в смежные автоматизированные системы

• проведение тестирования разработанного решения, сверка с эталоном

• подготовка к внедрению функционала витрины

• сопровождение разработанных витрин (участие в разборе ошибок и инцидентов по запросу от команды сопровождения; консультация коллег по логике работы потоков загрузки и т.д.)

• коммуникации с заказчиком и смежными командами.

Требования

• опыт работы со стеком технологий Hadoop, Hive, Spark

• опыт работы с реляционными БД и хранилищами данных в роли аналитика\ разработчика ETL-процессов\ инженера данных\ DWH Developer - от 5 лет

• продвинутый уровень SQL - оконные функции, CTE, оптимизация запросов

• умение читать чужие запросы - SQL

• умение и желание общаться с коллегами (2ЛС, 3ЛС, бизнес-пользователи, смежные команды разработки)

будет плюсом

• знание предметных областей: банки, кредитные риски, резервы

• опыт работы с Kafka

• опыт работы с ИИ инструментами (использование инструментов в процессе разработки)

• знание Python - для автоматизации процессов

• опыт работы с Git, Bitbucket, Jenkins

• опыт работы в Agile-команде.

Условия

• комфортный современный офис рядом с м. Кутузовская

• офисный…