Data Engineer (Премиальные решения)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Сбербанк Первый приглашает Middle Data Engineer в команду данных. Вас ждет работа с технологическим стеком Hadoop, Apache Spark, Greenplum на проектах, связанных с обработкой крупнейших массивов данных по клиентам и продуктам премиум-сегментов Банка.

Обязанности

• анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)

• загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы GreenPlum, Hadoop)

• проектирование и разработка аналитических витрин данных;

• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных

• разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных

• разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных.

Требования

• опыт работы в роли Data Engineer (или аналогичной) от 2 лет

• уверенное владение SQL: умение писать и оптимизировать сложные запросы

• понимание концепции DWH и DataLake архитектуры

• знание Python/Scala для разработки на Spark

• опыт работы с Greenplum

• опыт работы с инструментами экосистемы Hadoop/Spark

• опыт построения ETL/ELT процессов

• понимание процессов Data Quality Management, приветствуется умение искать и устранять проблемы качества данных.

Будет плюсом:

• понимание процесса работы розничного банковского бизнеса

• знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes)

• опыт работы с потоковыми данными (Kafka или аналогичные платформы)

• навыки автоматизации и…