Data Engineer (Цифровые Валюты)

Работа банка тесно связана с управлением финансовыми рисками. Для выполнения обязательств перед клиентами и соблюдения требований Центрального Банка России, банк формирует резервы. Задача нашей команды — обеспечивать точность расчётов этих резервов и предоставлять надёжные и актуальные данные о торговых операциях и позициях. Это помогает банку эффективно управлять своими ресурсами.

Обязанности

Чем занимается команда:

• разрабатывает вычислительные процессы и структуры хранения данных;

• создаёт и поддерживает витрины данных и ETL-процессы на платформе Hadoop с инструментами Spark, Hive, HDFS;

• анализирует и улучшает существующие ETL-процессы, устраняя узкие места;

• сопровождает команды бизнеса и разработчиков по нестандартным запросам;

• обеспечивает высокое качество и доступность данных;

• повышает эффективность обработки больших массивов информации;

• развивает свои компетенции в финансовой сфере и внедряет инновационные подходы в рабочие процессы.

Требования

Мы ждём что ты:

• уверенно владеешь SQL, включая оконные функции, CTE и оптимизацию запросов;

• обладаешь опытом работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS и методами партиционирования и распределённых вычислений;

• понимаешь устройство хранилищ данных и принципы их проектирования;

• работал с крупными объемами данных и знаком с общими подходами к оптимизации процессов;

• имел промышленный опыт создания ETL-процессов и общее представление об архитектуре искусственного интеллекта и машинного обучения;

• знаешь основы git (Bitbucket), gradle, jenkins и можешь настраивать задачи и писать pipelines;

• свободно читаешь техническую документацию на английском языке и способен разбираться в существующем коде, проводя ревью и предоставляя конструктивную обратную связь;

• умеешь оперативно переключаться между задачами, так как работа включает взаимодействие с несколькими функциональными системами.

Будет плюсом:

• владение языками программирования Scala/Python, понимание…