Разработчик Scala

Мы, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей Сбера.

В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта – Корпоративное хранилище данных на платформе Hadoop.

Данные используются аналитиками Банка для построения регуляторной, обязательной и управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов.

Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, ФНС, Росстат).

Используемые инструменты:

• для накопления и параллельной обработки больших объемов данных – Hadoop.

• для управления потоками ETL – CTL

• для разработки ETL на Hadoop – Scala, Spark, Hive

• DevOps – Git, Jenkins, SonarQube

Ты идеальный для нас кандидат, если у тебя есть:

• Уверенное знание языка Scala, в т.ч. коллекции, многопоточность и разделение доступа, лямбда выражения, паттерны и области их применения;

• Навыки работы с одной из сред IDE, системой сборки, системой контроля версий (git);

• Знание SQL и JDBC;

• Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide;

• Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения.

Будет плюсом:

• Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL);

• Опыт работы с аналитическими хранилищами (DWH), знание теории баз данных;

• Опыт работы с Unix системами, написание Shell скриптов;

• Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д.

Чем предстоит заниматься:

• Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL);

• Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов;

• Повышение стабильности работы приложений, анализ типовых ошибок и…