Big Data Engineer

Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме.

Обязанности

• анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски

• искать зависимости в данных различных источников с учетом бизнес-специфики их хранения

• проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме

• разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы

• работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием

• тестировать ETL и выявлять баги при построении дата-продуктов.

• участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками

• развивать экспертизу по вопросам работы с данными внутри команды

• обеспечивать доступность, контроль качества и целостность данных.

Требования

• опыт работы в роли DE/DA/ETL Developer не менее 1 года

• практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark

• отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE

• понимание MPP СУБД. Опыт Greenplum — будет преимуществом

• знание основных понятий и концепций из области DWH

• знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE

• как плюс — опыт работы с языками программирования: Scala, Java, Python

• умение работать с большим количеством источников данных

Стек:

Hadoop, Hive, Spark, SQL, ETL, Git, Jira, IntelliJ IDEA, Jupyter Notebook.

Условия

• комфортный современный офис рядом с м. Кутузовская

• формат работы – офис

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС, льготное…