Data Engineer Spark (Офис/Банк)

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica , Kafka, Apache Airflow, Apache Griffin.

ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, Posgre SQL . Работаем с витринами и занимаемся разработкой ETL процессов.

СТЕК: Spark, Hadoop, Hive, Hue, Jupyter.

Работа из офиса 5/2 Москва ул. Поклонная

Что нужно делать:

• заниматься определением источников, выявлением проблем с качеством данных в источниках;

• разработкой схем данных конечных витрин в Hive по утвержденному проекту;

• маппингами атрибутов источников на приёмник;

• разработкой ETL-процессов с помощью внутреннего фреймворка;

• реконсиляцией данных, написанием базовых тестов на качество данных.

Что мы хотели бы видеть:

• уверенный уровень sql (в пределах стандарта, без привязки к СУБД);

• представления о java / python ;

Желательно:

• опыт работы с Hive, Spark;

• опыт работы с Оozie, Airflow ;

• умение работать с Confluence;

• есть представление о работе с Jira, Git.

Что ты приобретёшь, присоединившись к нам:

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;

• работа в команде профессионалов готовых делиться экспертизой;

• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный…