Data Engineer / Spark в офисе

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов.

СТЕК: SQL, Spark, Python, Iceberg, Airflow

Работа из офиса 5/2: Москва ,Поклонная улица, 3 к2

Что нужно делать:

• Взаимодействие с командой и заказчиком по уточнению требований.

• Анализ чужого и написание своего кода на SQL, Python, Spark

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.

• Тестирование и отладка кода, обеспечение качества данных.

• Документирование (Confluence)

Что мы хотели бы видеть:

• Глубокие знания SQL.

• Spark (в том числе оптимизаци), Python

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.

• Знание архитектуры хранилищ

• Умение работать в команде и следовать процессам заказчик

Желательно:

• Iceberg

• Kafka

• Scrum

• Знание экономики, финансов, банковской сферы.

Что ты приобретёшь, присоединившись к нам:

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;

• работа в команде профессионалов готовых делиться экспертизой;

• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный…