Дата-инженер (Spark)

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов.

СТЕК проекта: Apache Spark (Pyspark), SQL, Airflow, Hadoop.

Что нужно делать:

• Код ревью;

• Оптимизация своего и чужого кода на Spark;

• Написание эффективного кода на SQL, Python, Spark;

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов;

• Тестирование и отладка кода, обеспечение качества данных;

• Взаимодействие с командой и заказчиком по уточнению требований.

Что мы хотели бы видеть:

• Высшее образование;

• Опыт работы со Spark (от 2-3 лет), знание Pyspark;

• Знания Spark архитектуры, и вопросов производительности;

• Глубокие знания SQL;

• Опыт работы с Airflow (написание и поддержка DAG-ов);

• Понимание принципов распределенных вычислений (умение использовать нативные инструменты Spark);

• Опыт работы с Hadoop;

• Умение работать в команде и следовать процессам заказчика;

• М/ж: Санкт-Петербург, Нижний Новгород, Саратов, Пенза, Воронеж.

Желательно:

• Знание экономики, финансов, банковской сферы;

• Опыт работы с Iceberg, StarRocks, Trino.

Что ты приобретёшь, присоединившись к нам:

• достойную оплату труда +…