Data Engineer (офис, Москва)

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer ОФИС В МСК

ФОРМАТ РАБОТЫ: ОФИС, МСК

Стек технологий: SQL, Hadoop, Spark, Hive

Основные обязанности:

• Построение логических и/или физических моделей данных;

• Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);

• Знание etl процессов;

• Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);

• SQL - уверенные знания ;

• Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);

• разработка java дистрибутива etl процесса;

• Работа с БД с использованием Spark java framework;

• настройка параметров spark фреймворка (оптимизация Spark контекста);

• Работа с датафреймами и датасетами;

• Оптимизация плана запросов.

• опыт со scala будет преимуществом

МЫ ПРЕДЛАГАЕМ:

• Работу в стабильной компании, "белую" заработную плату;

• Оформление в соответствии с ТК РФ с первого дня работы;

• Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;

• Профессиональное обучение и развитие;

• Яркая и насыщенная корпоративная жизнь;

• Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления.

ФОРМАТ РАБОТЫ: ОФИС, МСК