Разработчик Hadoop (senior)

IT-компания GNIVC - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh.ru среди крупных компаний;

• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;

• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата;

• Являемся аккредитованной ИТ-компанией.

Мы ищем опытного разработчика для проектов по обработке больших данных с потенциалом роста до тимлида в части bigdata. В задачи входит разработка и поддержка распределённых процессов обработки данных на базе Apache Spark (Java/Scala) с интеграцией в экосистему Hadoop (HDFS, Hive, HBase), а также взаимодействие с системами Oracle/Postgres и потоковыми данными через Kafka. Работа ведётся в кластере ADH.

Задачи:

• разработка и поддержка Big Data на крупном проекте;

• разработка и сопровождение ETL-процессов и потоковых пайплайнов на Spark (Java/Scala);

• интеграция с источниками и хранилищами данных: HDFS, Hive, HBase, Oracle, Postgres, Kafka, ClickHouse;

• написание SQL-запросов;

• оптимизация производительности Spark job’ов и процессов загрузки/выгрузки;

• участие в проектировании архитектуры и внедрение лучших практик разработки под Big Data;

• оптимизация производительности на уровне кластера (тюнинг Spark, partitioning, broadcasting).

Требования:

• опыт коммерческой разработки на Java и Scala: 5+ лет опыта разработки, из них 2–3 года в Big Data;

• практический опыт работы с Apache Spark;

• знание экосистемы Hadoop (HDFS, Hive, HBase);

• опыт работы с Kafka;

• хорошее знание…