Senior/Tech Lead Data Engineer

Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой.

Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи.

Разработка ведется в рамках стратегических государственных инициатив по цифровому суверенитету страны. Среди организаций, доверяющих нашим технологиям, — профильные ведомства федерального уровня: Роскомнадзор и Минцифры России.

О проекте:

Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных.

Система агрегирует данные из сотен источников, обрабатывает входной стриминг на уровне сотен тысяч событий в секунду и продолжает масштабироваться — в ближайшее время планируется подключение более 10 дополнительных источников данных.

Чем предстоит заниматься:

• Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке;

• Участие в построении новой data-платформы с нуля;

• Проектирование схем хранения и оптимизация Iceberg-таблиц;

• Оптимизация Spark и Trino под highload и near-real-time требования;

• Проектирование решений с учётом роста объёмов данных и нагрузки;

• Разбор и устранение сложных инцидентов производительности;

• Внедрение и развитие практик Data Quality;

• Проведение код-ревью;

• Менторинг старших инженеров и инженеров данных;

• Принятие технических решений в рамках архитектуры платформы.

Что мы ожидаем:

1. Глубокая инженерная экспертиза.

• 5+ лет опыта в Data Engineering;

• Продвинутый опыт работы со Spark (batch и streaming);

• Практический опыт построения потоковой обработки на Flink;

• Отличное знание SQL и опыт оптимизации под большие объёмы данных;

• Уверенное понимание брокеров сообщений: гарантии доставки, порядок, дубли, поведение при переполнении. Не привязано к…