Старший инженер данных

Чем предстоит заниматься:

• Проектировать и оптимизировать масштабируемые пайплайны обработки данных (batch и streaming) на базе Airflow, Spark, Hadoop, ClickHouse;

• Поддерживать высокое качество данных (валидация, профилирование, мониторинг) и своевременную поставку признаков для аналитики и машинного обучения;

• Участвовать в разработке AI/ML сервисов в рамках Корпоративного центра ИИ.

Мы предлагаем: ​​​​

• Возможность присоединиться к профессиональной, высоко мотивированной и результативной команде, перспективы карьерного роста;

• Официальное трудоустройство в аккредитованный IT-актив, оплачиваемые отпуск, командировки, больничные;

• Рыночную заработную плату по результатам собеседования;

• ДМС со стоматологией после испытательного срока, 100% компенсацию больничного;

• Корпоративный зарплатный проект для сотрудников со специальными выгодными предложениями в "Урал ФД Банке";

• Комфортные офисные условия;

• Корпоративные программы от наших партнеров;

• Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»;

• Яркую корпоративная жизнь и дружелюбную атмосферу в коллективе профессионалов!

Мы ждём от кандидата:

• Наличие высшего образования (информационные системы или т.п.);

• Опыт работы от 3-х лет;

• Продвинутое владение SQL (ClickHouse, Hive, реляционные СУБД), оптимизация запросов и структур хранения;

• Продвинутое владение Python, PySpark и основы Scala для разработки и оптимизации пайплайнов на Spark;

• Опыт работы с Hadoop/HDFS, интеграцией с объектными хранилищами (S3) и потоковой обработкой (Kafka);

• Проектирование и сопровождение устойчивых ETL/ELT-процессов в Airflow;

• Навыки работы с Git, CI/CD и инструментами анализа (Jupyter, DataSphere).