Data Engineer в Data Lake

Чем предстоит заниматься:

• Изучение сырых данных, как на источнике, так и в Storage

• Тесное взаимодействие с командами Data Science и ML

• Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark

• Проектирование и построение витрин данных в ClickHouse

• Разработка и модификация ETL/ELT-процессов для Data Mart

• Проведение код-ревью

Вам потребуется:

• Опыт работы от 3 лет (на аналогичной позиции или схожей)

• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop

• Уверенное владение Python (включая PySpark)

• Продвинутый опыт работы со PySpark (batch) с большими объемами данных

• Опыт проектирования таблиц в ClickHouse

• Опыт опыт работы с ClickHouse

• Отличное знание SQL и опыт оптимизации под большие объёмы данных

• Разработка, оптимизация и масштабирование ETL/ELT-процессов

• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности

• Взаимодействие с аналитиками, специалистами Data Science и ML

• Понимание принципов Data Lake / Data Lakehouse

Будет плюсом:

• Опыт работы с Hive

• Опыт работы Apache Airflow

• Понимание принципов MLOps

• Опыт работы с Kafka

• Опыт работы со Spark ( streaming)

• Понимание принципов Lakehouse

• Опыт работы с кластером ClickHouse

• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);

• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling

Мы предлагаем:

• Профессиональное развитие в крупной MedTech компании

• Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию

• Удаленный/ гибридный формат работы

• Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких

• + 3 дня оплачиваемых выходных

• Подарок на День рождения и для детей к Новому году и Дню знаний

• Внутреннее и внешнее…