Data Engineer (Hadoop / Spark)

«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных.

Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний.

Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.

Чем предстоит заниматься:

• Разрабатывать и оптимизировать batch-процессы на Apache Spark.

• Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.

• Создавать и поддерживать витрины данных в Hadoop.

• Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.

• Развивать архитектуру Data Lake и подходы к организации и хранению данных.

• Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).

• Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.

• Поддерживать трансформации данных в dbt Core.

• Развивать и поддерживать витрины данных в ClickHouse.

• Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.

• Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.

• Внедрять проверки качества данных и мониторинг пайплайнов.

• Исследовать причины сбоев и деградации производительности.

• Помогать аналитикам и дата-сайентистам эффективно работать с платформой.

• Участвовать в развитии внутренних инструментов и стандартов Data Engineering.

• Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.

Что для нас важно:

• От трёх лет опыта работы с Hadoop и Apache Spark.

• Знание основных компонентов Hadoop и принципов работы HDFS и Spark.

• Глубокое понимание архитектуры Spark и…