Data Engineer

В ноябре переезжаем в новый офис в Сколково. Сейчас работаем на Соколе - пожалуйста, учитывайте это при отклике на вакансию.

Тебе предстоит:

• Построение ETL-пайплайнов (Spark на Scala, Trino, ClickHouse);

• Разработка ETL-инструментов для обработки данных (Scala, Python);

• Техническое сопровождение платформы данных.

Мы ожидаем:

• Опыт работы в роли Data Engineer от 2-х лет;

• Уверенное владение Python;

• Уверенные знания SQL (оконные функции, оптимизация запросов);

• Глубокое знание Apache Spark (Python/Scala);

• Опыт работы с ClickHouse - понимание его архитектуры и особенностей;

• Опыт работы с S3 и понимание, чем оно отличается от распределенной файловой системы (HDFS);

• Опыт работы с форматами файлов: Parquet, ORC, AVRO - в чем различия, какой тип для какой задачи лучше подходит;

• Опыт работы с табличными форматами Apache Hive / Iceberg / Hudi / Delta Lake;

• Опыт работы c Docker, K8s;

• Опыт работы с Airflow.

Преимуществом будет:

• Знание Scala или другого Java-подобного языка;

• Опыт работы с MPP системами (GreenPlum / Hadoop / StarRocks);

• Опыт работы с Kafka, Spark Streaming / Kafka Streams - понимание проблем в NRT-процессах и методы их решения.

Работать у нас комфортно:

​​​​​​Офис, где приятно быть

— Уютное пространство с зонами коворкинга — выбирай, где работать

Здоровье под защитой

— ДМС (стоматология включена)

— Врач прямо в офисе

Вкусно и бесплатно

— Фреш-бар от Novikov Group

— Кофе, чай, фрукты, снэки — каждый день

Отдых без компромиссов

— Обеденные зоны с настолками и массажными креслами Yamaguchi

Оформление по ТК РФ

— Всё официально