Middle Data Engineer (СберAds)

Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer.

ВАМ ПРЕДСТОИТ:

• Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде;

• Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления);

• Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных;

• Внедрять и развивать практики Data Quality и DataOps;

• Поддерживать и развивать техническую документацию.

НАШИ ОЖИДАНИЯ ОТ УСПЕШНОГО КАНДИДАТА:

• Опыт работы от 3х лет (Обязательно);

• Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы);

• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром;

• Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач;

• Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов;

• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач;

• Уверенная работа с Git, понимание принципов CI/CD для данных.

БУДЕТ ПЛЮСОМ:

• Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink;

• Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi);

• Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s);

• Опыт работы с инструментами Data Quality (dbt, Great…