Data Engineer

iFuture – продуктовая IT-компания, мы разрабатываем собственный международный продукт с многомиллионной аудиторией в сфере спортивной аналитики и развлечений уже на протяжении 29 лет.

Мы ищем опытного инженера данных , который будет играть ключевую роль в построении и поддержке архитектуры хранения и обработки данных.

Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)

Основные задачи позиции:

• Разработка и поддержка конвейеров обработки данных в рамках существующей архитектуры DWH

• Реализация и оптимизация ETL/ELT-процессов

• Разработка моделей данных и трансформаций на DBT

• Работа с аналитиками: уточнение требований, подготовка витрин, контроль качества данных

• Поддержка метаданных, схем и моделей данных по принятым в команде стандартам

• Участие в код-ревью и agile-процессах команды​​​​​​​

Мы ожидаем:

• Опыт в Data Engineering от 3 лет

• Опыт работы с ClickHouse: движки таблиц, партиционирование, написание эффективных запросов

• Уверенный SQL: оконные функции, CTE, чтение планов запросов

• Python для разработки data pipeline'ов

• Опыт работы с Apache Airflow: написание и поддержка DAG'ов

• Понимание принципов DWH: слои, схемы, SCD

• Опыт работы с DBT или готовность быстро освоить​​​​​​​

Будет плюсом:

• Опыт работы с Apache Spark и/или Kafka

• Опыт работы с BI-инструментами (Tableau, Power BI, Superset)

• Опыт внедрения тестов и проверок качества данных (dbt tests, Great Expectations)

• Участие в миграции данных или построении хранилища

• Базовое понимание data governance: доступы, lineage, каталогизация

• Умение документировать техническое решение​​​​​​​

​​​Мы предлагаем:

• Конкурентоспособную заработную плату

• Гибкую и понятную систему роста между ролями и грейдами, постоянные performance review

• Помощь опытного ментора в период адпатации, индивидуальный план онбординга

• Оформление по ТК РФ с первого рабочего дня в…