DWH Разработчик

Чем предстоит заниматься:

• Обследование действующих интеграций, состава данных и расчётов. Согласование изменений с перечнем показателей, потребителей, глубину исторических данных и периодичностью обновления.

• Составление и актуализация необходимой документации, спецификаций источников данных, структуры данных, правил преобразования и реестра расчётов.

• Согласование документов и изменений/дополнений в системах управления метаданными.

• Разработка новых и доработка существующих интеграций в соответствии с согласованной схемой интеграции.

• Разработка дата-продуктов, сервисов доступа к данным и публикации данных, витрин данных, процессов расчетов и преобразования данных в различных слоях ХД.

• Выполнение и контроль ошибок загрузки согласованной истории данных, настройка регулярного обновления данных.

• Тестирование процессов интеграции и обработки данных, сверка с источниками и устранение выявленных дефектов.

Наши ожидания:

• Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB.

• Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин.

• Экспертиза в реализации ETL / ELT для хранилищ или озер данных;

• Уверенное владение SQL и PL/SQL СУБД Greenplum (ADB);

• Оптимизация SQL, в том числе для целей OLAP;

• Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов;

• Понимание Data Vault и навыки работы с ней;

• Знание подходов к разработке, документированию, тестированию потоков данных;

• Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala);

• Понимание работы и взаимодействия с Kafka;

• Опыт работы в Jira, Confluence, Git.

• Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке, неймингу объектов и т.д.;

• Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно…