Data Engineer / Разработчик ETL и хранилищ данных (DWH, BI)

О проекте

Для реализации проекта требуется специалист по разработке аналитических систем, интеграции и обработке данных.

Проект предусматривает создание интерактивной аналитической BI-системы обработки и предоставления данных в сфере внешнеэкономической деятельности (ВЭД).

Система должна обеспечивать сбор, очистку, преобразование и объединение данных из существующих источников, формирование централизованного хранилища и аналитических витрин, а также предоставление пользователям интерактивных дашбордов и отчетов.

Важное условие: система разворачивается исключительно в закрытой инфраструктуре заказчика. Использование облачных сервисов не допускается. Предпочтение отдаётся специалистам с опытом разработки корпоративных аналитических систем и работы с большими объёмами данных.

Основные задачи

1. Разработка ETL-процессов

• Разработка и настройка процессов извлечения, преобразования и загрузки данных с использованием Apache Airflow, Python и SQL.

• Интеграция данных из существующих баз данных, файловых источников и REST API.

• Реализация полной и инкрементальной загрузки, обработки ошибок, повторных запусков и журналирования.

• Очистка, дедупликация, нормализация и обогащение данных.

• Разработка механизмов сопоставления данных с нормативно-справочной информацией и классификаторами.

2. Разработка и настройка хранилища данных

• Проектирование и реализация многослойной архитектуры хранилища: STAGE, ODS, DDS и DATAMARTS.

• Разработка таблиц, представлений, связей, индексов и аналитических витрин на базе PostgreSQL / Greengage.

• Интеграция данных из существующих структур закрытого контура без избыточного дублирования.

• Организация хранения истории изменений и контроля качества данных.

• Оптимизация запросов и обеспечение производительности аналитической системы.

3. Интеграция источников данных

• Работа с существующими таблицами и представлениями корпоративных баз данных.

• Подключение REST API для получения мастер-данных…