Программист DWH

Мы ищем программиста DWH в отдел хранилищ данных и бизнес-аналитики.

Команда развивает платформу интеграции данных (Data Integration Hub), которая собирает информацию из производственных систем, обеспечивает хранение исторических данных, их трансформацию и передачу потребителям. Решение помогает изолировать производственные системы от массовых асинхронных запросов и организовывать инкрементальные выгрузки данных.

Обязанности:

• Разрабатывать и развивать механизмы загрузки данных из источников (CDC, S3, REST, Oracle);

• Проектировать и поддерживать структуры хранения staging-слоя в Oracle (партиционирование, сжатие, индексы);

• Реализовывать логику выделения инкрементов и формирования init/delta-выгрузок для потребителей;

• Поддерживать контракты передачи данных: управлять изменениями схем источников через преобразования на стороне платформы;

• Настраивать коннекторы Kafka Connect;

• Оптимизировать производительность: тяжёлые запросы, PL/SQL, параллелизм, работа с большими объёмами;

• Участвовать в проектировании архитектуры: новые источники, новые потребители, масштабирование, стандартизация.

Требования:

• Знание SQL\PL\SQL, желательно опыт работы с Oracle SQL 19c/12c;

• Опыт работы с Python и Overflow;

• Опыт работы с реляционными СУБД, предпочтительно Oracle 19c/12c;

• Умение читать ER-диаграммы.

Будет плюсом:

• Знание технологий Business Intelligence;

• Коммерческий опыт разработки веб-приложений (JavaScript, HTML5);

• Опыт работы с брокерами сообщений Kafka;

• Опыт использования Apache Airflow;

• Опыт разработки с ИИ-агентами;

• Навыки проектирования баз данных, в том числе хранилищ данных.