Fido-Biznes
Data Engineer
Что JobRadar наблюдает сейчас
Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.
Описание вакансии
Senior Data Engineer
Направление: Data Engineering / DWH / ETL
Уровень: Middle+ / Senior
Опыт работы: от 3 лет в Data Engineering или смежных направлениях.
Ищем Data Engineer для разработки и развития инфраструктуры обработки данных и корпоративного хранилища (DWH).
Специалист будет отвечать за построение ETL/ELT-процессов, интеграцию данных из банковских систем, автоматизацию загрузок, обеспечение качества и доступности данных.
Основные обязанности
- Разработка процессов получения данных из Oracle через CDC (Debezium, Kafka, Kafka Connect).
- Разработка и поддержка DAG в Apache Airflow для автоматизации загрузки и обработки данных.
- Проектирование слоёв данных: Staging, исторические данные (SCD2), Data Marts.
- Разработка и оптимизация ETL/ELT-процессов с использованием SQL и PL/SQL.
- Интеграция данных из различных источников в корпоративное хранилище (DWH).
- Организация выгрузки данных в объектные хранилища (S3, MinIO).
- Контроль качества данных, мониторинг загрузок и обработка ошибок.
- Настройка мониторинга и алертинга для контроля актуальности данных и работы пайплайнов.
- Подготовка технической документации, описание структур данных и Data Lineage.
Обязательные требования
- Опыт работы Data Engineer от 3 лет.
- Уверенное владение SQL: сложные запросы, оконные функции, оптимизация.
- Глубокие знания Oracle и PL/SQL: пакеты, индексы, планы выполнения, работа с большими объёмами данных.
- Опыт разработки на Python и автоматизации обработки данных.
- Практический опыт работы с Apache Airflow или аналогичными оркестраторами.
- Знание Apache Kafka, Kafka Connect и принципов CDC.
- Опыт работы с Debezium или аналогичными инструментами.
- Понимание моделирования данных: Fact/Dimension, SCD2, инкрементальная загрузка и идемпотентность.
- Опыт работы с Git, Code Review и Docker.
Будет преимуществом
- Опыт CDC-интеграции с Oracle: LogMiner, Redo/Archive Logs, SCN, Oracle GoldenGate.
- Знание PostgreSQL / Postgres Pro…
Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.