DWH Инженер (DevOps)

Обязанности:

• Проектирование и администрирование CI/CD пайплайнов в GitLab CI / Jenkins для полного жизненного цикла DWH: моделирование, разработка, тестирование, деплой, эксплуатация витрин и загрузочных процедур.

• Разработка скриптов автоматизации на Bash и Python для загрузки, трансформации данных, проверки качества и оптимизации запросов.

• Контейнеризация компонентов DWH-ландшафта (Docker), оркестрация в Kubernetes, настройка Helm-чартов и стратегий развертывания и масштабирования.

• Управление инфраструктурой как код (Terraform, Ansible): описание сетевой и серверной конфигурации, баз данных, очередей сообщений и сервисов DWH-ландшафта, поддержка единообразия сред, настройка ресурсов, резервирование, обновления и патчи, контроль доступности и производительности.

• Администрирование гибридного ландшафта: Arenadata Cluster Manager (ADCM) — установка, настройка и управление data-сервисами компании.

• Настройка и поддержка Apache Airflow для оркестрации ETL/ELT процессов.

• Администрирование инструментов ETL/ELT: Apache NiFi, Trino. Работа с Arenadata Streaming (ADS) на базе Apache Kafka и Apache NiFi для потоковой обработки данных в режиме реального времени.

• Администрирование Apache Iceberg для больших хранилищ данных. Работа с S3-совместимыми хранилищами.

• Реализация механизмов контроля качества данных: валидаторы, тесты данных, контроль историчности, аудит загрузок, data lineage в рамках CI/CD и эксплуатационных пайплайнов.

• Настройка систем мониторинга Prometheus и построение дашбордов Grafana для DWH: метрики загрузок, задержки, объёмы, производительность запросов, использование ресурсов, алерты по SLA/SLO.

• Внедрение централизованного логирования и наблюдаемости (Elasticsearch/Logstash/Kibana или альтернативные стеки): трассировка ETL пайплайнов, корреляция событий и аналитика инцидентов.

• Автоматизация типовых операционных процедур: ротация логов, очистка временных таблиц, реиндексация, анализ планов выполнения запросов, пересчёт…