DevOps-инженер в команду поддержки Data-платформ (Senior)

Мы развиваем корпоративную DWH-платформу: Greenplum, ClickHouse, Airflow, NiFi, Superset/Tableau, CI/CD и инфраструктурные сервисы для загрузки данных и отчётности.

Платформа проходит трансформацию: отказ от MSSQL-контура и постепенный переход на современную LakeHouse-архитектуру на основе Greenplum, ClickHouse и S3.

Чем предстоит заниматься:

• Разрабатывать и поддерживать CI/CD для ETL, скриптов и проверок качества данных;

• Автоматизировать развёртывание приложений, ETL-процессов и инфраструктурных компонентов;

• Поддерживать среды разработки, тестирования и production;

• Развивать мониторинг, метрики, логирование и алертинг;

• Расследовать инциденты по метрикам и логам, автоматизировать повторный запуск и восстановление загрузок;

• Настраивать ролевой доступ, backup и проверку восстановления;

• Участвовать в разработке планов Disaster Recovery с учётом RTO/RPO;

• Анализировать производительность, масштабирование и потребление ресурсов;

• Документировать архитектуру, эксплуатационные процедуры и взаимодействие со смежными командами.

Наши пожелания к кандидатам:

• Опыт от 3 лет в роли DevOps-, DataOps-, SRE- или Platform-инженера;

• Опыт работы с DWH, Data Lake, LakeHouse или другой data platform;

• Практический опыт CI/CD и автоматизации инфраструктуры;

• Уверенное администрирование Linux и написание скриптов на Bash, Python или другом языке;

• Опыт работы с S3-совместимыми объектными хранилищами;

• Опыт работы с Kubernetes, OKD, OpenShift или аналогичной платформой;

• Опыт настройки мониторинга, логирования, алертинга, backup и восстановления;

• Умение находить узкие места и оптимизировать использование ресурсов.

Будет преимуществом:

• Опыт с Greenplum, ClickHouse или другими платформами хранения и обработки данных;

• Понимание Data Catalog, metadata management и data lineage;

• Опыт Capacity Planning: расчёт CPU, RAM, Storage и Network;

• Опыт автоматизации с применением ИИ;

• Опыт внедрения новых компонентов data platform с нуля.

Мы…