Data Engineer

стрима:

«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных).

Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей:

• полную идентификацию и описание источников,

• измеримое качество через дата-контракты,

• единую навигацию по данным и знаниям о них,

• дисциплину поддержания актуальности,

• наличие источников в целевом состоянии.

Чем предстоит заниматься:

• Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов;

• Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации;

• Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях;

• Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных;

• Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки;

• Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры;

• Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов;

• Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO;

• Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ;

• Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления.

Наши ожидания:

• 3+ года опыта в роли Data Engineer/Backend Developer;

• Python: для написания DAGs Airflow (DAG, операторы, сенсоры);

• Airflow: DAG, операторы, сенсоры;

• SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse;

• Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков;

• СУБД: Redis/ClickHouse/PostgreSQL или подобные…