Data Engineer (Middle)

Betera — это больше, чем работа. Мы — команда профессионалов , которые создают тренды, вдохновляют друг друга на амбициозные цели и достигают успеха на рынке Беларуси вместе. Здесь каждый может гордиться тем, что делает, реализовывать свои идеи и расти в окружении единомышленников.

Мы стремительно развиваемся и готовы делиться опытом и знаниями. Если для тебя важно быть с лидерами, в центре внимания, создавать значимые проекты и двигать индустрию вперед, будем рады видеть тебя в нашей команде!

Сейчас мы в поиске Data Engineer (Middle), присоединяйся!

Что будет входить в твои задачи:

• Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt;

• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets;

• Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3;

• Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг;

• Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH;

• Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы;

• Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям.

Наши ожидания:

• От 3 лет опыта в Data Engineering ;

• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов;

• Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации;

• Практический опыт построения и оркестрации пайплайнов в Apache Airflow;

• Практический опыт работы с dbt: модели, макросы, тесты;

• Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon;

• Практический опыт настройки проверок Data Quality;

• Базовые навыки…