Data Engineer

Привет, на связи компания Centras! Мы находимся в поиске талантливого Data Engineer, который присоединится к новому отделу DataHub!

Вместе с командой вы будете создавать централизованную платформу для сбора, интеграции и подготовки данных холдинга, обеспечивая ими бизнес-продукты, аналитику и принятие решений на основе данных.

Обязанности

• Разрабатывать и поддерживать ETL / ELT -пайплайны для централизованного сбора данных из различных источников холдинга.

• Интегрировать данные из БД, API , файлов, внешних систем и внутренних сервисов .

• Проектировать и развивать модели данных для аналитических и продуктовых задач.

• Создавать и оптимизировать DWH / Data Lake / Data Mart решения.

• Обеспечивать качество, целостность и актуальность данных.

• Автоматизировать процессы загрузки, трансформации и обработки данных.

Требования

• Опыт работы Data Engineer / ETL Developer / Analytics Engineer от 1 года .

• SQL : запросы, CTE, оконные функции, оптимизация.

• Знание Python для обработки данных и автоматизации.

• Опыт построения и поддержки ETL / ELT -пайплайнов .

• Понимание принципов построения DWH , Data Lake и витрин данных .

• Опыт работы с реляционными БД — PostgreSQL / MySQL / ClickHouse или аналогами.

• Понимание принципов моделирования данных и построения аналитических моделей.

• Опыт работы с Git и понимание основных принципов CI/CD.

Будет преимуществом:

• Опыт работы с Apache Airflow или другими оркестраторами.

• Опыт работы с Yandex Cloud / AWS / GCP .

• Опыт с ClickHouse, Greenplum, BigQuery, Spark.

• Опыт построения Data Lake / Lakehouse.

• Знание Kafka и принципов потоковой обработки данных.

• Опыт работы с dbt.

• Понимание Data Governance, MDM и Data Quality.