Data Platform Engineer

Компания "Retail Expert" - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ.

Мы специализируемся в IT разработках и продаже аналитики, исследований и консалтинга для ТОПов FMCG уже более 10 лет.

Наша миссия — обеспечить нашим клиентам максимально точное определение настоящего и планирование их будущего.

Наши эксперты всегда идут в ногу со временем и используют в своей работе передовые технологии, чтобы обеспечить сервис высокого уровня быстро, качественно и эффективно.

В данный момент, в рамках плановой трансформации процессов и поддержки текущих бизнес-задач, мы находимся в поисках Data Platform Engineer, который совмещает data engineering, backend и platform: проектирует архитектуру, развивает ETL и Python-проекты, поддерживает сервисы и инфраструктуру - от MSSQL и Airflow до Docker/Kubernetes и мониторинга.

Чем предстоит заниматься:

• Разработка ETL/ELT пайплайнов: Проектирование и реализация инкрементальной загрузки и трансформации больших объемов данных с использованием PySpark .

• Проектирование DWH и витрин: Создание схем таблиц в ClickHouse для витрин, кубов и отчетности Power BI. Настройка движков MergeTree, партиционирования, materialized views и оптимизация производительности запросов.

• Построение Lakehouse-архитектуры: Развитие слоя хранения с нуля (Raw → Staging → Marts) на базе S3-совместимого хранилища с использованием форматов Parquet и Apache Iceberg .

• Миграция данных: Перенос логики и данных из legacy-систем ( MSSQL , хранимые процедуры) в новую целевую архитектуру.

• Поддержка и оптимизация Python-пайплайнов: Работа с текущим стеком на Python/Polars (хеширование, дробление файлов), рефакторинг и повышение отказоустойчивости.

• Оркестрация: Разработка и поддержка DAG-ов в Apache Airflow для управления всеми процессами обработки данных.

• Проактивная оптимизация: Самостоятельный поиск узких мест в текущих решениях, предложение и реализация…