Data Engineer / Инженер данных

Привет! Мы - команда продуктов и цифрового развития, сейчас в поиске коллеги на позицию дата-инженера, который спроектирует и своими руками запустит платформу данных: хранилище, интеграции, единые справочники, правила обработки и предоставления данных.

Чем предстоит заниматься:

• Определять целевую архитектуру вместе с ИТ-директором и командой и поэтапно воплощать её в работающую платформу

• Самостоятельно писать и запускать загрузки и преобразования на Python и SQL, подключать API, базы данных, 1С и файловые выгрузки

• Проектировать слои хранилища, модели данных и витрины в ClickHouse; выбирать структуру таблиц и оптимизировать запросы

• Разрабатывать и сопровождать DAG в Airflow: зависимости, расписания, повторные запуски, догрузки и обработка сбоев

• Настраивать проверки качества, мониторинг и уведомления; обеспечивать защиту от дублей, полноту и актуальность данных

• Совместно с бизнес-аналитиком согласовывать справочники и правила сопоставления; готовить данные для аналитики, сервисов и ИИ-сценариев

• Развёртывать и сопровождать компоненты платформы совместно с ИТ, документировать решения и принимать интеграции подрядчиков

Какой опыт обязателен:

• Самостоятельное построение хранилища или его существенной части: от архитектуры до работающих загрузок и витрин

• Сильный SQL, уверенный Python, Git, тестирование и обработка ошибок

• Практический опыт Apache Airflow в эксплуатации: разработка DAG, диагностика сбоев и безопасные повторные загрузки

• Практический опыт ClickHouse: моделирование аналитических данных, загрузка, оптимизация запросов и понимание особенностей СУБД

• Понимание ETL/ELT, слоистой архитектуры, инкрементальных загрузок и контроля качества данных. Рабочие навыки Linux и Docker для запуска и диагностики компонентов

• Умение самостоятельно проектировать, писать код, запускать решения; обосновывать выбор технологий и обсуждать с бизнесом смысл данных

Будет плюсом:

• PostgreSQL, S3 и Parquet, CI/CD; dbt, опыт с 1С, рекламными…