Инженер данных

Требования:

• От 4 лет коммерческого опыта в роли DWH / Data Engineer

• Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии

• Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI

• Проектирование

o Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону

o Понимаете различия OLTP- и OLAP-систем и последствия выбора для схемы и профиля нагрузки

o Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ

Технологии

o SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы

o PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой

o Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке

o Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views

o Airflow или другой оркестратор

o Python на уровне поддерживаемого production-кода

o Git, Jira

Будет плюсом:

o Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны

o Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний

o Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников

o Ревьюите код, помогаете расти middle-инженерам

o Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки

o Интеграции с BI-системами: Power BI, Tableau и др.

o Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API

o Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности

Обязанности:

• Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения

• Разрабатывать и…