Senior Data Engineer

Мы ищем опытного Senior Data Engineer , способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных.

Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.

🎨 Чем предстоит заниматься (Обязанности):

• Оркестрация и пайплайны: проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow .

• Аналитические витрины (ClickHouse): развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).

• Streaming & ODS:

• Построение потоковой доставки данных через Apache Kafka (near real-time).

• Развитие ODS на PostgreSQL : интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.

• Оптимизация баз данных: тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).

• Data Storage: работа с объектными хранилищами ( S3 / MinIO ) как слоем хранения.

• Рефакторинг и ревизия: аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.

• Data Quality & SLA: настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).

• Кросс-функциональная работа: взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).

🎯 Что для нас важно (Требования):

• Языковой стек: отличное знание Python и SQL .

• ETL/ELT в Production: уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).

• ClickHouse: проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.

• Реляционные БД & ODS/DWH: глубокие знания PostgreSQL / MySQL , опыт оптимизации БД и построения ODS/DWH поверх операционных…