Data Engineer

Обязанности:

• Участие в миграции данных и процессов с MS SQL на Postgres Pro

• Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse

• Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности

• Администрирование БД

• Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки

• Описание источников и моделей данных в каталоге данных на OpenMetadata

• Передача экспертизы команде: стандарты, документация, ревью решений

Требования:

• Высшее образование (ИТ, точные науки, инженерное)

• Опыт работы от 3-х лет по специальности

• Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки

• Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных

• Понимание физической и логической репликации и их влияния на нагрузку

• Практический опыт построения CDC (Debezium, логическая репликация или аналоги)

• Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования

• Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse

• Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)

• Опыт работы с OpenMetadata или другими каталогами данных

• Опыт работы с трансформационными пакетами dbt или SQLMesh

Условия:

• Работа в одной из крупнейших управляющих компаний России

• Полное соблюдение требований трудового законодательства

• Бонусы по итогом года

• Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы)

• Корпоративные мероприятия