Data Engineer

Привет!

Мы строим Data Lake под регуляторное хранилище на базе ClickHouse. Ищем опытного Data Engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной СУБД под нагрузкой.

Вам предстоит разобраться в сложном legacy-коде, спроектировать и запустить надёжные пайплайны данных, а также поучаствовать в ключевых архитектурных решениях. Мы ждём человека, которому интересно данное направление, который умеет аргументировать свою позицию и берёт ответственность за результат.

Технические требования (Hard Skills)

Обязательно

• Oracle PL/SQL: чтение и понимание сложного существующего кода (пакеты, хранимые процедуры, функции, тонкости транзакционной логики), умение переносить/перепроектировать бизнес-логику под новый стек.

• SQL: отличное владение аналитическим SQL: сложные JOIN, оконные функции, CTE, агрегации, оптимизация запросов.

• ClickHouse: уверенный опыт работы - движки таблиц (MergeTree-семейство и др.), партиционирование, индексы, материализованные представления, движки для интеграции, кодеки сжатия, репликации.

• Apache Airflow: разработка production-ready DAG, управление зависимостями, retry/backfill, переменные и соединения, мониторинг ошибок.

• DataLake: понимание архитектур хранилищ, моделирование данных под аналитику, работа с большими объёмами, опыт с Apache Iceberg как плюс.

Важно (будет плюсом)

• Python: уверенный уровень (автоматизация ETL, работа с Airflow, клиентами БД, тестирование).

• Trino: понимание принципов работы, построение запросов, оптимизация JOIN, работа с каталогом.

• Apache Spark: опыт batch-обработки (PySpark), интеграция с Iceberg/S3, понимание распределённых вычислений.

• Data Quality: опыт внедрения проверок качества данных, мониторинг аномалий.

• Мониторинг: построение мониторинга пайплайнов, автоматизация алертинга.

• Инфраструктура и CI/CD: Git, опыт работы с S3-compatible storage, понимание CI/CD для data-конвейеров.

Будет преимуществом

• Опыт работы в…