SQL Разработчик (Инженер интеграций)

Привет! Мы – компания «Градиент». Мы развиваем корпоративную платформу данных, на которой строится аналитика и отчётность компании. Сейчас ищем Инженера интеграций, который будет отвечать за надёжную доставку данных из множества источников — API, файлов и баз данных — и обеспечивать их качество и доступность для бизнеса.

В этой роли ты будешь влиять на надёжность данных, которыми пользуется вся компания, работать с современным стеком и решать содержательные инженерные задачи — от проектирования потоков до их промышленной эксплуатации.

Чем тебе предстоит заниматься:

• Проектирование и разработка ETL/ELT-потоков для API, файловых источников и баз данных

• Создание и сопровождение DAG в Apache Airflow

• Организация ежедневных пакетных загрузок больших объёмов данных

• Разработка Python-коннекторов и обработчиков: тайм-ауты, повторы, пагинация, обработка ошибок

• Обеспечение надёжности пайплайнов: идемпотентность, корректная дозагрузка, повторный запуск, восстановление после сбоев

• Работа с Microsoft SQL Server и PostgreSQL: запросы, загрузки, индексы, транзакции, блокировки, планы выполнения, обслуживание

• Контроль качества данных: полнота, свежесть, уникальность, согласованность

• Настройка мониторинга, уведомлений, журналирования и диагностики потоков

• Поддержка конфигурации, доступов, резервирования и восстановления Airflow и СУБД

• Взаимодействие с владельцами данных, аналитиками, разработчиками и инфраструктурной командой

Что мы от тебя ждем:

• Практического опыта разработки и сопровождения интеграционных потоков данных

• Уверенного владения Python для промышленной обработки данных и интеграций

• Сильного SQL, опыта работы с Microsoft SQL Server и PostgreSQL

• Опыта работы с Apache Airflow: DAG, зависимости, retries, backfill, расписания, pools, ограничение параллелизма, логи, диагностика

• Понимания ETL/ELT: инкрементальные загрузки, checkpoint, upsert, транзакции, идемпотентность

• Опыта работы с большими объёмами данных: порционная…