Старший Инженер по данным [Автоматизированные сервисы МГТС, МТС Веб Сервисы]

Поддержка и развитие Корпоративного хранилища данных (DWH) и Корпоративный портал отчетности.

Чем предстоит заниматься:

• Разрабатывать и эксплуатировать пайплайны загрузки данных;

• Обрабатывать большие и вложенные наборы данных, повторные загрузки, retry, идемпотентности и частичных ошибок;

• Работать с распределёнными хранилищами и SQL-движками;

• Понимать принципы работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков;

• Уметь анализировать план запроса, оптимизировать JOIN, партиционирование и распределение данных, диагностировать skew, bloat и проблемы производительности;

• Проектировать слои хранения и моделей данных: staging/bronze, silver, gold, SCD, Data Vault или аналогичные подходы;

• Работать с Git и CI/CD: merge request, тестирование до merge, управление релизами, ручной deploy, rollback и разделение merge/deploy;

• Строить и сопровождать регламентные процессы в Airflow, Dagster или аналогичных оркестраторах;

Что мы ждем от кандидата:

• Уверенное владение Python и SQL;

• Интеграция с API, обработка больших и вложенных наборов данных;

• Понимание принципов работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков;

• Понимание data lineage, контрактов данных, версионирования схем и управления метаданными.

• Опыт dbt или аналогичного подхода к управлению SQL-трансформациями как кодом;

• Понимание контейнеризации и инфраструктуры как кода.

• Будет плюсом: Trino, ClickHouse, Iceberg, S3, каталоги наподобие Nessie.

Что мы предлагаем:

• Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;

• Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;

• Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;

• Участие во внешних IT-мероприятиях. Наши эксперты выступают на ведущих профильных…