Data инженер (интеграционные среды) Senior, финтех

Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Чем предстоит заниматься:

• Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.

• Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.

• Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.

• Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.

• Исправлять ошибки существующих потоков и повышать их надежность.

• Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.

• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Для нас важно:

• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.

• Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).

• Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.

• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.

• Навыки работы с контейнеризацией и оркестрацией в Kubernetes.

• Опыт проведения нагрузочного тестирования систем обработки данных.

• Экспертное владение SQL и навыки оптимизации сложных запросов.

• Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).

• Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Главный…