Senior Data Eningeer

Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени.

Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.

Обязанности:

• Развивать lakehouse на Apache Iceberg over AWS S3 : партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.

• Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.

• Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.

• Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.

• Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.

Требования:

• 5+ лет опыта разработки систем обработки данных в продакшене

• Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации

• Опыт работы с Apache Iceberg или аналогичными табличными форматами ( Delta, Hudi ): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.

• Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.

• Сильный Python , включая опыт с Polars и/или PySpark .

• Понимание Apache Arrow и колоночных форматов данных.

• Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.

• Продвинутый SQL : сложные агрегации, оконные функции, оптимизация…