Data Engineer

Проект Банка ТОП-3. Команда проекта создает и развивает корпоративный движок потоковой обработки данных

Твои задачи:

• Разрабатывать и поддерживать коннекторы для интеграции Flink с Kafka, S3-совместимыми хранилищами, HBase, аналитическими СУБД и другими корпоративными системами

• Реализовывать и оптимизировать Stateful-обработку данных, работать со State Backends, RocksDB, Heap и внешними хранилищами состояния

• Развивать механизмы отказоустойчивости: checkpointing, savepoints, автоскейлинг, восстановление после сбоев, High Availability

• Интегрировать Flink-приложения с системами аутентификации, управления секретами, логирования, мониторинга и аудита

• Настраивать и сопровождать мониторинг Flink-кластеров и задач: JVM-метрики, backpressure, checkpoint duration, consumer lag, watermarks

• Развивать процессы развертывания, обновления, остановки и отката приложений через CI/CD

• Проводить нагрузочное тестирование, искать узкие места и оптимизировать latency и throughput потоковых процессов

• Развивать и сопровождать Flink History Server

• Консультировать команды data-инженеров по разработке Flink-приложений, SQL и настройке state

• Готовить техническую документацию, шаблоны развертывания, чек-листы и руководства по эксплуатации

• Участвовать в тестировании и приемке платформенной функциональности

Что мы ждем от тебя:

• Опыт работы Data Engineer или разработчиком от 3 лет

• Не менее 2-х лет опыта с потоковой обработкой данных или Big Data: Apache Flink, Kafka Streams, Spark Streaming или аналогичные технологии

• Уверенное знание Java или Scala

• Опыт разработки промышленных приложений для распределенных систем

• Практический опыт работы с Apache Flink

• Практический опыт работы с Kafka: producers, consumers, offsets, обработка ошибок

• Опыт работы с Docker и Kubernetes

• Понимание Prometheus и Grafana, опыт настройки оповещений и анализа метрик

• Продвинутый уровень SQL, опыт оптимизации запросов

• Умение работать с технической…