Senior Data Engineer (Streaming)

О нас и проекте

Мы — команда разработки в составе крупного стрима Data Platform. Мы создаем и развиваем Customer Catalog — высоконагруженную платформу класса Feature Store. Наша главная текущая задача — построение собственной платформы для потоковой обработки данных (Streaming).

Помимо стриминга, мы создаем внутренние DWH-инструменты на Golang и Scala, поэтому у нас много классической и интересной разработки. В нашей экосистеме мы активно используем кластер ScyllaDB, Spark и Airflow. Мы искренне ценим качество кода и используем все современные инженерные практики: автоматическое тестирование, выстроенный CI/CD, тщательный code review.

Сейчас в команде 3 сильных разработчика, и мы планируем расширение до 5 человек. Ищем зрелого инженера (ближе к Senior), который усилит нашу экспертизу.

Наш технологический стек:

• Стриминг и инфраструктура: Flink, Kubernetes (k8s)

• Работа с данными и оркестрация: ScyllaDB кластер, Apache Spark, Apache Airflow

• Основной стек: Python, Java

• Инструменты DWH / Дополнительный стек: Golang, Scala

Чем предстоит заниматься:

• Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store.

• Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам.

• Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.

• Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекрестное code review.

• Поддерживать решения: осуществлять саппорт разработанных инструментов при возникновении инцидентов (3-я линия).

Ближайшие цели и ключевые задачи сотрудника :

• Проектирование и запуск NRT-пайплайнов: разработать и вывести в прод серию отказоустойчивых потоковых пайплайнов Near Real Time для обеспечения работы кредитного конвейера и систем антифрода.

• Обеспечение данными ML и витрин: выстроить эффективную поставку потоковых…