Инженер DevOps (Kafka)/Kafka Engineer

Ищем DevOps / Kafka Engineer в команду потоковых данных, которая развивает и поддерживает платформенное решение на базе Kafka и Kafka Connect. Команда отвечает за отказоустойчивость, доступность и мониторинг Kafka-инфраструктуры, а также автоматизирует управление жизненным циклом кластеров и развивает внутренние инструменты для работы с платформой.

Чем придется заниматься

• Обеспечивать отказоустойчивость, стабильность и доступность кластеров Kafka и Kafka Connect

• Развивать и поддерживать платформенное решение на базе Kafka и Kafka Connect

• Конфигурировать и сопровождать коннекторы MirrorMaker2, Debezium и другие Kafka Connect-коннекторы

• Заниматься диагностикой и дебагом Kafka, Kafka Connect и связанных инфраструктурных компонентов

• Автоматизировать развертывание, конфигурирование и масштабирование кластеров с помощью Ansible

• Развивать внутренние инструменты для автоматизации жизненного цикла Kafka-инфраструктуры

• Настраивать мониторинг, алертинг и дашборды с использованием VictoriaMetrics, Alertmanager и Grafana

• Участвовать в миграции данных между кластерами и обеспечивать ее без простоя сервисов

• Консультировать команды разработки по лучшим практикам работы с Kafka и настройке producers / consumers

Мы ожидаем:

• Опыт работы DevOps / Infrastructure Engineer от 5 лет, из них не менее 2-3 лет работы с Kafka в production

• Глубокое понимание архитектуры Kafka и принципов построения отказоустойчивых высоконагруженных кластеров

• Практический опыт эксплуатации Kafka Connect, MirrorMaker2 или Debezium

• Уверенные навыки администрирования Linux и диагностики инфраструктурных проблем

• Опыт автоматизации развертывания и управления инфраструктурой с использованием Ansible

• Опыт настройки мониторинга, метрик и алертинга, а также работы с VictoriaMetrics, Alertmanager и Grafana

• Самостоятельность в принятии технических решений и умение консультировать команды разработки по работе с Kafka