Инженер по сопровождению Big Data-платформ

Мы ищем эксперта Big Data платформы. Это роль на стыке классического SRE, глубокой работы с инфраструктурой и спецификой распределенных систем обработки данных.

Чем предстоит заниматься:

• Сопровождать Big Data Platform.

• Поддерживать S3/Object Storage инфраструктуру.

• Настраивать мониторинг, диагностировать и устранять инциденты.

• Troubleshooting производительность платформы и storage систем.

• Сопровождать Kubernetes и компонены Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.

• Проводить RCA и postmortem analysis.

• Автоматизировать эксплуатационные задачи.

• Взаимодейстовать с командами Data Engineering и инфраструктуры.

Для нас важно:

• Экспертный опыт администрирования Linux.

• Опыт сопровождения высоконагруженных distributed systems.

• Глубокое понимание S3/Object Storage и distributed storage architecture.

• Опыт сопровождения Kubernetes-платформ.

• Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.

• Опыт эксплуатации MinIO/Object Storage решений.

• Понимание replication, erasure coding, consistency, fault tolerance.

• Практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput.

• Опыт работы с observability stack: Prometheus, Grafana, alerting, log analysis.

• Опыт автоматизации: Ansible, Terraform, Bash, Python.

• Понимание incident/problem management и SRE-практик.

Главный принцип SkillStaff - Выбирай!

• РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.

• КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.

• РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь…