Главный DevOps-инженер (Data Lake)

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Го Инвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Ищем главного DevOps-инженера для сопровождения Data Lake и Big Data платформы банка. Вы будете отвечать за стабильность, производительность и надёжность инфраструктуры хранения и обработки данных.

Задачи:

• сопровождение и эксплуатация Data Lake платформ;

• поддержка инфраструктуры S3/Object Storage;

• мониторинг, диагностика и устранение инцидентов;

• поиск и устранение проблем с производительностью платформы и систем хранения;

• сопровождение Kubernetes и компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg;

• проведение RCA и postmortem analysis;

• автоматизация эксплуатационных задач;

• взаимодействие с командами Data Engineering и инфраструктуры;

• сопровождение Big Data Platform.

Важные знания и опыт:

• экспертный опыт администрирования Linux;

• опыт сопровождения высоконагруженных distributed systems;

• глубокое понимание S3/Object Storage и distributed storage architecture;

• опыт сопровождения Kubernetes-платформ;

• практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg;

• опыт эксплуатации MinIO / Object Storage решений;

• понимание replication, erasure coding, consistency, fault tolerance;

• практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput;

• опыт работы с observability-стеком: Prometheus, Grafana, alerting, log analysis;

• опыт автоматизации…