Tech Lead (Lakehouse платформа)

В SberData мы создаём платформу данных для всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут,а также современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum. Наша команда развивает инструменты и внедряет технологию разделённого Compute & Storage в рамках концепции Lakehouse. Наша задача — спроектировать и внедрить надёжное, безопасное решение для высоконагруженных расчётов витрин данных на современных технологиях Compute (Spark, Flink) и Storage (S3), работающее на 10 000+ серверах.

Ключевые обязанности

• развитие платформы Lakehouse на k8s — архитектурные решения, код-ревью, технические решения и обеспечение delivery, а также непосредственная разработка ключевых компонентов дата-платформы в Kubernetes

• техническое проектирование и спецификации — определение архитектуры системы, API-контрактов, интеграционных паттернов с инфраструктурной и security-командами

• оптимизация производительности дата-платформы — профилирование batch и streaming-сценариев, выявление узких мест, реализация стратегий тюнинга

• профилирование оборудования и планирование мощности — совместно с инфраструктурным подразделением на основе бенчмарков реальных нагрузок

• обеспечение безопасности и надёжности — внедрение практик InfoSec в CI/CD

• определение технической стратегии — оценка новых технологий, PoC, build-vs-buy решения

• менторство и развитие команды — код-ревью, Pair Programming, техническая экспертиза для членов команды.

Требования

• 7+ лет в разработке / DevOps

• 5+ лет работы с k8s в production — вы запускали рабочие нагрузки на масштабе, а не просто разворачивали кластер

• глубокая экспертиза в Spark и Ozone — вы запускали Spark on Kubernetes в production

• глубокое понимание распределённых систем — консистентность, fault tolerance, партиционирование, шардирование, репликация

• опыт работы с CI/CD, GitOps, infrastructure-as-code (Terraform / Ansible)

•…