Lead data platform developer

Основные задачи:

• Проектировать масштабируемую, надёжную и производительную архитектуру единой платформы данных;

• Разрабатывать и сопровождать техническую дорожную карту платформы, синхронизированную с бизнес-целями и потребностями исследователей;

• Анализировать и обеспечивать характеристики scalability, reliability и performance ключевых компонентов;

• Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных;

• Разрабатывать ключевые компоненты платформы: панель управления, оркестраторы, агенты, API, SDK;

• Создавать и развивать self-service инструменты, позволяющие дата-инженерам и аналитикам автономно запускать, мониторить и контролировать пайплайны;

• Обеспечивать мультитенантность, разграничение доступа и аудит-логирование действий пользователей;

• Обеспечивать целостность, надёжность и безопасность данных на всех этапах обработки;

• Оптимизировать использование вычислительных и storage-ресурсов: проводить capacity planning, performance benchmarking, выявлять и устранять узкие места;

• Развивать observability-направление: мониторинг, APM, алертинг для своевременного обнаружения деградаций;

• Формировать и внедрять технические стандарты платформенной команды: архитектурные принципы, подходы к надёжности, code review, требования к документации;

• Систематизировать процессы разработки, унифицировать технологический стек и инструментарий;

• Систематизировать и вести техническую документацию по платформенным сервисам и архитектурным решениям.

Требования:

• Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM-инфраструктуре и/или в Kubernetes;

• Понимание архитектурных компромиссов и умение выбирать решения под конкретные рабочие нагрузки: оркестрация, хранение, доступ, мониторинг;

• Уверенное владение Python;

• Опыт разработки бэкенд-сервисов и API с использованием FastAPI;

• Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и другие;

• Понимание…