Data Engineer

Корпоративная BI-система на базе Навигатора BI, хранилища (PostgreSQL, ClickHouse, Ozone) и ETL/ELT-пайплайнов (NiFi, Airflow, Spark). На базе системы работает продукт Digital trace (Цифровые следы сотрудников – аналитический продукт для принятия управленческих решений на основе данных из система банка, для оптимизации процессов и повышения эффективности).

Обязанности

• организация процессов разработки (Scrum/Kanban): спринты, планирование, ретроспективы, код-ревью

• построение метрик эффективности команды и качества кода

• проектирование отказоустойчивых пайплайнов потоковой/пакетной обработки данных и хранилищ

• обеспечение высокой доступности и производительности подсистем (СУБД, BI, ETL)

• настройка мониторинга, алертинга, логирования; решение инцидентов поставки данных

• коммуникация со стейкхолдерами (аналитики, продакты, безопасность), согласование SLA.

Требования

• опыт промышленной разработки в современной BI системе Qlik Sense, Tableau, Power BI, Superset от 5 лет

• опыт промышленного использования Apache NiFi и Apache Airflow

• продвинутый SQL (оконные функции, сложные JOIN, оптимизация)

• опыт работы с реляционными и колоночными БД

• опыт организации процессов разработки (SDLC)

• понимание жизненного цикла данных в организации (Data Lifecycle Management), опыт работы в рамках процессов Data Governance.

Будет плюсом:

• понимание основ работы Git, CI/CD

• опыт разработки на одном из современных языков программирования (в контексте обработки данных) - от 4 лет

• понимание принципов работы брокеров сообщений (RabbitMQ, Kafka)

• опыт работы с Docker/Kubernetes

• опыт работы с картами компетенций в подразделении

• опыт настройки мониторинга на базе Prometheus + Grafana

• опыт внедрения и эксплуатации процессов Data Governance

• опыт работы с LLM и AI-агентами.

Техстек: Навигатор BI (разработка Сбера), Qlik Sense (выводится из эксплуатации), PostgreSQL, ClickHouse, Apache NiFi, Airflow, Spark, Kafka, Ozone.

Условия

• комфортный офис…