Data Engineer

Мы развиваем платформу данных для подготовки датасетов «общих знаний» о внешнем мире. Эти данные напрямую используются в развитии ИИ: для обучения моделей, retrieval/search и других сценариях.

Обязанности

• определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей

• проектировать и реализовывать критичные пайплайны и хранилища, обеспечивая надёжность, производительность и масштабируемость

• вводить и поддерживать стандарты качества данных, схем, версионирования, мониторинга и алёртинга

• проводить архитектурные ревью, дизайн‐сессии, помогать команде в декомпозиции и решении сложных задач

• оптимизировать существующие решения: хранение, запросы, пайплайны, снижать стоимость и повышать SLA.

Требования

• высокий уровень владения Python и SQL, опыт разработки высоконагруженных data‐систем и сервисов

• знание технологий ClickHouse (YTsaurus,Trino также будет плюсом)

• глубокое понимание архитектуры распределённых систем, потоковой обработки, репликации и консистентности данных

• опыт построения data platform: lakehouse/dwh, медальонная модель, витрины, семантический слой

• навыки оптимизации БД и запросов (планы выполнения, индексы, партиционирование, горизонтальное масштабирование)

• опыт проектирования end‐to‐end пайплайнов (ingestion, трансформации, BI), а также умение отслеживать состояние платформы на каждом из этапов SLA, мониторинг

Условия

• стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты

• комфортный современный офис

• гибридный формат работы: встречаемся очно в офисе 1 раз в неделю

• корпоративный спортзал и зоны отдыха

• уникальная система обучения Сбера для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС и льготное страхование семьи

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в…