Data Quality Engineer в платформу данных

Мы строим корпоративную дата-платформу нового поколения единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять данные вручную в конце.

Сейчас в SMT есть ручные проверки и автоматические API-тесты, но нет единой сквозной системы. Ищем Data Quality Engineer, который станет техническим владельцем направления в SMT: построит модель, инструменты и процессы, а затем поможет масштабировать их на всю платформу.

Это не роль ручного контролёра: качество остаётся распределённой ответственностью. Инженеры пишут проверки в своих процессах, владельцы отвечают за датасеты, методологию мы формируем вместе с Data Governance. Твоя задача дать им автоматические базовые проверки и понятный self-service инструмент для сложных правил, встроенный в оркестрацию, алертинг и разбор инцидентов.

Что предстоит делать

• Спроектировать модель качества: измерения, метрики и SLO на датасеты. Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения.

• Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы.

• Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов.

• Дать пользователям язык для сложных проверок декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой.

• Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно.

• Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин.

• Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками.

• Сделать проверки частью инженерного цикла: версионировать их как код…