Архитектор DWH

Мы строим единую в VK платформу данных, где центральная команда DWH выступает провайдером надёжной инфраструктуры, удобных инструментов и стандартов. За сами данные, бизнес-логику и ETL-пайплайны непосредственно отвечают бизнес-юниты. В нашей команде уже есть выделенный Продукт DWH, который развивает Дата-каталог и внутренний фреймворк OneETL.

Мы ищем Data Governance Lead, который возглавит методологическую и организационную часть управления данными. Ваша цель — сделать так, чтобы в условиях децентрализованного управления данные компании оставались прозрачными, чистыми, безопасными и приносили максимальную ценность бизнесу, а юнитам было удобно и выгодно соблюдать правила игры.

Задачи

1. Разработка стандартов и методологии:

• Разработка и внедрение единой «конституции данных» (политики, регламенты, стандарты моделирования и документирования), обязательной для всех бизнес-юнитов

• Классификация данных по уровням критичности (Tier-1, Tier-2) и формирование SLA по качеству данных для каждого уровня

• Классификация данных на наличие Персональной информации, разметка на необходимость данных для аудиторов

2. Развитие федеративного управления и аудит:

• Разработка и внедрение системы метрик «здоровья данных» (Data Health Dashboard) : мониторинг процента описанных таблиц, покрытия DQ-тестами и критичных инцидентов в разрезе юнитов

• Проведение регулярных аудитов зрелости управления данными в юнитах, подсвечивание «слепых зон» и помощь командам в их устранении

• Верхнеуровневый контроль кросс-доменных изменений, чтобы минимизировать риски нарушения связей (Data Lineage) между юнитами

3. Проектирование требований к контенту DG-инструментов:

• Выступление в роли главного бизнес-заказчика для Продакта DWH на доработку Дата-каталога и фреймворка OneETL (формирование требований к метаданным, логике сквозного Data Lineage, ролевым моделям доступа)

• Формирование требований к библиотекам и шаблонам проверок качества данных (Data Quality Framework), которые Продакт…