Data Engineer

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

• Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных

• Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения

• Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности

• Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки

• Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных

• Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки

• Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру

• Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки

• Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и…