Data Engineer (Цифровой двойник)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Мы разрабатываем и обеспечиваем данными « Цифровой Двойник» города Москвы — информационную систему для архитектурной визуализации, BIM, CIM и геоинформационного обеспечения, позволяющую правительству Москвы своевременно принимать управленческие решения в области градостроительства.

Что нужно делать:

• проектирование, разработка и поддержка решений для хранения и обработки больших данных

• построение ETL-процессов поставки данных из внутренних и внешних источников

• сопровождение, поддержка и оптимизация разработанных пайплайнов

• разрабатывать логику для витрин данных, внедрять модели на больших данных

• создание и развитие процессов управления данными и их качеством

Какие знания и навыки важны:

• продвинутые знания SQL: умение разбираться в сложных запросах, знать как их анализировать и оптимизировать

• опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive

• опыт работы с Airflow и NiFi

• опыт разработки в экосистеме Hadoop

• знания фреймворка Spark, опыт оптимизации запросов

• знание и опыт разработки на Python

• навыки разработки технической документации будет плюсом

Что предлагаем:

• официальное трудоустройство в аккредитованную ИТ-компанию

• график работы 5/2, офис в 3 минутах от станции метро Курская

• ежегодное премирование по результатам работы

• материальную помощь в случае важных событий в жизни

• корпоративное обучение и доступ к онлайн-библиотеке

• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

• корпоративные тренировки и спортивные…