Data Engineer

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 3400+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Заказчик – быстроразвивающаяся ИТ-компания, с 2020 года разрабатывает инновационные решения для цифровизации бизнеса. Работает с ведущими компаниями финансового сектора и предлагает им комплексные решения для фронт- и бэк-офиса, финтех-продукты и системы работы с большими данными.

Почему это будет интересно?

• возможность работать над крупными задачами для лидеров рынка, применять свои знания и развивать экспертизу;

• современный стек технологий.

Чем предстоит заниматься?

• обследовать действующие интеграции, состав данных и расчётов; согласовывать изменения: перечень показателей, потребителей, глубину исторических данных, периодичность обновления;

• составлять и актуализировать документацию, спецификации источников данных, структуры данных, правила преобразования и реестр расчётов;

• согласовывать документы и изменения/дополнения в системах управления метаданными;

• разрабатывать новые и дорабатывать существующие интеграции в соответствии с согласованной схемой интеграции;

• разрабатывать дата-продукты, сервисы доступа к данным, публикации данных, витрины данных, процессы расчётов и преобразования данных в различных слоях ХД;

• выполнять и контролировать ошибки загрузки согласованной истории данных, настраивать регулярное обновление данных;

• тестировать процессы интеграции и обработки данных, сверять с источниками и устранять выявленные дефекты.

Чего мы ждем от специалиста?

• опыт работы в качестве Data Engineer, разработчика ETL на SQL и Pyspark от 2,5-х лет;

• опыт работы с СУБД PostgreSQL, Apache Airflow, с API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных;

• экспертиза в реализации ETL/ELT для хранилищ или озер данных;

• уверенное владение SQL и PL/SQL;

• …