Data Engineer (Корпоративная аналитическая платформа, Legal)

Ищем самостоятельного дата-инженера для развития потоков данных в прикладном _Legal_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных систем-получателей.

Обязанности

• cбор, анализ и формализация требований от бизнес-технологов ( БТ ) и владельцев продуктов юридического блока

• поиск, исследование и подключение новых источников данных внутри КАП под задачи правового департамента

• выполнение разовых (Ad-hoc) запросов по заявкам бизнеса для проработки требований, точечного анализа юридических метрик или поиска аномалий в данных

• разработка ETL -процессов на Scala (Apache Spark 3.2+) с последующей пакетной доставкой подготовленных витрин данных в смежные автоматизированные системы (АС)

• оптимизация производительности SQL-запросов к данным уровня HOF ( Head of Function , сложные CTE, оконные функции, партиционирование) и Scala-кода

• обеспечение стабильности работы продуктивных потоков: разбор инцидентов третьей линии поддержки ( L3 ), восстановление целостности данных после сбоев, работа с логами YARN/HDFS

• взаимодействие с командами DevOps для настройки CI/CD пайплайнов доставки кода и оркестрации задач

• ведение технической документации в Confluence и управление задачами в Jira.

Требования

• высшее образование

• опыт работы Data Engineer от 2–3 лет

• уверенное владение Apache Spark (версии 2.x или 3.x). Будет приимуществом знание Scala

• знание Python

• глубокое понимание архитектуры экосистемы Hadoop (YARN, HDFS, Hive Metastore)

• экспертный уровень SQL: свободное использование оконных функций (ROW_NUMBER, RANK, LAG/LEAD), сложных джоинов и вложенных запросов

• навык анализа требований бизнеса и перевода их на язык технических спецификаций.

• практический опыт расследования и устранения последствий инцидентов L3 в продуктивной среде больших данных

• самостоятельность: умение декомпозировать задачу, оценить сроки и довести ее до релиза без микроменеджмента

• знакомство с инструментами DevOps и практиками…