Python devoloper

Проект Банка ТОП-3! Команда проекта разрабатывает Data Insight — сервис для построения Data Lineage на различных технологических стеках хранения и обработки данных: от традиционных СУБД (Oracle, PostgreSQL, Greenplum) до Hadoop-экосистемы (Hive, Spark и др.).

Твои задачи:

• Разрабатывать функциональность сервиса на Python

• Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне

• Реализовывать обработку, преобразование и агрегацию связей между объектами данных

• Работать с большими объемами данных с использованием PySpark, pandas, SQL

• Работать с Hadoop-стеком: HDFS, Spark, Hive

• Дорабатывать существующий фреймворк автоматизированного тестирования

• Разрабатывать и поддерживать автотесты для создаваемой функциональности

• Участвовать в анализе и устранении дефектов

Что мы ждем от тебя:

• Опыт разработки на Python от 2 лет

• Практический опыт работы с PySpark и pandas

• Отличное знание SQL

• Опыт работы со стеком Hadoop: HDFS, Spark, Hive

• Понимание принципов обработки больших объемов данных

• Опыт написания автоматизированных тестов на Python

• Готовность отвечать за качество разработанной функциональности и ее автоматизированную проверку

• Умение разбираться в существующем коде и самостоятельно решать технические задачи

Будет плюсом

• Опыт работы с Data Lineage, Data Governance или Metadata Management

• Опыт с Oracle, PostgreSQL, Greenplum

• Понимание принципов построения DWH и витрин данных

• Опыт работы с графовыми структурами данных

• Опыт использования pytest или аналогичных инструментов тестирования

Что мы обеспечиваем:

• Внутренние семинары, митапы, мы очень любим учиться новому

• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи

• Технику для комфортной работы

• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника