Data Engineer (финтех)

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.

Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!

Сейчас мы ищем кандидатов на позицию Data Engineer!

Что нужно будет делать?

Зависит от проекта и этапа его жизненного цикла, но в целом:

• Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT);

• Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow ;

• Разрабатывать высоконагруженные обработчики потоковых данных на Spark/ PySpark и Kafka ;

• Выполнять запросы и оптимизировать хранение данных в промышленных СУБД ( PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL );

• Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных);

• Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности;

• Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов);

• Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки.

Что нужно уметь, знать, какими навыками обладать:

• Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода;

• Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL );

• Опыт разработки и сопровождения production data pipelines в продакшене;

• Практическое использование Apache Airflow для оркестрации задач;

• Опыт работы с Apache Spark/ PySpark и потоковой обработкой Kafka ;

• Знание экосистемы Hadoop/Hive…