Data Engineer

О Нас

WILIX — аккредитованная IT-компания. Мы создаем современные корпоративные системы и развиваем направление аутстаффинга. Мы предоставляем высокую инженерную экспертизу ведущим игрокам рынка: Сбер, Т-Банк, МТС Банк, X5 Ритейл, Магнит, Северсталь, Альфа Страхование, ОТП Банк и многим другим. Сегодня мы расширяем команду и ищем Инженера данных для работы над внешними проектами в таких сферах, как ритейл, EdTech, банкинг и других.

Чем предстоит заниматься

• Проектировать и разрабатывать потоки данных на ETL/ELT-инструментах;

• Имплементировать кастомные трансформации;

• Проектировать и строить прототипы и витрины данных;

• Анализировать производительность и масштабировать существующие системы;

• Оптимизировать SQL-запросы и структуры баз данных;

• Разрабатывать процедуры на языке PL/pgSQL;

• Развивать архитектуру DWH, участвовать в анализе и выборе технологий, методологий и инструментов;

• Создавать и актуализировать базу знаний для пользователей DWH;

• Разрабатывать программный код и проводить его тестирование.

Что мы ожидаем

• Знание принципов построения хранилищ данных;

• Опыт работы с экосистемой Hadoop/HDFS/Hive (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и др.);

• Уверенное знание SQL (DDL, DML), опыт оптимизации запросов;

• Опыт работы с Greenplum и PostgreSQL;

• Знание Java или Python (NumPy, Pandas); знание Scala будет плюсом;

• Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем;

• Опыт администрирования Hadoop/Linux;

• Понимание принципов CI/CD (Jenkins, GitLab).

Будет плюсом

• Опыт работы с оркестраторами (Airflow) и инструментами трансформации данных (dbt);

• Работа с Clickhouse;

• Опыт работы в консалтинге или на проектах с несколькими заказчиками;

• Умение документировать решения и взаимодействовать с бизнес-заказчиком напрямую.

Мы предлагаем

• Участие в разнообразных проектах ведущих компаний из разных отраслей;

• Возможность…