Data Engineer

По вакансии офисный формат работы в Москве

Bell Integrator – аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.

Требования:

SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности).

Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД.

Знание понятий и концепций DWH

Python (PySpark, Pandas, NumPy, REST API);

Airflow/Dagster/Oozie

BitBucket\Git

Bash

Обязанности:

Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop)

Проектирование и разработка аналитических витрин данных

Проектирование и разработка коннекторов для ETL процессов

Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных;

Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных

Условия:

Возможность профессионального и карьерного роста в компании

Возможность поучаствовать в разных проектах

Оформление в соответствии с ТК РФ