Программист группы BI и отчетность по направлению Data Engineer

ЭТМ — это комплексный федеральный поставщик инженерных систем, входящий в список 200 крупнейших* компаний России

Обязанности:

• Проектирование таблиц для фиксации первичных данных и производительных витрин данных для последующего BI-анализа (Vertica) с учетом требований на загрузку данных .

• Поддержка и расширение формата имеющихся таблиц и витрин.

• Настройка ETL/ELT процессов с акцентом на эффективность и отказоустойчивость.

• Мониторинг и оптимизация производительности (ETL/ELT процессов; выборки данных) .

• Проведение тестирования по итогу разработки таблиц/витрин.

• Сопровождение бизнес-тестирования витрин данных.

• Подготовка описаний ETL/ELT процессов.

• В качестве дополнения - формирование фоновой отчетности на основе данных аналитической СУБД.

• Участие в проектных совещаниях, предусмотренных по проектам.

• Участие в процессе ревью проектирования таблиц в разных ролях (автор или рецензент).

Требования:

• Глубокие знания SQL, опыт работы с реляционными/не реляционными БД.

• Знание Python (базовые алгоритмы и структуры данных, работа с БД, с файлами).

• Понимание принципов построения хранилищ данных (Data Warehouse, Data Lake) на Vertica.

• Опыт работы с большими данными (Clickhouse, Greenplum, Vertica).

• Опыт работы с ETL/ELT инструментами (Apache AirFlow, NiFi и тд).

• Наличие минимальных представлений о cmd/bash shell (scheduler/cron).

• опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming).

• Навыки программирования Python (опционально JAVA, php).

• Опыт обеспечения надежности систем: обработка ошибок, мониторинг, тестирование.

• Использование инструментов командной разработки .

• Знание систем ведения задач проектов.

• Опыт сбора БТ на данные.

Условия:

• Работа в аккредитованной российской IT-компании.

• Работа над масштабными, интересными проектами в управляющем центре крупной компании.

• Официальное трудоустройство с первого дня работы.

• Гарантии и льготы в соответствии с трудовым…