Data Engineer / ETL-разработчик

IT-компания GNIVC - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний

• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job

• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата

• Являемся аккредитованной ИТ-компанией

Обязанности:

• разработка и сопровождение процессов обработки данных;

• проектировать, разрабатывать и сопровождать ETL/ELT-процессы загрузки данных из источников в Озеро данных на базе Hadoop;

• разрабатывать и поддерживать пайплайны загрузки и трансформации данных, обеспечивать их стабильную работу и мониторинг;

• обеспечивать согласованность, полноту и качество данных на всех этапах жизненного цикла (сбор → хранение → трансформация → представление);

• работа с СУБД и хранилищами Проектировать и оптимизировать схемы хранения данных в PostgreSQL: таблицы, индексы, транзакции, процедуры;

• разрабатывать и сопровождать модели данных в ClickHouse: схемы таблиц, партиционирование, тиры хранения, материализованные представления;

• разрабатывать и сопровождать SQL-конфигурации для сборки цепочек событий процессов по задачам от аналитиков;

• заниматься тонкой настройкой тяжелых Spark-расчетов на кластере: искать узкие места через Spark UI, убирать лишние пересчеты и бороться с перекосами данных;

• поддерживать витрины данных для отчётов и аналитики заказчиков. Устранять узкие места производительности, выявлять и исправлять ошибки в данных;

• контролировать актуальность, корректность и…