← К каталогу
LI

LibraSound

Data Engineer

УдалённоУровень не указанОмск, Россия2 дн. назад
Компенсацияот 230 000 RUR
СИГНАЛ JOBRADAR73/100Нормальный сигнал актуальности
ПАСПОРТ ВАКАНСИИ

Что JobRadar наблюдает сейчас

Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.

Последнее подтверждение23 мин. назад
Впервые замечена5 дн. назад
Активные источники1 источник
ПроисхождениеПубличный источник
О ВАКАНСИИ

Описание вакансии

Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer , который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.

Чем предстоит заниматься:

  • Проектировать и развивать слои DWH (Raw, Staging, Data Marts).
  • Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark .
  • Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3).
  • Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных.
  • Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality).
  • Взаимодействовать с BI-разработчиками и аналитиками.

Что мы ждем от кандидата:

  • Apache Spark: практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching).
  • SQL: уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации.
  • Базы данных: опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций).
  • Оркестрация: опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями).
  • Python: уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами.
  • Инфраструктура: базовые навыки работы с Linux, Git, Docker, Bash.

Будет плюсом:

  • Опыт работы со стеком dbt или Trino / Presto.
  • Опыт работы с S3 / Yandex Object Storage.
  • Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset.

Что мы предлагаем:

  • Оформление по ТК РФ / ИП / СЗ.
  • Полностью удаленный формат работы с гибким началом дня.
  • Адекватные процессы без бюрократии, современный стек инструментов.
  • Профессиональный рост и…

Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.

ИсточникHeadHunter / Data Scientist / RU