LI
LibraSound
Data Engineer
Компенсацияот 230 000 RUR
СИГНАЛ JOBRADAR73/100Нормальный сигнал актуальности
ПАСПОРТ ВАКАНСИИ
Что JobRadar наблюдает сейчас
Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.
Последнее подтверждение23 мин. назад
Впервые замечена5 дн. назад
Активные источники1 источник
ПроисхождениеПубличный источник
Описание вакансии
Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer , который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.
Чем предстоит заниматься:
- Проектировать и развивать слои DWH (Raw, Staging, Data Marts).
- Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark .
- Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3).
- Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных.
- Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality).
- Взаимодействовать с BI-разработчиками и аналитиками.
Что мы ждем от кандидата:
- Apache Spark: практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching).
- SQL: уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации.
- Базы данных: опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций).
- Оркестрация: опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями).
- Python: уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами.
- Инфраструктура: базовые навыки работы с Linux, Git, Docker, Bash.
Будет плюсом:
- Опыт работы со стеком dbt или Trino / Presto.
- Опыт работы с S3 / Yandex Object Storage.
- Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset.
Что мы предлагаем:
- Оформление по ТК РФ / ИП / СЗ.
- Полностью удаленный формат работы с гибким началом дня.
- Адекватные процессы без бюрократии, современный стек инструментов.
- Профессиональный рост и…
Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.
ИсточникHeadHunter / Data Scientist / RU