VK
Дата-инженер в ОК
Что JobRadar наблюдает сейчас
Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.
Описание вакансии
Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии.
Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana.
В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий.
Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком.
Задачи
- Построение новых и рефакторинг старых ETL-процессов
- Ad hoc задачи по выгрузкам/подготовке данных, их автоматизация при необходимости
- Участие в доработках платформы и фреймворка расчётов
- Разработка отчётов в SuperSet
- Автоматизация процессов с использованием LLM
Требования
- Опыт работы с SQL и большими объёмами данных
- Опыт построения сложных ETL-процессов
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
- Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow
Будет плюсом
- Опыт работы с YTsaurus, YQL, LLM
Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.