АЛ
Алабуга, ОЭЗ ППТ
Data Engineer (ClickHouse, Airflow, Python)
Компенсацияот 157 500 RUR
СИГНАЛ JOBRADAR80/100Нормальный сигнал актуальности
ПАСПОРТ ВАКАНСИИ
Что JobRadar наблюдает сейчас
Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.
Последнее подтверждение15 мин. назад
Впервые замечена11 ч назад
Активные источники1 источник
ПроисхождениеПубличный источник
Описание вакансии
Обязанности:
- разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
- проектирование и развитие схем данных в ClickHouse (основное хранилище);
- поддержка PostgreSQL на базовом уровне;
- интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
- написание и оптимизация SQL-запросов;
- контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
- настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
- работа с контейнеризированной инфраструктурой: Docker, Portainer;
- ведение задач и документирование решений в Jira/Wiki;
- взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
- уверенное владение Python (pandas, обработка и трансформация данных);
- опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
- опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
- базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
- опыт работы с объектным хранилищем (S3 и аналоги);
- опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
- базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
- понимание контейнеризации: Docker, Portainer;
- уверенная работа с системой контроля версий Git;
- опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
- опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
- от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
- конкурентный уровень з/п (обсуждается индивидуально);
- работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
- транспорт до работы из г…
Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.
ИсточникHeadHunter / Developers / RU / between1And3