Data engineer в команду SMT

Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу.

С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.

Что предстоит делать:

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;

• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);

• Работать с большими объёмами данных и высоконагруженными Kafka-топиками;

• Строить отказоустойчивые пайплайны обработки и доставки данных;

• Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных;

• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP);

• Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).

Почему это интересно:

• Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой;

• Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд;

• Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами;

• Возможность реализовать техрешения, которые трудно было бы внедрить в рамках существующего кода/подходов;

• Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных.

Мы будем рады специалисту, который:

• …