Data Engineer

Мы ищем Data Engineer в команду, который умеет создавать надёжные data-процессы, работать с большими объёмами данных и превращать бизнес-требования в качественные технические решения.

Что предстоит делать

• Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products.

• Проектировать решения для Data Lake / Data Warehouse .

• Работать с batch и real-time streaming данными.

• Разрабатывать системы мониторинга, alerting и performance metrics.

• Создавать автоматизированные workflow и CI/CD pipelines .

• Взаимодействовать с Product и другими командами: собирать требования, проектировать решения и готовить design documents.

• Поддерживать документацию, runbook'и и troubleshooting guides.

• Участвовать в Agile-процессах и обеспечивать своевременную реализацию задач.

Что важно знать

• Python, PySpark, Spark SQL / ANSI SQL — уверенный уровень.

• Apache Spark / Spark Streaming .

• Kafka / Kafka Streams и data ingestion.

• AWS , включая S3 .

• Форматы данных: JSON, CSV, Parquet, PSV, Delta .

• Git, CI/CD, DevOps .

• Опыт построения Data Lake / Data Warehouse и масштабируемых data solutions.

Будет преимуществом

Databricks, MLflow , опыт mentoring / team guidance и работы с real-time data systems.

Личные качества

• Сильный English для коммуникации и технической документации.

• Умение объяснять и защищать технические решения.

• Системное мышление, ответственность и внимание к деталям.

• Умение работать самостоятельно и в команде.