Data Engineer

На крупный проект требуются специалисты. Удалёнка

Требования:

• Общее представление о стеке технологий Lakehouse

• Понимание различия работы между BigData/Lakehouse и с данными обычного размера

• Знание SQL (индексы, функции, оптимизация, профилирование производительности

• Знание языков программирования (JAVA, Python)

• Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)

• Умение работать с Git (знание команд git pull/commit/push)

• Опыт работы с DBT, Cosmos, Ni-Fi

• Опыт разработки на Spark

• Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore

• Понимание особенностей Trino

• Понимание форматов данных Iceberg, Parquet, Avro

• Понимание работы с minio или любого другого хранилища на основе S3

• Опыт использования системами ведения проектов и документации

• Опыт разработки нетиповых интеграций (включая SAP-системы)

• Опыт разработки near-realtime потоков (Flink, Debezium)

• Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix)

Обязанности:

Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop

• Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink

• Разработка нетиповых интеграций (в тч SAP)

• Системная разработка инструментов (переиспользуемых шаблонов) обработки данных

• Разработка системного дизайна сложных решений (C2/DD)

• Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок

• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.