Senior Data Engineer

О компании:

Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее.

Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов:

• микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре;

• петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API;

• миллиарды транзакций в день и десятки тысяч запросов в секунду;

• аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам;

• мобильное приложение с 27+ миллионов установок;

• десятки релизов в продакшн каждый день, feature flags, инфраструктура как код.

Под капотом - Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana.

Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи!

О команде:

Данные – это нефть 21 века. Данные «Честного знака» - настоящий Клондайк, глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем каждый экземпляр из маркированных товарных групп и на этом строим уникальные показатели.

Мы ищем в bigdata-команду разработчика, обладающего уверенными знаниями в области построения систем на базе Hadoop/Spark, способного реализовать дорожную карту по развитию озера данных «Честного Знака».

Технологический стек:

Текущий стек команды: Hadoop / S3 MinIO / Spark 3/4 (batch/streaming) / Scala / SQL / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / k8s / Zeppelin / Jupyter / Iceberg (MOR, COW) / Cassandra. Смотрим в сторону: DBT для «золотого» слоя данных / YTsaurus / Comet, Gluten и др. Наши данные в числах: поток > 20k RPS, > 1,5e12 фактов, > 25 Пб данных в HDFS.

Чем предстоит заниматься:

• Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений.

• Предлагать, отстаивать и…