Криптонит
Data Engineer
Что JobRadar наблюдает сейчас
Балл строится только на фактах из источников: свежести подтверждения, возрасте записи и происхождении вакансии. Это не гарантия найма и не оценка работодателя.
Описание вакансии
Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.
Основные задачи:
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
- Определение и согласование нефункциональных требований к процессам построения витрин
- Декомпозиция задач, оценка сроков выполнения
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Участие в процессе автоматизации SDLC с помощью LLM
Технологический стек:
- Хранение и обработка данных: Scylla, S3, Kafka, Spark, Nifi, Airflow, PostgreSQL, Clickhouse, Opensearch
- Мониторинг и логирование: Grafana, Victoria Metrics, Prometheus
- Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Helmwave, ScalaTest, GitlabCI, Typelevel (Cats Effect, Circe, Doobie, Weaver)
Наши ожидания:
- Опыт работы по специальности от 3 лет
- Опыт разработки на Scala от 2 лет
- Знание особенностей реализации различных алгоритмов и структур данных
- Опыт работы в команде
Что мы предлагаем:
Здоровье и спорт:
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам…
Здесь показан очищенный фрагмент описания из источника. Полные условия и актуальность вакансии проверьте на странице работодателя.