Data engineer

Мы — команда ПКАП AEF, развивающая платформу данных внутри AEF (Agent Execution Framework — среды исполнения и управления AI-агентами в контуре банка), которая получает и обрабатывает трейсы работы агентов, формирует витрины для мониторинга, оценки качества и развития AI-агентов, а также для команд разработки, аналитики и внутренних потребителей Банка. Ищем инженера данных, умеющего доводить решения до промышленной эксплуатации и готового отвечать за их работу после запуска. Обязанности разрабатывать и выводить в ПРОМ витрины на SQL, Spark, Scala. разрабатывать сервисы для обработки и поставки данных. готовить данные для исследований в лабораторном контуре: работать с трейсами, техническими показателями и метриками AI-агентов. сопровождать витрины: анализировать логи и метрики, находить причины сбоев, устранять их и предотвращать повторение. разрабатывать проверки качества данных и тестировать расчёты поддерживать техническую документацию и базу знаний, консультировать внутренние команды по составу и использованию данных. Требования опыт в data engineering от 3х лет практический опыт разработки на PySpark или Spark опыт разработки на Python или Scala уверенное знание SQL (сложные запросы, оптимизация) практический опыт работы с Hadoop, включая HDFS, YARN и Hive. понимание устройства хранилищ данных, принципов построения витрин и организации потоков данных от источника до потребителя. опыт вывода расчётов или сервисов в промышленную среду: Git, CI/CD, тестирование, диагностика сбоев по логам и метрикам. знание и регулярное использование LLM-инструментов для инженерных задач. Важно уметь оценивать их ответы и самостоятельно отвечать за качество итогового решения. Условия комфортный, современный офис м. Кутузовская возможность выбрать удобный график – офис/гибрид ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь…