Data engineer/ML engineer (GenAI)

Мы разрабатываем инновационную платформу на основе генеративного искусственного интеллекта (GenAI), предназначенную для автоматизации создания и управления маркетинговыми кампаний. Основной целью нашего продукта является генерация персонализированных коммуникаций в автономном режиме, где мультиагентные системы самостоятельно анализируют данные аудитории, разрабатывают стратегии, создают контент и оптимизируют результаты в реальном времени.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика ждите сообщение от него, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!

Обязанности

• разработка и деплой мультиагентных систем, осуществляющих обработку и генерацию коммуникаций в режиме реального времени

• проработка архитектуры хранилища данных, а также его интеграцию с внешними системами

• проектирование и разработка аналитических витрин данных для целей аналитики и моделирования

• загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область (платформы GreenPlum и Hadoop)

• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных

• участие в анализе требований, оценке трудоёмкости задач и планировании релиза совместно с командой.

Требования

• опыт работы в качестве Data Engineer / MLE от 3 лет

• знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов)

• отличное знание Python/Scala и библиотеки pySpark

• знание основных понятий и концепций Data Warehousing и Big Data

• опыт разработки ETL-процессов

• опыт работы с большими объемами данных, построения хранилищ и витрин данных

• опыт работы…