Инженер данных (AI/LLM)

Чем предстоит заниматься:

• Готовить данные и корпоративный контекст для прототипирования ассистента: выгрузка, очистка, нормализация и объединение данных из различных источников.

• Собирать PoC и технические прототипы для проверки гипотез до передачи в промышленную IT-разработку.

• Реализовывать прототипы получения данных через API, SQL, файловые источники, Каталог и другие корпоративные системы.

• Подготавливать данные для RAG/retrieval, тестировать поиск, сопоставление сущностей и качество получаемого контекста.

• Совместно с бизнес- и data-аналитиками формировать golden dataset из реальных Discovery-кейсов и эталонных результатов.

• Автоматизировать тестирование ассистента: массовый прогон сценариев, сравнение фактического результата с эталонным, фиксация ошибок.

• Формировать и автоматизировать метрики качества: полнота требований, корректность найденных источников/сущностей, пропуски, hallucinations, качество retrieval.

• Формировать regression-набор и проверять, что изменения логики, prompts, RAG или модели не ухудшают ранее работающие сценарии.

• Анализировать результаты пилотов совместно с аналитиками и локализовывать причины ошибок: данные, retrieval, контекст, правила или реализация.

• Передавать в IT проверенные прототипы, алгоритмы обработки данных, результаты экспериментов и технические требования для промышленной реализации.

Для нас важно:

• 3+ лет в data engineering/автоматизации/разработке аналитических решений.

• Уверенное знание Python и SQL, опыт обработки и преобразования данных.

• Опыт работы с API, JSON, ETL/ELT, интеграции различных источников данных.

• Умение быстро собирать PoC и прототипы для проверки технических и продуктовых гипотез.

• Понимание DWH, моделей данных, Data Quality, опыт работы с корпоративными данными.

• Понимание принципов LLM, RAG, retrieval, embedding.

• Опыт подготовки датасетов, автоматизации проверок и анализа результатов.

• Умение самостоятельно исследовать источники данных и находить способ…