Ведущий инженер данных (LLM)

Мы запустили новый продукт - LLM-платформу для наших клиентов из госсектора и enterprise-сегмента и развиваем его.

Сейчас мы усиливаем усиливаем продуктовую команду и ищем Ведущего инженера данных , который будет отвечать за организацию и подготовку данных для AI-решений (от подключения внешних источников и проектирования модели данных до подготовки данных для поиска и RAG).

КАКИЕ ЗАДАЧИ НЕОБХОДИМО РЕШАТЬ:

• Определять источники данных для AI-решений: базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений

• Проектировать модели данных: сущности и связи, версии, метаданные, lineage, права доступа и правила актуализации

• Организовывать сбор и обработку данных из внешних источников: очистку, нормализацию, дедупликацию, классификацию и разметку

• Формировать единое эталонное представление объекта (golden record) при объединении данных из нескольких источников

• Подготавливать данные для поиска и RAG: chunking, embeddings, индексация, векторный и гибридный поиск

• Настраивать retrieval и reranking, обеспечивать обновление индексов при изменении исходных данных

• При необходимости готовить датасеты для обучения или дообучения моделей, если задача не решается с помощью RAG

• Определять показатели качества данных и retrieval, организовывать их мониторинг: полнота, актуальность, precision/recall, latency и другие показатели

• Взаимодействовать с LLM-инженерами, аналитиками и разработчиками при проектировании AI-решений

НАШИ ОЖИДАНИЯ:

• От 4 лет опыта в Data Engineering, Data Platform, Data Architecture или смежной области

• Уверенное знание SQL и реляционных баз данных

• Опыт построения ETL/ELT-процессов и data pipelines

• Опыт интеграции данных из различных источников: БД, API, файлов и внешних систем

• Практический опыт проектирования моделей данных и работы с качеством данных, метаданными и версиями

• Опыт работы с большими объёмами данных

• Практический опыт подготовки данных для поиска, ML или LLM/RAG-систем

•…