Data Engineer (Центр робототехники)

В Центре робототехники Сбера мы создаем роботов и системы ИИ, которым нужны большие и аккуратно подготовленные наборы данных. Data Conveyor Team отвечает за путь этих данных от сырых записей до формата, с которым могут работать ML-команды. Сейчас нам нужен Software Engineer, который будет превращать записи с роботов и внешние датасеты в понятный, проверяемый и воспроизводимый формат для обучения моделей.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика ждите сообщение от него, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!

Обязанности

• проектировать и реализовывать пайплайны, которые превращают данные из разных источников в формат, пригодный для обучения моделей

• стабилизировать основной путь конвертации данных с роботов: единый поддерживаемый процесс, проверяемые результаты, повторяемые запуски и понятные отчеты об ошибках

• поддерживать dataset schema, versioning, compatibility checks, validators и manifests

• подключать новые источники данных: записи с роботов, внешние датасеты, симуляции, egocentric data, данные тестовых запусков и корректирующих демонстраций

• обеспечивать reproducible dataset builds и связь source data -> converted episodes -> filtered dataset -> dataset release -> training run -> benchmark result

• создавать validation suite: проверка файлов, video/parquet layout, timestamps, required fields, metadata, annotation status и known historical variants

• готовить данные к передаче в обучение так, чтобы ML-команды понимали состав датасета, ограничения, версию и качество

• делать надежные CLI/tools, тесты, runbooks и отладочные отчеты для исследователей и инженеров.

Требования

• сильный Python и опыт разработки batch / data processing pipelines

• опыт backend, data engineering или…