Инженер данных

Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей.

Обязанности:

• разрабатывать на Python пайплайны для сбора, обработки и подготовки данных;

• автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов;

• извлекать и обрабатывать фото- и видеоданные из ROS bag;

• автоматизировать отбор и подготовку данных для разметки;

• организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище;

• интегрировать пайплайны с CVAT и другими инструментами разметки через API;

• вести каталог обработанных данных и метаданных;

• оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память.

Требования:

• уверенное владение Python;

• опыт разработки ETL/data pipelines;

• опыт работы с большими файлами и объемами данных;

• понимание асинхронного и многопоточного программирования;

• опыт работы в Linux-среде.

Будет плюсом:

• опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров;

• опыт работы с S3-совместимыми хранилищами и boto3;

OpenCV и/или ffmpeg;

• опыт обработки изображений и видео;

• понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.;

• опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки;

• опыт работы с данными для Computer Vision/ML.

Условия:

• оформление в соответствии с ТК РФ;

• конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии;

• комфортный современный офис.