Инженер по машинному и глубокому обучению в команду симуляции (3D Gaussian Splatting)

О команде:

Наша команда разрабатывает инструмент для тестирования автономной технологии - симулятор. Нам нужно достичь максимальной реалистичности нашего виртуального мира с точки зрения физики, качества изображения, данных с сенсоров и просто поведения окружающих объектов.

Мы ищем ML/DL инженера в команду симулятора - наша задача построить единый продукт валидации технологии автономного вождения на разных уровнях, в том числе на интеграционном, когда запускаются системы распознавания. Для этого нам необходимо добиться максимальной реалистичности данных с сенсоров - лидаров, камер и радаров.

Чем предстоит заниматься:

• Исследование и разработка методов 3D-реконструкции и нейронного рендеринга на основе Gaussian Splatting / NeRF и смежных подходов;

• Разработка методов novel view synthesis для генерации изображений с виртуальных положений и траекторий камеры;

• Работа с динамическими сценами : движущимися автомобилями, пешеходами и другими объектами;

• Работа с мультимодальными данными автономного автомобиля : камеры, LiDAR, в перспективе radar;

• Разработка и обучение диффузионных моделей img2img и video2video;

• Участие в code review, в составлении документации и в других активностях отдела;

• Оптимизация inference/training pipeline по скорости, памяти и качеству реконструкции;

• Взаимодействие с другими подразделения для решения поставленных задач (разметка данных, интеграция решений и т.д.).

Что мы ждем от кандидата:

• Уверенное знание PyTorch и опыт самостоятельной разработки и обучения DL-моделей;

• Хорошее понимание современных архитектур компьютерного зрения: CNN, Transformers, diffusion models ;

• Понимание основ 3D computer vision : системы координат, camera models, intrinsic/extrinsic calibration, проекции и преобразования;

• Хорошее знание Python и базовое понимание Linux/Git/Docker, понимание методов оценки image/video generation: PSNR, SSIM, LPIPS, FID/FVD и perceptual metrics.

Будет плюсом:

• Опыт работы с 3D Gaussian Splatting …