Simulation 3D Camera
Модель датчика камеры с линзой в 3D среде симуляции
- Библиотека:
Automated Driving Toolbox / 3D Симуляция
Описание
Блок Simulation 3D Camera обеспечивает интерфейс к камере с линзой в 3D среде симуляции. Эта среда представляется с помощью Нереального Engine® от Epic Games®. Датчик основан на идеальной модели камеры с точечной диафрагмой, с линзой, добавленной, чтобы представлять полную модель камеры, включая искажение объектива. Для получения дополнительной информации см. Алгоритмы.
Если вы устанавливаете Sample time на -1, блок использует шаг расчета, заданный в блоке Simulation 3D Scene Configuration. Чтобы использовать этот датчик, необходимо включать блок Simulation 3D Scene Configuration в модель.
Блок выходные изображения, полученные камерой в процессе моделирования. Можно использовать эти изображения, чтобы визуализировать и проверить ведущие алгоритмы. Кроме того, на вкладке Ground Truth, можно выбрать опции, чтобы вывести достоверные данные для разработки оценки глубины и алгоритмов семантической сегментации. Можно также вывести местоположение и ориентацию камеры в системе мировой координаты сцены. Изображение показывает блок со всеми включенными портами.
Таблица суммирует порты и как включить им.
| Порт | Описание | Параметр для включения порта | Демонстрационная визуализация |
|---|---|---|---|
Image | Выводит изображение RGB, полученное камерой | нет данных |
|
Depth | Выводит карту глубины со значениями от 0 м до 1 000 метров | Output depth |
|
Labels | Выводит карту семантической сегментации метки IDs, которые соответствуют объектам в сцене | Output semantic segmentation |
|
Location | Выводит местоположение камеры в системе мировой координаты | Output location (m) and orientation (rad) | нет данных |
Orientation | Выводит ориентацию камеры в системе мировой координаты | Output location (m) and orientation (rad) | нет данных |
Примечание
Блок Simulation 3D Scene Configuration должен выполниться перед блоком Simulation 3D Camera. Тем путем Нереальный Engine, 3D среда визуализации готовит данные перед блоком Simulation 3D Camera, получает его. Чтобы проверять порядок выполнения блока, щелкните правой кнопкой по блокам и выберите Properties. На вкладке General подтвердите эти настройки Priority:
Simulation 3D Scene Configuration —
0Simulation 3D Camera —
1
Для получения дополнительной информации о порядке выполнения, смотрите Как 3D Симуляция для Автоматизированных Ведущих работ.
Порты
Вывод
Параметры
Монтирование
Sensor identifier — Уникальный идентификатор датчика
1
Уникальный идентификатор датчика, заданный как положительное целое число. В системе мультидатчика идентификатор датчика различает датчики. Когда вы добавляете новый блок датчика в свою модель, Sensor identifier того блока является N + 1. N является самым высоким значением Sensor identifier среди существующих блоков датчика в модели.
Пример 2
Parent name — Имя родительского элемента, к которому смонтирован датчик
Scene Origin (значение по умолчанию) | имя транспортного средства
Имя родительского элемента, к которому смонтирован датчик, задало как Scene Origin или как имя транспортного средства в вашей модели. Имена транспортного средства, которые можно выбрать, соответствуют параметрам Name блоков Simulation 3D Vehicle with Ground Following в модели. Если вы выбираете Scene Origin, блок помещает датчик в начале координат сцены.
Пример: SimulinkVehicle1
Mounting location — Местоположение монтирования датчика
Origin (значение по умолчанию) | Front bumper | Rear bumper | Right mirror | Left mirror | Rearview mirror | Hood center | Roof center
Местоположение монтирования датчика.
Когда Parent name является
Scene Origin, подставки под клише датчик до начала координат сцены и Mounting location могут быть установлены вOriginтолько. В процессе моделирования датчик остается стационарным.Когда Parent name является именем транспортного средства (например,
SimulinkVehicle1) подставки под клише датчик к одному из предопределенных местоположений монтирования описаны в таблице. В процессе моделирования датчик перемещается с транспортным средством.
| Местоположение монтирования транспортного средства | Описание | Ориентация относительно источника транспортного средства [список, подача, отклонение от курса] (градус) |
|---|---|---|
Origin | Датчик по ходу движения смонтировался к источнику транспортного средства, который находится на земле в геометрическом центре транспортного средства (см. Системы координат для 3D Симуляции в Automated Driving Toolbox),
| [0, 0, 0] |
Front bumper | Датчик по ходу движения смонтирован к переднему бамперу
| [0, 0, 0] |
Rear bumper | Назад стоящий датчик смонтирован к заднему бамперу
| [0, 0, 180] |
Right mirror | Вниз стоящий датчик смонтирован к правильному зеркалу вида сбоку
| [0, –90, 0] |
Left mirror | Вниз стоящий датчик смонтирован к левому зеркалу вида сбоку
| [0, –90, 0] |
Rearview mirror | Датчик по ходу движения смонтирован к зеркалу заднего обзора в транспортном средстве
| [0, 0, 0] |
Hood center | Датчик по ходу движения, смонтированный к центру капота
| [0, 0, 0] |
Roof center | Датчик по ходу движения, смонтированный к центру крыши
| [0, 0, 0] |
(X, Y, Z) местоположение датчика относительно транспортного средства зависит от типа транспортного средства. Чтобы задать тип транспортного средства, используйте параметр Type блока Simulation 3D Vehicle with Ground Following, с которым вы монтируетесь. Таблицы показывают эти X, Y, и местоположения Z датчиков в системе координат транспортного средства. В этой системе координат:
Ось X указывает вперед от транспортного средства.
Ось Y указывает слева от транспортного средства, как просматривается при направлении вперед.
Ось Z подчеркивает от земли.
Прокрутитесь, сделайте подачу, и отклонение от курса по часовой стрелке положительно при взгляде в положительном направлении Оси X, Оси Y и оси Z, соответственно. При рассмотрении транспортного средства от верхней части вниз, затем угол отклонения от курса (то есть, угол ориентации) против часовой стрелки положительны, потому что вы смотрите в обратном направлении оси.
Автомобиль с высокой мощностью — местоположения датчика относительно источника транспортного средства
| Монтирование местоположения | X (m) | Y (m) | Z (m) |
|---|---|---|---|
Front bumper | 2.47 | 0 | 0.45 |
Rear bumper | –2.47 | 0 | 0.45 |
| 0.43 | –1.08 | 1.01 |
| 0.43 | 1.08 | 1.01 |
| 0.32 | 0 | 1.20 |
| 1.28 | 0 | 1.14 |
| –0.25 | 0 | 1.58 |
Седан — местоположения датчика относительно источника транспортного средства
| Монтирование местоположения | X (m) | Y (m) | Z (m) |
|---|---|---|---|
Front bumper | 2.42 | 0 | 0.51 |
Rear bumper | –2.42 | 0 | 0.51 |
| 0.59 | –0.94 | 1.09 |
| 0.59 | 0.94 | 1.09 |
| 0.43 | 0 | 1.31 |
| 1.46 | 0 | 1.11 |
| –0.45 | 0 | 1.69 |
Внедорожник — местоположения датчика относительно источника транспортного средства
| Монтирование местоположения | X (m) | Y (m) | Z (m) |
|---|---|---|---|
Front bumper | 2.42 | 0 | 0.51 |
Rear bumper | –2.42 | 0 | 0.51 |
| 0.60 | –1 | 1.35 |
| 0.60 | 1 | 1.35 |
| 0.39 | 0 | 1.55 |
| 1.58 | 0 | 1.39 |
| –0.56 | 0 | 2 |
Маленький пикап — местоположения датчика относительно источника транспортного средства
| Монтирование местоположения | X (m) | Y (m) | Z (m) |
|---|---|---|---|
Front bumper | 3.07 | 0 | 0.51 |
Rear bumper | –3.07 | 0 | 0.51 |
| 1.10 | –1.13 | 1.52 |
| 1.10 | 1.13 | 1.52 |
| 0.85 | 0 | 1.77 |
| 2.22 | 0 | 1.59 |
| 0 | 0 | 2.27 |
Хэтчбек — местоположения датчика относительно источника транспортного средства
| Монтирование местоположения | X (m) | Y (m) | Z (m) |
|---|---|---|---|
Front bumper | 1.93 | 0 | 0.51 |
Rear bumper | –1.93 | 0 | 0.51 |
| 0.43 | –0.84 | 1.01 |
| 0.43 | 0.84 | 1.01 |
| 0.32 | 0 | 1.27 |
| 1.44 | 0 | 1.01 |
| 0 | 0 | 1.57 |
Чтобы определить местоположение датчика в мировых координатах, откройте блок датчика. Затем на вкладке Ground Truth выберите Output location (m) and orientation (rad) и смотрите данные из выходного порта Location.
Specify offset — Задайте смещение от монтирующегося местоположения
от (значения по умолчанию) | на
Выберите этот параметр, чтобы задать смещение от монтирующегося местоположения при помощи параметров Relative rotation [Roll, Pitch, Yaw] (deg) и Relative translation [X, Y, Z] (m).
Relative translation [X, Y, Z] (m) — Перевод возмещен относительно монтирующегося местоположения
[0, 0, 0]
Смещение перевода относительно монтирующегося местоположения датчика, заданного как с действительным знаком 1 3 вектор формы [X, Y, Z]. Модули исчисляются в метрах.
Если вы монтируете датчик к транспортному средству установкой Parent name к имени того транспортного средства, то X, Y, и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает слева от транспортного средства, как просматривается при направлении вперед.
Ось Z подчеркивает.
Источник является монтирующимся местоположением, заданным в параметре Mounting location. Этот источник отличается от источника транспортного средства, который является геометрическим центром транспортного средства.
Если вы монтируете датчик к источнику сцены установкой Parent name к Scene Origin, затем X, Y, и Z находятся в мировых координатах сцены.
Для получения дополнительной информации о транспортном средстве и системах мировой координаты, смотрите Системы координат для 3D Симуляции в Automated Driving Toolbox.
Пример: [0,0,0.01]
Зависимости
Чтобы включить этот параметр, выберите Specify offset.
Relative rotation [Roll, Pitch, Yaw] (deg) — Вращательное смещение относительно монтирующегося местоположения
[0, 0, 0]
Вращательное смещение относительно монтирующегося местоположения датчика, заданного как с действительным знаком 1 3 вектор формы [Список, Подача, Отклонение от курса]. Прокрутитесь, сделайте подачу, и отклонение от курса является углами вращения вокруг X-, Y-и осей Z, соответственно. Модули в градусах.
Если вы монтируете датчик к транспортному средству установкой Parent name к имени того транспортного средства, то X, Y, и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает слева от транспортного средства, как просматривается при направлении вперед.
Ось Z подчеркивает.
Прокрутитесь, сделайте подачу, и отклонение от курса по часовой стрелке положительно при взгляде в прямом направлении Оси X, Оси Y и оси Z, соответственно. Если вы просматриваете сцену из 2D нисходящей перспективы, то угол отклонения от курса (также названный углом ориентации) против часовой стрелки положителен, потому что вы просматриваете сцену в обратном направлении оси Z.
Источник является монтирующимся местоположением, заданным в параметре Mounting location. Этот источник отличается от источника транспортного средства, который является геометрическим центром транспортного средства.
Если вы монтируете датчик к источнику сцены установкой Parent name к Scene Origin, затем X, Y, и Z находятся в мировых координатах сцены.
Для получения дополнительной информации о транспортном средстве и системах мировой координаты, смотрите Системы координат для 3D Симуляции в Automated Driving Toolbox.
Пример: [0,0,10]
Зависимости
Чтобы включить этот параметр, выберите Specify offset.
Sample time 'SampleTime'
-1
Шаг расчета блока в секундах, заданных как положительная скалярная величина. 3D частота кадров среды симуляции является инверсией шага расчета.
Если вы устанавливаете шаг расчета на -1, блок наследовал свой шаг расчета от блока Simulation 3D Scene Configuration.
Параметры
Эти внутренние параметры камеры эквивалентны свойствам cameraIntrinsics объект. Чтобы получить внутренние параметры для вашей камеры, используйте приложение Camera Calibrator.
Focal length (pixels) — Фокусное расстояние камеры
[1109, 1109]
Фокусное расстояние камеры, заданной как 1 2 положительный целочисленный вектор формы [fx, fy]. Модули находятся в пикселях.
fx = F × sx
fy = F × sy
где:
F является фокусным расстоянием в мировых единицах измерения, обычно миллиметры.
[sx, sy] является количеством пикселей на мировую единицу измерения в x и направлении y, соответственно.
Этот параметр эквивалентен FocalLength свойство cameraIntrinsics объект.
Optical center (pixels) — Оптический центр камеры
[640, 360]
Оптический центр камеры, заданной как 1 2 положительный целочисленный вектор формы [cx, cy]. Модули находятся в пикселях.
Этот параметр эквивалентен PrincipalPoint свойство cameraIntrinsics объект.
Image size (pixels) — Размер изображения производится камерой
[720, 1280]
Размер изображения производится камерой, заданной как 1 2 положительный целочисленный вектор формы [mrows, ncols]. Модули находятся в пикселях.
Этот параметр эквивалентен ImageSize свойство cameraIntrinsics объект.
Radial distortion coefficients — Радиальные коэффициенты искажения
[0, 0]
Радиальные коэффициенты искажения, заданные как с действительным знаком 1 2 или 1 3 неотрицательный вектор. Радиальное искажение происходит, когда световые лучи изгибают больше, чем ребра линзы, чем они делают в ее оптическом центре. Искажение больше, когда линза меньшего размера. Блок вычисляет радиально искаженное местоположение точки. Модули являются безразмерными.
Этот параметр эквивалентен RadialDistortion свойство cameraIntrinsics объект.
Tangential distortion coefficients — Тангенциальные коэффициенты искажения
[0, 0]
Тангенциальные коэффициенты искажения, заданные как с действительным знаком 1 2 неотрицательный вектор. Тангенциальное искажение происходит, когда линза и плоскость изображения не параллельны. Координаты выражаются в мировых единицах измерения. Модули являются безразмерными.
Этот параметр эквивалентен TangentialDistortion свойство cameraIntrinsics объект.
Axis skew — Скошенный угол осей камеры
0
Скошенный угол осей камеры, заданных как неотрицательный скаляр. Если Ось X и Ось Y точно перпендикулярны, то скосом должен быть 0. Модули являются безразмерными.
Этот параметр эквивалентен Skew свойство cameraIntrinsics объект.
Основная истина
Output depth — Выведите карту глубины
от (значения по умолчанию) | на
Выберите этот параметр, чтобы вывести карту глубины в порте Depth.
Output semantic segmentation — Выведите карту семантической сегментации метки IDs
от (значения по умолчанию) | на
Выберите этот параметр, чтобы вывести карту семантической сегментации метки IDs в порте Labels.
Output location (m) and orientation (rad) — Выведите местоположение и ориентацию датчика
от (значения по умолчанию) | на
Выберите этот параметр, чтобы вывести местоположение и ориентацию датчика в портах Location и Orientation, соответственно.
Примеры модели
Советы
Чтобы визуализировать изображения камеры, которые выводятся портом Image, используйте блок Video Viewer или To Video Display.
Чтобы изучить, как визуализировать глубину и карты семантической сегментации, которые выводятся портами Depth и Labels, смотрите Визуализировать Глубину и Данные о Семантической Сегментации в 3D примере Среды.
Поскольку Нереальный Engine может занять много времени, чтобы запуститься между симуляциями, рассмотреть логгирование сигналов, что датчики выводят. Можно затем использовать эти данные, чтобы разработать алгоритмы восприятия в MATLAB®. Смотрите Конфигурируют Сигнал для Логгирования (Simulink).
Можно также сохранить данные изображения как видео при помощи блока To Multimedia File. Для примера этой настройки см. Проект Детектора Маркера Маршрута в 3D Среде симуляции.
Алгоритмы
Блок использует модель камеры, предложенную Жан-Ивом Буге [1]. Модель включает:
Модель [2] камеры с точечной диафрагмой
Искажение объектива [3]
Модель камеры с точечной диафрагмой не составляет искажение объектива, потому что идеальная камера с точечной диафрагмой не имеет линзы. Чтобы точно представлять действительную камеру, полная модель камеры, используемая блоком, включает радиальное и тангенциальное искажение объектива.
Для получения дополнительной информации смотрите то, Что Калибровка фотоаппарата? (Computer Vision Toolbox)
Ссылки
[1] Bouguet, J. Y. Тулбокс Калибровки фотоаппарата для MATLAB. http://www.vision.caltech.edu/bouguetj/calib_doc
[2] Чжан, Z. "Гибкий Новый техник для Калибровки фотоаппарата". Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 22, № 11, 2000, стр 1330–1334.
[3] Heikkila, J. и О. Сильвен. “Процедура калибровки фотоаппарата с четырьмя шагами с неявной коррекцией изображений”. Международная конференция IEEE по вопросам компьютерного зрения и распознавания образов. 1997.
Смотрите также
Блоки
- Simulation 3D Lidar | Simulation 3D Probabilistic Radar | Simulation 3D Fisheye Camera | Simulation 3D Scene Configuration | Simulation 3D Vehicle with Ground Following
Приложения
Объекты
Темы
- 3D симуляция для автоматизированного управления
- Системы координат для 3D симуляции в Automated Driving Toolbox
- Выберите Sensor для 3D симуляции
- Что такое калибровка фотоаппарата? (Computer Vision Toolbox)
- Оценка глубины от видео стерео (Computer Vision Toolbox)
- Семантическая Сегментация Используя глубокое обучение (Computer Vision Toolbox)