Fisheye-камера модель датчика в 3D среду симуляции
Automated Driving Toolbox/ 3D
Блок Simulation 3D Fisheye Camera обеспечивает интерфейс к камере с объективом «рыбий глаз» в 3D среде симуляции. Это окружение визуализируется с помощью Unreal Engine® из эпических игр®. Датчик основан на модели fisheye-камеры, предложенной Scaramuzza [1]. Эта модель поддерживает поле зрения до 195 степеней. Блок выводит изображение с заданными искажениями и размерами камеры. Можно также вывести местоположение и ориентацию камеры в мировой системе координат сцены.
Если вы задаете Sample time -1, блок использует шаг расчета, заданный в блоке Simulation 3D Scene Configuration. Чтобы использовать этот датчик, вы должны включить блок Simulation 3D Scene Configuration в свою модель.
Примечание
Блок Simulation 3D Scene Configuration должен выполняться перед блоком Simulation 3D Fisheye Camera. Таким образом, окружение визуализации 3D Unreal Engine подготавливает данные до того, как блок Simulation 3D Fisheye Camera получит их. Чтобы проверить порядок выполнения блока, щелкните правой кнопкой мыши блоки и выберите Properties. На вкладке General подтвердите следующие Priority настройки:
Simulation 3D Scene Configuration — 0
Simulation 3D Fisheye Camera — 1
Для получения дополнительной информации о порядке выполнения смотрите Как работает нереальная симуляция Engine для автоматического вождения.
Sensor identifier - Уникальный идентификатор датчика1 (по умолчанию) | положительное целое числоУникальный идентификатор датчика, заданный как положительное целое число. В мультисенсорной системе идентификатор датчика различает датчики. Когда вы добавляете новый блок датчика к модели, Sensor identifier этого блока равен N + 1. N является самым высоким значением Sensor identifier среди существующих блоков датчиков в модели.
Пример: 2
Parent name - Имя родительского элемента, на котором установлен датчикScene Origin (по умолчанию) | имя транспортного средстваИмя родительского элемента, на котором установлен датчик, указывается как Scene Origin или как имя транспортного средства в вашей модели. Имена транспортных средств, которые можно выбрать, соответствуют параметрам Name блоков Simulation 3D Vehicle with Ground Following в вашей модели. Если вы выбираете Scene Originблок помещает датчик в источник сцены.
Пример: SimulinkVehicle1
Mounting location - Место установки датчикаOrigin (по умолчанию) | Front bumper | Rear bumper | Right mirror | Left mirror | Rearview mirror | Hood center | Roof centerМесто установки датчика.
Когда Parent name Scene Originблок устанавливает датчик в источник сцены. Можно задать Mounting location значение Origin только. Во время симуляции датчик остается стационарным.
Когда Parent name - имя транспортного средства (для примера, SimulinkVehicle1) блок устанавливает датчик в одно из предопределенных мест установки, описанных в таблице. Во время симуляции датчик перемещается вместе с транспортным средством.
| Место установки транспортного средства | Описание | Ориентация относительно источника транспортного средства [крен, тангаж, рыскание] (град.) |
|---|---|---|
Origin | Передний датчик, установленный на источнике транспортного средства, который находится на земле, в геометрическом центре транспортного средства (см. Системы координат для нереальной симуляции Engine в Automated Driving Toolbox)
| [0, 0, 0] |
Front bumper | Передний датчик, установленный на переднем бампере
| [0, 0, 0] |
Rear bumper | Обращенный назад датчик, установленный на заднем бампере
| [0, 0, 180] |
Right mirror | Обращенный вниз датчик, установленный на правом боковом зеркале
| [0, –90, 0] |
Left mirror | Обращенный вниз датчик, установленный на левом боковом зеркале
| [0, –90, 0] |
Rearview mirror | Передний датчик, установленный на зеркале заднего вида, внутри транспортного средства
| [0, 0, 0] |
Hood center | Передний датчик, установленный на центре капота
| [0, 0, 0] |
Roof center | Передний датчик, установленный на центре крыши
| [0, 0, 0] |
Крен, тангаж и рыскание положительны по часовой стрелке при взгляде в положительном направлении оси X, оси Y и оси Z, соответственно. При взгляде на транспортное средство от верхней части вниз угол рыскания (то есть угол ориентации) против часовой стрелки-положительный, потому что вы смотрите в отрицательном направлении оси.
Расположение датчика (X, Y, Z) относительно транспортного средства зависит от типа транспортного средства. Чтобы указать тип транспортного средства, используйте параметр Type блока Simulation 3D Vehicle with Ground Following, к которому вы монтируете датчик. Чтобы получить места установки (X, Y, Z) для типа транспортного средства, смотрите страницу с описанием для этого транспортного средства.
Чтобы определить местоположение датчика в мировых координатах, откройте блок датчика. Затем на вкладке Ground Truth выберите Output location (m) and orientation (rad) и проверьте данные из Location выходного порта.
Specify offset - Задайте смещение от места установкиoff (по умолчанию) | onВыберите этот параметр, чтобы задать смещение от места установки с помощью параметров Relative translation [X, Y, Z] (m) и Relative rotation [Roll, Pitch, Yaw] (deg).
Relative translation [X, Y, Z] (m) - Смещение перемещения относительно места установки[0, 0, 0] (по умолчанию) | вектор 1 на 3 с реальным значениемСмещение перемещения относительно места установки датчика, заданное как действительный вектор 1 на 3 вида [X, Y, Z]. Модули измерения указаны в метрах.
Если вы монтируете датчик к транспортному средству путем установки Parent name на имя этого транспортного средства, то X, Y и Z находятся в транспортном средстве системе координат, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает налево от транспортного средства, если смотреть в прямом направлении транспортного средства.
Ось Z указывает вверх.
Это источник - место установки, заданное в параметре Mounting location. Этот источник отличается от источника транспортного средства, который является геометрическим центром транспортного средства.
Если вы монтируете датчик к источнику сцены путем установки Parent name на Scene Origin, тогда X, Y и Z находятся в мировых координатах сцены.
Для получения дополнительной информации о транспортном средстве и мировых системах координат смотрите Системы координат для Unreal Engine Simulation в Automated Driving Toolbox.
Пример: [0,0,0.01]
Чтобы включить этот параметр, выберите Specify offset.
Relative rotation [Roll, Pitch, Yaw] (deg) - Смещение вращения относительно места установки[0, 0, 0] (по умолчанию) | вектор 1 на 3 с реальным значениемВращательное смещение относительно места установки датчика, заданное как действительный вектор 1 на 3 вида [Roll, тангаж, рыскание]. Крен, тангаж и рыскание являются углами вращения вокруг осей X -, Y- и Z, соответственно. Модули указаны в степенях.
Если вы монтируете датчик к транспортному средству путем установки Parent name на имя этого транспортного средства, то X, Y и Z находятся в транспортном средстве системе координат, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает налево от транспортного средства, если смотреть в прямом направлении транспортного средства.
Ось Z указывает вверх.
Крен, тангаж и рыскание положительны по часовой стрелке при взгляде в прямом направлении оси X, оси Y и оси Z, соответственно. Если вы просматриваете сцену с 2D перспективы сверху вниз, то угол рыскания (также называемый углом ориентации) будет противоположно часовой стрелке-положителен, потому что вы просматриваете сцену в отрицательном направлении оси Z.
Это источник - место установки, заданное в параметре Mounting location. Этот источник отличается от источника транспортного средства, который является геометрическим центром транспортного средства.
Если вы монтируете датчик к источнику сцены путем установки Parent name на Scene Origin, тогда X, Y и Z находятся в мировых координатах сцены.
Для получения дополнительной информации о транспортном средстве и мировых системах координат смотрите Системы координат для Unreal Engine Simulation в Automated Driving Toolbox.
Пример: [0,0,10]
Чтобы включить этот параметр, выберите Specify offset.
Sample time - Шаг расчета-1 (по умолчанию) | положительная скалярная величинаШаг расчета блока в секундах, заданная как положительная скалярная величина. Частота систем координат среды симуляции 3D является обратной частотой шага расчета.
Если вы задаете значение шага расчета -1блок наследует свои шаги расчета от блока Simulation 3D Scene Configuration.
Эти собственные параметры камеры эквивалентны свойствам fisheyeIntrinsics объект. Чтобы получить собственные параметры для камеры, используйте приложение Camera Calibrator.
Для получения дополнительной информации о процессе калибровки fisheye-камеры смотрите приложения Single Camera Calibrator App и Fisheye Calibration Basics.
Distortion center (pixels) - Центр искажений[640, 360] (по умолчанию) | вектор 1 на 2 с реальным значениемЦентр искажения, заданный как действительный 2-элементный вектор. Модули указаны в пикселях.
Image size (pixels) - Размер изображения, произведенного камерой[720, 1280] (по умолчанию) | реальный вектор 1 на 2 положительных целых чиселРазмер изображения, произведенного камерой, задается как реальный вектор 1 на 2 положительных целых чисел вида [mrows, ncols]. Модули указаны в пикселях .
Mapping coefficients - Полиномиальные коэффициенты для проекционной функции[320, 0, 0, 0] (по умолчанию) | вектор 1 на 4 с реальным значениемПолиномиальные коэффициенты для проекционной функции, описанной моделью Тейлора Скарамуццы [1], заданные как действительный вектор 1 на 4 вида [a0 a2 a3 a4].
Пример: [320, -0.001, 0, 0]
Stretch matrix - Преобразует точку из плоскости датчика в плоскость камеры[1, 0; 0, 1] (по умолчанию) | матрицу 2 на 2 с реальным значениемПреобразует точку из плоскости датчика в пиксель в плоскости изображения камеры. Расхождение происходит в процессе оцифровки, когда линза не параллельна датчику.
Пример: [0, 1; 0, 1]
Output location (m) and orientation (rad) - Выходное расположение и ориентация датчикаoff (по умолчанию) | onВыберите этот параметр, чтобы вывести положение и ориентацию датчика в портах Location и Orientation, соответственно.
Чтобы визуализировать изображения камеры, которые выводятся портом Image, используйте Video Viewer или To Video Display блок.
Поскольку Unreal Engine может занять много времени, чтобы запустить между симуляциями, рассмотрите логгирование сигналов, которые выводят датчики. Затем можно использовать эти данные для разработки алгоритмов восприятия в MATLAB®. См. «Конфигурирование сигнала для логгирования» (Simulink).
Можно также сохранить данные изображения как видео при помощи блока To Multimedia File. Для примера этой настройки смотрите Design Lane Marker Detector Using Unreal Engine Simulation Environment.
[1] Скарамуцца, Д., А. Мартинелли и Р. Зигварт. A Toolbox for Easy Calibrating Ominrection Cameras (неопр.) (недоступная ссылка). Материалы Международной конференции IEEE по интеллектуальным роботам и системам (IROS 2006). Пекин, Китай, 7-15 октября 2006 года.
