В этом примере показано, как визуализировать данные глубины и семантической сегментации, полученные от датчика камеры в среде моделирования. Эта среда визуализируется с помощью Unreal Engine ® от Epic Games ®.
Можно использовать визуализации глубины для проверки алгоритмов оценки глубины для датчиков. Можно использовать визуализацию семантической сегментации для анализа схемы классификации, используемой для генерации синтетических данных семантической сегментации из среды Unreal Engine.
Модель, используемая в этом примере, имитирует движение транспортного средства в городской сцене.
Блок Simulation 3D Scene Configuration настраивает моделирование со сценой US City Block.
Моделирование 3D блок Транспортного средства БПЛА определяет ведущий маршрут транспортного средства.
Блок Simulation 3D Camera, установленный на квадроторе, фиксирует данные полета. Этот блок выводит изображения камеры, глубины и семантической сегментации с помощью блоков «На дисплей» (Computer Vision Toolbox) (Computer Vision Toolbox).
Карта глубины представляет собой изображение сенсора камеры в градациях серого. Эти карты визуализируют изображения с камеры в градациях серого с более яркими пикселями, указывающими объекты, которые находятся дальше от датчика. Карты глубины можно использовать для проверки алгоритмов оценки глубины для датчиков.
Порт Depth блока Simulation 3D Camera выводит карту глубины значений в диапазоне от 0 до 1000 метров. В этой модели для лучшей видимости блок «Насыщенность» насыщает выходную глубину максимум 150 метров. Затем блок усиления масштабирует карту глубины до диапазона [0, 1], так что блок To Video Display может визуализировать карту глубины в градациях серого.
Семантическая сегментация описывает процесс связывания каждого пикселя изображения с меткой класса, такой как дорога, здание или дорожный знак. В среде моделирования 3D создаются синтетические данные семантической сегментации в соответствии со схемой классификации меток. Эти метки можно затем использовать для обучения нейронной сети полётным приложениям БПЛА, таким как идентификация зоны посадки. Визуализируя семантические данные сегментации, можно проверить схему классификации.
Порт Labels блока Simulation 3D Camera выводит набор меток для каждого пикселя на выходном изображении камеры. Каждая метка соответствует классу объекта. Например, в схеме классификации по умолчанию, используемой блоком, 1 соответствует зданиям. Метка 0 относится к объектам неизвестного класса и отображается как черный. Полный список идентификаторов меток и соответствующих им описаний объектов см. в описании порта Labels на странице Simulation 3D Camera block reference.
Функциональный блок MATLAB ® использует label2rgbФункция (Панель инструментов обработки изображений) для преобразования меток в матрицу триплетов RGB для визуализации. Карта цветов основана на цветах, используемых в наборе данных CamVid, как показано в примере семантической сегментации с использованием глубокого обучения (Computer Vision Toolbox). Цвета сопоставляются с предварительно определенными идентификаторами меток, используемыми в сценах моделирования Unreal Engine по умолчанию. Вспомогательная функция sim3dColormap определяет карту цветов. Проверьте эти значения карты цветов.
open sim3dColormap.mЗапустите модель.
sim('uav_ue4_depth_imaging.slx');После начала моделирования инициализация модуля визуализации может занять несколько секунд, особенно при первом запуске. MathWorks_Aerospace отображает сцену из исходной точки сцены. В этой сцене квадроторный БПЛА летит на небольшое расстояние вниз по одному городскому кварталу.
В блоках «Отображение камеры», «Отображение глубины» и «Отображение семантической сегментации» отображаются выходные сигналы от датчика камеры.
Чтобы изменить диапазон визуализации выходных данных глубины, попробуйте обновить значения в блоках «Насыщенность» и «Коэффициент усиления».
Чтобы изменить цвета семантической сегментации, попробуйте изменить значения цвета, определенные в sim3dColormap функция. Альтернативно, в блюдахlabel2rgb Функциональный блок MATLAB, попробуйте заменить входную карту цветов собственной картой цветов или предопределенной картой цветов. Посмотрите colormap.
Моделирование 3D камеры | Моделирование 3D конфигурация сцены | Имитация 3D БПЛА