В этом примере показано, как визуализировать глубину и данные о семантической сегментации, собранные от датчика камеры в среде симуляции. Эта среда представляется с помощью Нереального Engine® от Epic Games®.
Можно использовать визуализацию глубины, чтобы подтвердить алгоритмы оценки глубины для датчиков. Можно использовать визуализацию семантической сегментации, чтобы анализировать систему классификации, используемую для генерации синтетических данных о семантической сегментации из Нереальной среды Engine.
Модель, используемая в этом примере, симулирует управление транспортного средства в городской сцене.
Симуляция 3D Блок Configuration Сцены настраивает симуляцию со сценой Городского квартала США.
Блок Simulation 3D UAV Vehicle задает ведущий маршрут транспортного средства.
Блок Simulation 3D Camera, смонтированный к quadrotor, собирает данные от рейса. Этот блок выводит камеру, глубину и отображения семантической сегментации при помощи На Видеодисплей (Computer Vision Toolbox) (Computer Vision Toolbox) блоки.
Карта глубины является полутоновым представлением датчика камеры выход. Эти карты визуализируют изображения камеры в шкале полутонов с более яркими пикселями, указывающими на объекты, которые более далеки от датчика. Можно использовать карты глубины, чтобы подтвердить алгоритмы оценки глубины для датчиков.
Порт Depth блока Simulation 3D Camera выводит карту глубины значений в области значений от 0 до 1 000 метров. В этой модели, для лучшей видимости, блок Saturation насыщает глубину выход максимум к 150 метров. Затем блок Gain масштабирует карту глубины к области значений [0, 1] так, чтобы блок To Video Display мог визуализировать карту глубины в шкале полутонов.
Семантическая сегментация описывает процесс соединения каждого пикселя изображения с меткой класса, такой как дорога, создание или дорожный знак. В 3D среде симуляции вы генерируете синтетические данные о семантической сегментации согласно системе классификации метки. Можно затем использовать эти метки, чтобы обучить нейронную сеть для приложений рейса UAV, таких как идентификация области парковки. Путем визуализации данных о семантической сегментации можно проверить систему классификации.
Порт Labels блока Simulation 3D Camera выводит набор меток для каждого пикселя в выходном изображении камеры. Каждая метка соответствует классу объекта. Например, в системе классификации по умолчанию, используемой блоком, 1 соответствует созданиям. Метка 0 относится к объектам неизвестного класса и появляется как черный. Для полного списка метки IDs и их соответствующих описаний объекта, см. описание порта Меток на странице с описанием блока Simulation 3D Camera.
Функциональный блок MATLAB® использует label2rgb (Image Processing Toolbox) функция, чтобы преобразовать метки в матрицу триплетов RGB для визуализации. Палитра основана на цветах, используемых в наборе данных CamVid, как показано в Семантической Сегментации Используя Глубокое обучение (Computer Vision Toolbox) пример. Цвета сопоставлены с предопределенной меткой IDs, используемой в Нереальных сценах симуляции Engine по умолчанию. Функция помощника sim3dColormap задает палитру. Смотрите эти значения палитры.
open sim3dColormap.mЗапустите модель.
sim('uav_ue4_depth_imaging.slx');Когда симуляция начинается, может потребоваться несколько секунд для механизма визуализации, чтобы инициализировать, особенно когда вы запускаете его впервые. MathWorks_Aerospace окно отображает сцену из источника сцены. В этой сцене quadrotor UAV управляет коротким расстоянием вниз один городской квартал.
Отображение Камеры, Отображение Глубины и блоки Отображения Семантической Сегментации отображают выводы от датчика камеры.
Чтобы изменить область значений визуализации выходных данных о глубине, попытайтесь обновить значения в блоках Насыщения и Усиления.
Чтобы изменить цвета семантической сегментации, попытайтесь изменить значения цвета, заданные в sim3dColormap функция. В качестве альтернативы в uavlabel2rgb Блок MATLAB function, попытайтесь заменить входную палитру на свою собственную палитру или предопределенную палитру. Смотрите colormap.
Simulation 3D Scene Configuration | Simulation 3D Camera | Simulation 3D UAV Vehicle