PointNet ++ является популярной нейронной сетью, используемой для семантической сегментации неорганизованных облаков точек лидара. Семантическая сегментация сопоставляет каждую точку в 3-D облаке точек с меткой класса, такой как автомобиль, грузовик, земля или растительность.
Сеть PointNet ++ делит точки ввода в набор кластеров и затем извлекает функции с помощью сети многоуровневого perceptron (MLP). Сеть применяет PointNet рекурсивно на вложенные, разделенные входные параметры, чтобы извлечь многошкальные функции точной семантической сегментации.
Приложения PointNet ++ включают:
Древовидная сегментация для цифровых приложений лесоводства.
Извлечение цифровой модели ландшафта из воздушных данных о лидаре.
Восприятие для внутренней навигации в робототехнике.
3-D городское моделирование из воздушных данных о лидаре.
Сеть PointNet ++ содержит энкодер с модулями абстракции набора и декодер с модулями распространения функции.
Процессы модуля абстракции набора и извлечения набор точек, чтобы произвести новый набор с меньшим количеством элементов. Каждый модуль абстракции набора содержит выборку и группировку слоя, сопровождаемого сетью mini-PointNet.
Выборка и группировка слоя выполняют выборку путем идентификации центроидов локальных областей. Это затем выполняет группировку путем построения локальных наборов области соседних точек вокруг центроидов.
Сеть mini-PointNet содержит разделяемую сеть MLP с серией свертки, нормализации, relu слои, сопровождаемые макс. слоем объединения. Это кодирует локальные шаблоны области в характеристические векторы.
Модуль распространения функции интерполирует подпроизведенные точки и затем конкатенирует их с функциями точки от модулей абстракции набора. Сеть затем передает эти функции через модульную сеть PointNet.
Выборка & группировка слоя модуля абстракции набора и слоя интерполяции модуля распространения функции в этой сети реализованы с помощью functionLayer (Deep Learning Toolbox) функция.
Используйте pointnetplusLayers функция, чтобы создать сеть PointNet ++ для сегментации данных об облаке точек.
Чтобы изучить, как обучить сеть PointNet ++ для сегментации данных об облаке точек, смотрите, что Воздушная Семантическая Сегментация Лидара Использует PointNet ++ Глубокое обучение.
Чтобы изучить, как сгенерировать код CUDA® для сети PointNet ++, смотрите Генерацию кода Для Воздушной Семантической Сегментации Лидара Используя PointNet ++ Глубокое обучение.
[1] Ци, Чарльз Р., Ли И, Хао Су и Леонидас Дж. Гуибас. ‘PointNet ++: Глубоко Иерархическая Функция, Учащаяся на Наборах Точки в Метрическом пространстве’. ArXiv:1706.02413 [Cs], 7 июня 2017. https://arxiv.org/abs/1706.02413.
[2] Varney, Нина, Вияйян К. Азари и Квинн Грэехлинг. ‘ДОЛИНЫ: Крупномасштабная Антенна Набор данных LiDAR для Семантической Сегментации’. ArXiv:2004.11985 [Cs, Статистика], 14 апреля 2020. https://arxiv.org/abs/2004.11985.
pointnetplusLayers | squeezesegv2Layers | semanticseg | trainNetwork (Deep Learning Toolbox) | evaluateSemanticSegmentation