Глубокое обучение позволяет автоматически обрабатывать точечные облака для широкого спектра 3-D приложений для обработки изображений. Облака точек обычно поступают от 3-D сканеров, таких как лидар или устройства Kinect ®. Они применяются в роботизированной навигации и восприятии, оценке глубины, стереовидении, наблюдении, классификации сцен и в современных системах помощи водителю (ADAS).
Как правило, первые шаги для использования данных облака точек в рабочем процессе глубокого обучения:
Импорт данных облака точек. Хранилище данных используется для хранения большого объема данных.
При необходимости увеличьте объем данных.
Кодирование облака точек в формате, подобном изображению, в соответствии с рабочими процессами глубокого обучения на основе MATLAB ®.
К задачам классификации, обнаружения объектов и семантической сегментации с использованием данных облака точек можно применять те же подходы глубокого обучения, что и к обычным данным изображения с сеткой. Однако сначала необходимо кодировать неупорядоченную, нерегулярно сетчатую структуру данных облака точек и лидара в обычную сетчатую форму. Для некоторых задач, таких как семантическая сегментация, требуется некоторая постобработка на выходе сетей на основе изображений, чтобы восстановить структуру облака точек.
Для работы с данными облака точек в рабочих процессах глубокого обучения сначала прочитайте необработанные данные. Рассмотрите возможность использования хранилища данных для работы и представления коллекций данных, которые слишком велики для одновременного размещения в памяти. Поскольку глубокое обучение часто требует больших объемов данных, хранилища данных являются важной частью процесса глубокого обучения в MATLAB. Дополнительные сведения о хранилищах данных см. в разделе Хранилища данных для глубокого обучения (панель инструментов глубокого обучения).
Пример импорта данных облака точек для глубокого обучения позволяет импортировать большой набор данных облака точек, а затем настроить и загрузить хранилище данных.
Точность и успех модели глубокого обучения зависит от больших аннотированных наборов данных. Использование дополнений для создания больших наборов данных помогает уменьшить переоснащение. Подгонка происходит, когда система классификации ошибается шумом в данных для сигнала. Добавление дополнительного шума помогает модели сбалансировать точки данных и минимизировать ошибки. Увеличение также может добавить надежность преобразованиям данных, которые могут быть плохо представлены в исходных обучающих данных (например, ротация, отражение, переводы). И уменьшая переоснащение, увеличение часто может привести к лучшим результатам на этапе вывода, который делает прогнозы, основанные на том, что нейронная сеть глубокого обучения была обучена обнаруживать.
Пример «Добавление данных облака точек для глубокого обучения» устанавливает базовый рандомизированный конвейер увеличения данных, который работает с данными облака точек.
Чтобы использовать облака точек для обучения с помощью процессов глубокого обучения на основе MATLAB, данные должны быть закодированы в плотный, похожий на изображение формат. Уплотнение или вокселизация - это процесс преобразования неправильной, негридированной формы данных облака точек в плотную, похожую на изображение форму.
Пример «Кодирование данных облака точек для глубокого обучения» преобразует данные облака точек в плотную структуру с сеткой.
После преобразования данных облака точек в плотную форму их можно использовать для классификации на основе изображений, обнаружения объектов или семантической сегментации с использованием стандартных подходов глубокого обучения.
Пример «Сеть классификации поездов для классификации объектов в облаке точек» (Train Classification Network to Classify Object in 3-D Point Cloud) предварительно обрабатывает данные облака точек в вокселизированную кодировку, а затем использует данные, похожие на изображение, с простой 3-D сверточной нейронной сетью для выполнения классификации объектов.
bboxcrop | bboxresize | bboxwarp | pcbin | pcread