Обучение более быстрому детектору объекта глубокого обучения R-CNN
trainedDetector = trainFasterRCNNObjectDetector(trainingData,network,options)
Эта функция требует наличия Toolbox™ глубокого обучения. Рекомендуется также иметь Toolbox™ параллельных вычислений для использования с графическим процессором NVIDIA ® с поддержкой CUDA ®. Сведения о поддерживаемых вычислительных возможностях см. в разделе Поддержка графического процессора по выпуску (Parallel Computing Toolbox).
[ также возвращает информацию о ходе обучения, такую как потеря и точность обучения, для каждой итерации.trainedDetector,info] = trainFasterRCNNObjectDetector(___)
trainedDetector = trainFasterRCNNObjectDetector(trainingData,checkpoint,options)
trainedDetector = trainFasterRCNNObjectDetector(trainingData,detector,options)
trainedDetector = trainFasterRCNNObjectDetector(___,Name,Value)Name,Value пары аргументов и любого из предыдущих входных данных.
Загрузить данные обучения.
data = load('fasterRCNNVehicleTrainingData.mat'); trainingData = data.vehicleTrainingData; trainingData.imageFilename = fullfile(toolboxdir('vision'),'visiondata', ... trainingData.imageFilename);
Случайная перетасовка данных для обучения.
rng(0); shuffledIdx = randperm(height(trainingData)); trainingData = trainingData(shuffledIdx,:);
Создайте хранилище данных изображения, используя файлы из таблицы.
imds = imageDatastore(trainingData.imageFilename);
Создайте хранилище данных меток поля, используя столбцы меток из таблицы.
blds = boxLabelDatastore(trainingData(:,2:end));
Объединение хранилищ данных.
ds = combine(imds, blds);
Настройте сетевые уровни.
lgraph = layerGraph(data.detector.Network);
Настройка параметров обучения.
options = trainingOptions('sgdm', ... 'MiniBatchSize', 1, ... 'InitialLearnRate', 1e-3, ... 'MaxEpochs', 7, ... 'VerboseFrequency', 200, ... 'CheckpointPath', tempdir);
Детектор поезда. Тренировка займет несколько минут. Отрегулируйте значения NegativeTressingRange и PositiveRange для обеспечения плотного перекрытия обучающих образцов с истинностью земли.
detector = trainFasterRCNNObjectDetector(ds, lgraph, options, ... 'NegativeOverlapRange',[0 0.3], ... 'PositiveOverlapRange',[0.6 1]);
************************************************************************* Training a Faster R-CNN Object Detector for the following object classes: * vehicle Training on single GPU. Initializing input data normalization. |=============================================================================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Mini-batch | RPN Mini-batch | RPN Mini-batch | Base Learning | | | | (hh:mm:ss) | Loss | Accuracy | RMSE | Accuracy | RMSE | Rate | |=============================================================================================================================================| | 1 | 1 | 00:00:00 | 0.8771 | 97.30% | 0.83 | 91.41% | 0.71 | 0.0010 | | 1 | 200 | 00:01:15 | 0.5324 | 100.00% | 0.15 | 88.28% | 0.70 | 0.0010 | | 2 | 400 | 00:02:40 | 0.4732 | 100.00% | 0.15 | 92.19% | 0.63 | 0.0010 | | 3 | 600 | 00:04:03 | 0.4776 | 97.14% | 0.09 | 96.88% | 0.59 | 0.0010 | | 3 | 800 | 00:05:23 | 0.5269 | 97.44% | 0.18 | 89.06% | 0.68 | 0.0010 | | 4 | 1000 | 00:06:44 | 0.9749 | 100.00% | | 85.16% | 1.00 | 0.0010 | | 5 | 1200 | 00:08:07 | 1.1952 | 97.62% | 0.13 | 77.34% | 1.27 | 0.0010 | | 5 | 1400 | 00:09:24 | 0.6577 | 100.00% | | 76.38% | 0.72 | 0.0010 | | 6 | 1600 | 00:10:46 | 0.6951 | 100.00% | | 90.62% | 0.94 | 0.0010 | | 7 | 1800 | 00:12:08 | 0.5341 | 96.08% | 0.09 | 86.72% | 0.53 | 0.0010 | | 7 | 2000 | 00:13:26 | 0.3333 | 100.00% | 0.12 | 94.53% | 0.61 | 0.0010 | | 7 | 2065 | 00:13:52 | 1.0564 | 100.00% | | 71.09% | 1.23 | 0.0010 | |=============================================================================================================================================| Detector training complete. *******************************************************************
Протестируйте более быстрый детектор R-CNN на тестовом изображении.
img = imread('highway.png');Запустите детектор.
[bbox, score, label] = detect(detector,img);
Отображение результатов обнаружения.
detectedImg = insertShape(img,'Rectangle',bbox);
figure
imshow(detectedImg)
trainingData - Маркированная наземная истинаПомеченная истинность основания, заданная как хранилище данных или таблица.
Каждая ограничительная рамка должна иметь формат [x y width height].
При использовании хранилища данных данные должны быть настроены таким образом, чтобы вызывать хранилище данных с помощью read и readall функция возвращает массив ячеек или таблицу с двумя или тремя столбцами. Если выходные данные содержат два столбца, первый столбец должен содержать ограничивающие рамки, а второй столбец должен содержать метки {поля, метки}. Если выходные данные содержат три столбца, второй столбец должен содержать ограничивающие рамки, а третий столбец должен содержать метки. В этом случае первый столбец может содержать данные любого типа. Например, первый столбец может содержать изображения или данные облака точек.
| данные | коробки | этикетки |
|---|---|---|
| Первый столбец может содержать данные, например данные облака точек или изображения. | Второй столбец должен быть массивом ячеек, содержащим M-by-5 матрицы ограничивающих прямоугольников вида [xcenter, ycenter, width, height, yaw]. Векторы представляют расположение и размер ограничивающих рамок для объектов на каждом изображении. | Третий столбец должен быть массивом ячеек, содержащим M-by-1 категориальных векторов, содержащих имена классов объектов. Все категориальные данные, возвращаемые хранилищем данных, должны содержать одинаковые категории. |
Дополнительные сведения см. в разделе Хранилища данных для глубокого обучения (панель инструментов глубокого обучения).
При использовании таблицы таблица должна иметь два или более столбцов. Первый столбец таблицы должен содержать имена файлов изображений с путями. Изображения должны иметь оттенки серого или цветные (RGB) и могут быть в любом формате, поддерживаемом imread. Каждый из оставшихся столбцов должен быть вектором ячейки, который содержит M-by-4 матрицы, представляющие один класс объектов, такие как транспортное средство, цветок или знак остановки. Столбцы содержат 4-элементные двойные массивы M ограничивающих рамок в формате [x, y, width, height]. Формат определяет расположение верхнего левого угла и размер ограничивающей рамки на соответствующем изображении. Чтобы создать таблицу истинности земли, можно использовать приложение Image Labeler или приложение Video Labeler. Чтобы создать таблицу обучающих данных из сгенерированной истинности земли, используйте objectDetectorTrainingData функция.
network - СетьSeriesNetwork объект | массив Layer объекты | LayerGraph объект | сетевое имяСеть, указанная как SeriesNetwork (Deep Learning Toolbox), массив Layer (Deep Learning Toolbox) объекты, layerGraph (Deep Learning Toolbox) или по имени сети. Сеть обучена классификации классов объектов, определенных в trainingData таблица. Использовать SeriesNetwork (инструментарий глубокого обучения), Layer (инструментарий глубокого обучения), и layerGraph Объекты (Deep Learning Toolbox) должны иметь Deep Learning Toolbox.
При указании сети в качестве SeriesNetwork, массив Layer объекты или по имени сети функция преобразует сеть в более быструю сеть R-CNN, добавляя сеть предложений области (RPN), уровень максимального пула ROI и новые уровни классификации и регрессии для поддержки обнаружения объектов. Кроме того, GridSize свойство уровня максимального пула ROI устанавливается в выходной размер последнего уровня максимального пула в сети.
Массив Layer Объекты (Deep Learning Toolbox) должны содержать классификационный слой, поддерживающий количество классов объектов, а также фоновый класс. Этот тип ввода используется для настройки показателей обучения каждого уровня. Пример массива Layer (Deep Learning Toolbox) Объекты:
layers = [imageInputLayer([28 28 3])
convolution2dLayer([5 5],10)
reluLayer()
fullyConnectedLayer(10)
softmaxLayer()
classificationLayer()];
При указании сети как SeriesNetwork объект, Layer массив или сетевое имя, весовые коэффициенты для дополнительного свертывания и полностью соединенных уровней инициализируются как 'narrow-normal'. Функция добавляет эти веса для создания сети.
Сетевое имя должно быть одним из следующих допустимых сетевых имен. Также необходимо установить соответствующую надстройку.
| Сетевое имя | Имя слоя извлечения элементов | Размер выходного сигнала уровня пула ROI | Описание |
|---|---|---|---|
alexnet (инструментарий для глубокого обучения) | 'relu5' | [6 6] | Последний уровень максимального пула заменяется уровнем максимального пула ROI |
vgg16 (инструментарий для глубокого обучения) | 'relu5_3' | [7 7] | |
vgg19 (инструментарий для глубокого обучения) | 'relu5_4' | ||
squeezenet (инструментарий для глубокого обучения) | 'fire5-concat' | [14 14] | |
resnet18 (инструментарий для глубокого обучения) | 'res4b_relu' | Слой объединения ROI вставляется после слоя извлечения элементов. | |
resnet50 (инструментарий для глубокого обучения) | 'activation_40_relu' | ||
resnet101 (инструментарий для глубокого обучения) | 'res4b22_relu' | ||
googlenet (инструментарий для глубокого обучения) | 'inception_4d-output' | ||
mobilenetv2 (инструментарий для глубокого обучения) | 'block_13_expand_relu' | ||
inceptionv3 (инструментарий для глубокого обучения) | 'mixed7' | [17 17] | |
inceptionresnetv2 (инструментарий для глубокого обучения) | 'block17_20_ac' |
LayerGraph объект должен быть допустимой сетью более быстрого обнаружения объектов R-CNN. Вы можете использовать fasterRCNNLayers для создания функции LayerGraph объект для обучения пользовательской сети более быстрого R-CNN.
Совет
Если ваша сеть является DAGNetwork, используйте layerGraph Функция (Deep Learning Toolbox) для преобразования сети в LayerGraph объект. Затем создайте пользовательскую сеть Faster R-CNN, как описано в примере Создать более быструю сеть обнаружения объектов R-CNN.
Дополнительные сведения о создании более быстрой сети R-CNN см. в разделе Начало работы с R-CNN, Fast R-CNN и Faster R-CNN.
options - Варианты обученияtrainingOptions продукцияВарианты обучения, возвращенные trainingOptions Функция (Deep Learning Toolbox) (требует Deep Learning Toolbox). Чтобы указать решатель и другие параметры для обучения сети, используйте trainingOptions.
Примечание
trainFasterRCNNObjectDetector не поддерживает следующие варианты обучения:
Входные данные хранилища данных не поддерживаются при установке DispatchInBackground вариант обучения для true.
Кроме того, функция не поддерживает следующие варианты обучения при использовании комбинированного ввода хранилища данных:
'once' и 'every-epoch' значения для 'Shuffleаргумент '
'parallel' и 'multi-gpu' значения для 'ExecutionEnvironmentаргумент '
checkpoint - Сохраненная контрольная точка детектораfasterRCNNObjectDetector объектСохраненная контрольная точка детектора, указанная как fasterRCNNObjectDetector объект. Чтобы сохранить детектор после каждой эпохи, установите 'CheckpointPath' при использовании trainingOptions функция. Рекомендуется сохранять контрольную точку после каждой эпохи, поскольку обучение сети может занять несколько часов.
Чтобы загрузить контрольную точку для ранее обученного детектора, загрузите MAT-файл из пути контрольной точки. Например, если 'CheckpointPath' имущество options является '/tmp', загрузите MAT-файл контрольной точки, используя:
data = load('/tmp/faster_rcnn_checkpoint__105__2016_11_18__14_25_08.mat');Имя MAT-файла включает номер итерации и метку времени, указывающую, когда была сохранена контрольная точка детектора. Детектор сохраняется в detector переменной файла. Передать этот файл обратно в trainFasterRCNNObjectDetector функция:
frcnn = trainFasterRCNNObjectDetector(stopSigns,...
data.detector,options);detector - Ранее обученный более быстрый детектор объектов R-CNNfasterRCNNObjectDetector объектРанее обученный детектор объектов Faster R-CNN, указанный как fasterRCNNObjectDetector объект. Используйте этот синтаксис для продолжения обучения детектора с дополнительными данными обучения или для выполнения дополнительных итераций обучения для повышения точности детектора.
Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.
'PositiveOverlapRange',[0.75 1]Для ускорения предварительной обработки данных для обучения, trainFastRCNNObjectDetector автоматически создает и использует параллельный пул на основе настроек параллельной настройки. Дополнительные сведения о настройке этих настроек см. в разделе Параметры параллельных настроек. Для использования настроек параллельных вычислений требуется панель инструментов параллельных вычислений.
VGG-16, VGG-19, ResNet-101 и Inception-ResNet-v2 - это большие модели. Обучение с большими изображениями может привести к ошибкам «из памяти». Чтобы устранить эти ошибки, попробуйте один или несколько из следующих вариантов:
Уменьшите размер изображений с помощью 'SmallestImageDimension"аргумент.
Уменьшите значение 'NumRegionsToSampleаргумент «имя-значение».
Эта функция поддерживает обучение переносу. При вводе network по имени, например 'resnet50', то функция автоматически преобразует сеть в действительную модель сети Faster R-CNN на основе предварительно подготовленного resnet50(Панель инструментов глубокого обучения). Либо вручную укажите пользовательскую сеть более быстрого R-CNN с помощью LayerGraph (Deep Learning Toolbox) извлекается из предварительно подготовленной сети DAG. Дополнительные сведения см. в разделе Создание более быстрой сети обнаружения объектов R-CNN.
В этой таблице описывается, как преобразовать каждую именованную сеть в более быструю сеть R-CNN. Имя уровня извлечения элементов определяет уровень для обработки на уровне пула ROI. Размер выходных данных ROI определяет размер карт элементов, выводимых уровнем объединения ROI.
| Сетевое имя | Имя слоя извлечения элементов | Размер выходного сигнала уровня пула ROI | Описание |
|---|---|---|---|
alexnet (инструментарий для глубокого обучения) | 'relu5' | [6 6] | Последний уровень максимального пула заменяется уровнем максимального пула ROI |
vgg16 (инструментарий для глубокого обучения) | 'relu5_3' | [7 7] | |
vgg19 (инструментарий для глубокого обучения) | 'relu5_4' | ||
squeezenet (инструментарий для глубокого обучения) | 'fire5-concat' | [14 14] | |
resnet18 (инструментарий для глубокого обучения) | 'res4b_relu' | Слой объединения ROI вставляется после слоя извлечения элементов. | |
resnet50 (инструментарий для глубокого обучения) | 'activation_40_relu' | ||
resnet101 (инструментарий для глубокого обучения) | 'res4b22_relu' | ||
googlenet (инструментарий для глубокого обучения) | 'inception_4d-output' | ||
mobilenetv2 (инструментарий для глубокого обучения) | 'block_13_expand_relu' | ||
inceptionv3 (инструментарий для глубокого обучения) | 'mixed7' | [17 17] | |
inceptionresnetv2 (инструментарий для глубокого обучения) | 'block17_20_ac' |
Сведения об изменении способа преобразования сети в более быструю сеть R-CNN см. в разделе Проектирование R-CNN, Fast R-CNN и более быстрой модели R-CNN.
Во время обучения несколько областей изображения обрабатываются из обучающих изображений Количество областей изображения на изображение управляется NumRegionsToSample собственность. PositiveOverlapRange и NegativeOverlapRange определяет, какие области изображения используются для обучения. Положительные обучающие образцы - это те, которые перекрываются с полями истинности земли на 0,6-1,0, что измеряется метрикой пересечения ограничивающей рамки и объединения (IoU). Отрицательные обучающие образцы - это те, которые пересекаются по 0 с 0,3. Выберите значения для этих свойств путем тестирования обученного детектора на наборе проверки.
| Перекрывающиеся значения | Описание |
|---|---|
PositiveOverlapRange установить в значение [0.6 1] | Положительные обучающие выборки устанавливаются равными выборкам, которые перекрываются с полями истинности земли на 0,6-1,0, измеряемыми метрикой IoU ограничивающей рамки. |
NegativeOverlapRange установить в значение [0 0.3] | Отрицательные обучающие пробы устанавливаются равными выборкам, перекрывающимся с полями истинности земли по 0 к 0,3. |
Если установить PositiveOverlapRange кому [0.6 1], то функция устанавливает положительные обучающие выборки равными выборкам, которые перекрываются с полями истинности земли на 0,6-1,0, измеренные метрикой IoU ограничивающего параллелепипеда. Если установить NegativeOverlapRange кому [0 0.3], то функция устанавливает отрицательные обучающие выборки равными выборкам, которые перекрываются с полями истинности земли по 0 к 0,3.
Используйте trainingOptions Функция (Deep Learning Toolbox) для включения или отключения подробной печати.
[1] Рен, С., К. Он, Р. Гирщик и Дж. Сан. «Более быстрое обнаружение объектов R-CNN: на пути к реальному времени с помощью региональных сетей предложений». Достижения в системах обработки нейронной информации. Том 28, 2015.
[2] Гиршик, Р. «Быстрый R-CNN». Материалы Международной конференции IEEE по компьютерному зрению, 1440-1448. Сантьяго, Чили: IEEE, 2015.
[3] Гиршик, Р., Дж. Донахью, Т. Даррелл и Дж. Малик. «Богатые иерархии элементов для точного обнаружения объектов и семантической сегментации». Материалы Конференции IEEE 2014 года по компьютерному зрению и распознаванию образов, 580-587. Колумбус, ОН: IEEE, 2014.
[4] Цитник, К. Л. и П. Доллар. «Поля ребер: поиск предложений объектов из ребер». Компьютерное зрение-ECCV 2014, 391-405. Цюрих, Швейцария: ECCV, 2014.
estimateAnchorBoxes | fasterRCNNLayers | objectDetectorTrainingData | trainFastRCNNObjectDetector | trainRCNNObjectDetector | trainingOptions (инструментарий для глубокого обучения)boxLabelDatastore | fasterRCNNObjectDetector | averagePooling2dLayer (инструментарий глубокого обучения) | Layer (инструментарий для глубокого обучения) | layerGraph (инструментарий для глубокого обучения) | maxPooling2dLayer (инструментарий для глубокого обучения) | SeriesNetwork (инструментарий для глубокого обучения)