trainRCNNObjectDetector
Обучите детектор объектов глубокого обучения R-CNN
Синтаксис
Описание
detector = trainRCNNObjectDetector(trainingData,network,options)
Эта реализация R-CNN не обучает классификатор SVM для каждого класса объекта.
Эта функция требует, чтобы у вас были Deep Learning Toolbox™ и Statistics and Machine Learning Toolbox™. Рекомендуется, чтобы у вас также был Parallel Computing Toolbox™, чтобы использовать с помощью графического процессора CUDA®-enabled NVIDIA® с, вычисляют возможность 3.0 или выше.
detector = trainRCNNObjectDetector(___,Name,Value)detector объект с дополнительными входными свойствами, заданными одним или несколькими Name,Value парные аргументы.
detector = trainRCNNObjectDetector(___,'RegionProposalFcn',proposalFcn)
Примеры
Обучите детектор знака Стоп R-CNN
Загрузите обучающие данные и слоя сети.
load('rcnnStopSigns.mat', 'stopSigns', 'layers')
Добавьте каталог образов в путь MATLAB.
imDir = fullfile(matlabroot, 'toolbox', 'vision', 'visiondata',... 'stopSignImages'); addpath(imDir);
Установите параметры сетевого обучения, чтобы использовать мини-пакет размером 32 для уменьшения использования памяти GPU. Понизьте InitialLearningRate, чтобы уменьшать скорость изменения сетевых параметров. Это выгодно при подстройке предварительно обученной сети и препятствует тому, чтобы сеть изменялась слишком быстро.
options = trainingOptions('sgdm', ... 'MiniBatchSize', 32, ... 'InitialLearnRate', 1e-6, ... 'MaxEpochs', 10);
Обучите детектор R-CNN. Обучение может занять несколько минут, чтобы завершиться.
rcnn = trainRCNNObjectDetector(stopSigns, layers, options, 'NegativeOverlapRange', [0 0.3]);
******************************************************************* Training an R-CNN Object Detector for the following object classes: * stopSign Step 1 of 3: Extracting region proposals from 27 training images...done. Step 2 of 3: Training a neural network to classify objects in training data... |=========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning| | | | (seconds) | Loss | Accuracy | Rate | |=========================================================================================| | 3 | 50 | 9.27 | 0.2895 | 96.88% | 0.000001 | | 5 | 100 | 14.77 | 0.2443 | 93.75% | 0.000001 | | 8 | 150 | 20.29 | 0.0013 | 100.00% | 0.000001 | | 10 | 200 | 25.94 | 0.1524 | 96.88% | 0.000001 | |=========================================================================================| Network training complete. Step 3 of 3: Training bounding box regression models for each object class...100.00%...done. R-CNN training complete. *******************************************************************
Протестируйте детектор R-CNN на тестовом изображении.
img = imread('stopSignTest.jpg'); [bbox, score, label] = detect(rcnn, img, 'MiniBatchSize', 32);
Отобразите самый сильный результат обнаружения.
[score, idx] = max(score); bbox = bbox(idx, :); annotation = sprintf('%s: (Confidence = %f)', label(idx), score); detectedImg = insertObjectAnnotation(img, 'rectangle', bbox, annotation); figure imshow(detectedImg)
Удалите каталог изображений из пути.
rmpath(imDir);
Возобновите обучение детектор объектов R-CNN
Возобновите обучение детектор объектов R-CNN с помощью дополнительных данных. Чтобы проиллюстрировать эту процедуру, половина достоверных данных будет использоваться, чтобы первоначально обучить детектор. Затем обучение возобновляется с помощью всех данных.
Загрузите обучающие данные и инициализируйте опции обучения.
load('rcnnStopSigns.mat', 'stopSigns', 'layers') stopSigns.imageFilename = fullfile(toolboxdir('vision'),'visiondata', ... stopSigns.imageFilename); options = trainingOptions('sgdm', ... 'MiniBatchSize', 32, ... 'InitialLearnRate', 1e-6, ... 'MaxEpochs', 10, ... 'Verbose', false);
Обучите детектор R-CNN с фрагментом основной истины.
rcnn = trainRCNNObjectDetector(stopSigns(1:10,:), layers, options, 'NegativeOverlapRange', [0 0.3]);
Получите обучившие сеть слои от детектора. Когда вы передаете в массиве слоев сети к trainRCNNObjectDetector, они использованы как есть, чтобы продолжить обучение.
network = rcnn.Network; layers = network.Layers;
Возобновите обучение с помощью всех обучающих данных.
rcnnFinal = trainRCNNObjectDetector(stopSigns, layers, options);
Создайте сеть для мультикласса обнаружение объектов R-CNN
Создайте детектор объектов R-CNN для двух классов объектов: собаки и кошки.
objectClasses = {'dogs','cats'};Сеть должна смочь классифицировать обе собаки, кошки и "фоновый" класс для того, чтобы быть обученной с помощью trainRCNNObjectDetector. В этом примере, единица добавляется чтобы включать фон.
numClassesPlusBackground = numel(objectClasses) + 1;
Итоговый полносвязный слой сети задает количество классов, которые может классифицировать сеть. Установите итоговый полносвязный слой иметь выходной размер, равный количеству классов плюс фоновый класс.
layers = [ ...
imageInputLayer([28 28 1])
convolution2dLayer(5,20)
fullyConnectedLayer(numClassesPlusBackground);
softmaxLayer()
classificationLayer()];Эти слоя сети могут теперь использоваться, чтобы обучить детектор 2D объекта класса R-CNN.
Используйте сохраненную сеть в детекторе объектов R-CNN
Создайте детектор объектов R-CNN и настройте его, чтобы использовать сохраненную сетевую контрольную точку. Сетевая контрольная точка сохранена каждая эпоха во время сетевого обучения когда trainingOptions Параметр 'CheckpointPath' устанавливается. Сетевые контрольные точки полезны в случае, если ваш сеанс обучения неожиданно завершает работу.
Загрузите обучающие данные знака Стоп.
load('rcnnStopSigns.mat','stopSigns','layers')
Добавьте полный путь в файлы изображений.
stopSigns.imageFilename = fullfile(toolboxdir('vision'),'visiondata', ... stopSigns.imageFilename);
Установите 'CheckpointPath' с помощью trainingOptions функция.
checkpointLocation = tempdir; options = trainingOptions('sgdm','Verbose',false, ... 'CheckpointPath',checkpointLocation);
Обучите детектор объектов R-CNN с несколькими изображениями.
rcnn = trainRCNNObjectDetector(stopSigns(1:3,:),layers,options);
Загрузите сохраненную сетевую контрольную точку.
wildcardFilePath = fullfile(checkpointLocation,'convnet_checkpoint__*.mat');
contents = dir(wildcardFilePath);
Загрузите одну из сетей контрольной точки.
filepath = fullfile(contents(1).folder,contents(1).name); checkpoint = load(filepath); checkpoint.net
ans =
SeriesNetwork with properties:
Layers: [15×1 nnet.cnn.layer.Layer]
Создайте новый детектор объектов R-CNN и настройте его, чтобы использовать сохраненную сеть.
rcnnCheckPoint = rcnnObjectDetector(); rcnnCheckPoint.RegionProposalFcn = @rcnnObjectDetector.proposeRegions;
Установите Сеть на сохраненную сетевую контрольную точку.
rcnnCheckPoint.Network = checkpoint.net
rcnnCheckPoint =
rcnnObjectDetector with properties:
Network: [1×1 SeriesNetwork]
ClassNames: {'stopSign' 'Background'}
RegionProposalFcn: @rcnnObjectDetector.proposeRegions
Входные параметры
trainingData — Помеченные изображения основной истины
таблица
Помеченная основная истина отображает в виде таблицы с двумя или больше столбцами.
Если вы используете таблицу, таблица должна иметь два или больше столбца. Первый столбец таблицы должен содержать имена файла образа с путями. Изображения должны быть полутоновым или истинным цветом (RGB), и они могут быть в любом формате, поддержанном imread. Каждый из остальных столбцов должен быть вектором ячейки, который содержит M-by-4 матрицы, которые представляют класс отдельного объекта, такой как vehicle, flower или stop sign. Столбцы содержат двойные массивы с 4 элементами ограничительных рамок M в формате [x, y, width, height]. Формат задает местоположение верхнего левого угла и размер ограничительной рамки в соответствующем изображении. Чтобы составить таблицу основной истины, можно использовать приложение Image Labeler или приложение Video Labeler. Чтобы составить таблицу обучающих данных от сгенерированной основной истины, используйте objectDetectorTrainingData функция.
Имя табличной переменной задает имя класса объекта. Чтобы составить таблицу основной истины, используйте приложение Image Labeler. Поля, меньшие, чем 32 32, не используются в обучении.
network — Сеть
SeriesNetwork возразите | массив Layer объекты | LayerGraph возразите | сетевое имя
Сеть в виде SeriesNetwork, массив Layer объекты, layerGraph объект, или сетевым именем. Сеть обучена, чтобы классифицировать классы объектов, заданные на trainingData таблица. SeriesNetwork, Layer, и layerGraph объекты доступны в Deep Learning Toolbox.
Когда вы задаете сеть как
SeriesNetwork, массивLayerобъекты, или сетевым именем, сеть автоматически преобразовывается в сеть R-CNN путем добавления новой классификации и слоев регрессии, чтобы поддержать обнаружение объектов.Массив
Layerобъекты должны содержать слой классификации, который поддерживает количество классов объектов плюс фоновый класс. Используйте этот входной тип, чтобы настроить скорости обучения каждого слоя. Пример массиваLayerобъекты:layers = [imageInputLayer([28 28 3]) convolution2dLayer([5 5],10) reluLayer() fullyConnectedLayer(10) softmaxLayer() classificationLayer()];Когда вы задаете сеть как
SeriesNetwork,Layerмассив, или сеть по наименованию, веса для свертки и полносвязных слоев инициализируются к'narrow-normal'.Сетевое имя должно быть одним из следующих допустимых имен сетей. Необходимо также установить соответствующее Дополнение.
LayerGraphобъект должен быть допустимой сетью обнаружения объектов R-CNN. Можно также использоватьLayerGraphобъект обучить пользовательскую сеть R-CNN.
Смотрите Начало работы с R-CNN, Быстрым R-CNN и Faster R-CNN, чтобы узнать больше, как создать сеть R-CNN.
options — Опции обучения
traingingOptions вывод
Опции обучения, возвращенные trainingOptions функция от Deep Learning Toolbox. Чтобы задать решатель и другие опции для сетевого обучения, используйте trainingOptions.
Примечание
trainRCNNObjectDetector не поддерживает эти опции обучения:
Plotsзначение:'training-progress'ValidationData,ValidationFrequency, илиValidationPatienceопцииOutputFcnопция.
Аргументы в виде пар имя-значение
Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.
'PositiveOverlapRange',[0.5 1]Выходные аргументы
Ограничения
Эта реализация R-CNN не обучает классификатор SVM для каждого класса объекта.
Советы
Ускорять предварительную обработку данных для обучения,
trainRCNNObjectDetectorавтоматически создает и использует параллельный пул на основе ваших параметров параллельных предпочтений. Это требует Parallel Computing Toolbox.VGG-16, VGG-19, ResNet-101 и Inception-ResNet-v2 являются большими моделями. Обучение с большими изображениями может произвести ошибки "Out of Memory". Чтобы уменьшить эти ошибки, вручную измените размер изображений наряду с достоверными данными ограничительной рамки прежде, чем вызвать
trainRCNNObjectDetector.Эта функция поддерживает передачу обучения. Когда сеть вводится по наименованию, такие как
'resnet50', затем программное обеспечение автоматически преобразовывает сеть в допустимую сетевую модель R-CNN на основе предварительно обученногоresnet50модель. В качестве альтернативы вручную задайте пользовательскую сеть R-CNN с помощьюLayerGraphизвлеченный из предварительно обученной сети DAG. Смотрите Создают Сеть Обнаружения объектов R-CNN.Используйте
trainingOptionsфункция, чтобы включить или отключить многословную печать.
Ссылки
[1] Girshick, R., Дж. Донахью, Т. Даррелл и Дж. Малик. “Богатые Иерархии Функции для Точного Обнаружения объектов и Семантической Сегментации”. Продолжения Конференции по IEEE по Компьютерному зрению и Распознаванию образов. 2014, стр 580–587.
[2] Girshick, R. “Быстрый R-CNN”. Продолжения Международной конференции IEEE по вопросам Компьютерного зрения. 2015, стр 1440–1448.
[3] Zitnick, К. Лоуренс и П. Доллэр. “Поля ребра: Определение местоположения Объектных Предложений от Ребер”. Компьютерное-зрение-ECCV, Springer International Publishing. 2014, стр 391–405.
Расширенные возможности
Смотрите также
Приложения
Функции
objectDetectorTrainingData|trainFastRCNNObjectDetector|trainFasterRCNNObjectDetector|trainYOLOv2ObjectDetector|trainingOptions