В этом примере показано, как изменить предварительно обученную ResNet-50 сеть в сеть обнаружения объектов R-CNN. Сеть, созданная в этом примере, может быть обучена с помощью trainRCNNObjectDetector.
% Load pretrained ResNet-50. net = resnet50(); % Convert network into a layer graph object to manipulate the layers. lgraph = layerGraph(net);
Процедура преобразования сети в сеть R-CNN аналогична рабочему процессу передачи обучения для классификации изображений. Последние 3 слоя классификации вы заменяете новыми слоями, которые могут поддерживать количество классов объектов, которые вы хотите обнаружить, плюс фоновый класс.
В ResNet-50 последние три слоя имеют имена fc1000, fc1000_softmax и ClassificationLayer_fc1000. Отображение сети и изменение масштаба изменяемого участка сети.
figure plot(lgraph) ylim([-5 16])
% Remove the last 3 layers. layersToRemove = { 'fc1000' 'fc1000_softmax' 'ClassificationLayer_fc1000' }; lgraph = removeLayers(lgraph, layersToRemove); % Display the results after removing the layers. figure plot(lgraph) ylim([-5 16])
Добавьте новые слои классификации в сеть. Слои настройки классифицировать количество объектов, которые сеть должна обнаружить плюс дополнительный фоновый класс. Во время обнаружения сеть обрабатывает обрезанные области изображений и классифицирует их как принадлежащие одному из классов объектов или фона.
% Specify the number of classes the network should classify. numClassesPlusBackground = 2 + 1; % Define new classfication layers newLayers = [ fullyConnectedLayer(numClassesPlusBackground, 'Name', 'rcnnFC') softmaxLayer('Name', 'rcnnSoftmax') classificationLayer('Name', 'rcnnClassification') ]; % Add new layers lgraph = addLayers(lgraph, newLayers); % Connect the new layers to the network. lgraph = connectLayers(lgraph, 'avg_pool', 'rcnnFC'); % Display the final R-CNN network. This can be trained using trainRCNNObjectDetector. figure plot(lgraph) ylim([-5 16])
Этот пример основан на примере Create R-CNN Object Detection Network выше. Он преобразует предварительно обученную ResNet-50 сеть в сеть обнаружения объектов Fast R-CNN . путем добавления слоя объединения ROI и слоя регрессии ограниченного прямоугольника. Сеть Fast R-CNN затем может быть обучена с помощью trainFastRCNNObjectDetector.
Создайте сеть R-CNN
Начните с создания сети R-CNN, которая формирует базис Fast R-CNN. Пример Create R-CNN Object Detection Network подробно объясняет этот раздел кода.
% Load pretrained ResNet-50. net = resnet50; lgraph = layerGraph(net); % Remove the the last 3 layers from ResNet-50. layersToRemove = { 'fc1000' 'fc1000_softmax' 'ClassificationLayer_fc1000' }; lgraph = removeLayers(lgraph, layersToRemove); % Specify the number of classes the network should classify. numClasses = 2; numClassesPlusBackground = numClasses + 1; % Define new classification layers. newLayers = [ fullyConnectedLayer(numClassesPlusBackground, 'Name', 'rcnnFC') softmaxLayer('Name', 'rcnnSoftmax') classificationLayer('Name', 'rcnnClassification') ]; % Add new layers. lgraph = addLayers(lgraph, newLayers); % Connect the new layers to the network. lgraph = connectLayers(lgraph, 'avg_pool', 'rcnnFC');
Добавьте слой регрессии ограничивающего прямоугольника
Добавьте слой прямоугольной регрессии, чтобы узнать набор смещений коробки для применения к полям предложения области. Выученные смещения преобразуют поля предложения области так, чтобы они были ближе к исходному ограничивающей основной истине. Это преобразование помогает улучшить эффективность локализации Fast R-CNN.
Слои регрессии коробки состоят из полносвязного слоя, за которым следует слой регрессии коробки R-CNN. Этот полносвязный слой сконфигурирован для вывода набора из 4 прямоугольных смещений для каждого класса. Фоновый класс исключен, поскольку ограничительные рамки фона не уточнены.
% Define the number of outputs of the fully connected layer. numOutputs = 4 * numClasses; % Create the box regression layers. boxRegressionLayers = [ fullyConnectedLayer(numOutputs,'Name','rcnnBoxFC') rcnnBoxRegressionLayer('Name','rcnnBoxDeltas') ]; % Add the layers to the network lgraph = addLayers(lgraph, boxRegressionLayers);
Прямоугольные регрессионные слои обычно соединяются с тем же слоем, с которым связана классификационная ветвь.
% Connect the regression layers to the layer named 'avg_pool'. lgraph = connectLayers(lgraph,'avg_pool','rcnnBoxFC'); % Display the classification and regression branches of Fast R-CNN. figure plot(lgraph) ylim([-5 16])
Добавление информации только для чтения Max слоя объединения
Следующим шагом является выбор слоя в сети, который будет использоваться в качестве слоя редукции данных. Этот слой будет подключен к максимальному слою объединения ROI, который будет объединять функции для классификации объединенных областей. Выбор слоя редукции данных требует эмпирической оценки. Для ResNet-50 типичным слоем редукции данных является выход 4-го блока сверток, который соответствует слою с именем activation40_relu.
featureExtractionLayer = 'activation_40_relu';
figure
plot(lgraph)
ylim([30 42])
В порядок вставки слоя max информации только для чтения сначала отсоедините слои, присоединенные к слою редукции данных: res5a_branch2a и res5a_branch1.
% Disconnect the layers attached to the selected feature extraction layer. lgraph = disconnectLayers(lgraph, featureExtractionLayer,'res5a_branch2a'); lgraph = disconnectLayers(lgraph, featureExtractionLayer,'res5a_branch1'); % Add ROI max pooling layer. outputSize = [14 14]
outputSize = 1×2
14 14
roiPool = roiMaxPooling2dLayer(outputSize,'Name','roiPool'); lgraph = addLayers(lgraph, roiPool); % Connect feature extraction layer to ROI max pooling layer. lgraph = connectLayers(lgraph, 'activation_40_relu','roiPool/in'); % Connect the output of ROI max pool to the disconnected layers from above. lgraph = connectLayers(lgraph, 'roiPool','res5a_branch2a'); lgraph = connectLayers(lgraph, 'roiPool','res5a_branch1'); % Show the result after adding and connecting the ROI max pooling layer. figure plot(lgraph) ylim([30 42])
Наконец, соедините входной слой информация только для чтения со вторым входом максимального слоя информация только для чтения.
% Add ROI input layer. roiInput = roiInputLayer('Name','roiInput'); lgraph = addLayers(lgraph, roiInput); % Connect ROI input layer to the 'roi' input of the ROI max pooling layer. lgraph = connectLayers(lgraph, 'roiInput','roiPool/roi'); % Show the resulting faster adding and connecting the ROI input layer. figure plot(lgraph) ylim([30 42])
Сеть готова к обучению с помощью trainFastRCNNObjectDetector.
Этот пример основан на примере Create Сети обнаружения объектов Fast R-CNN . выше. Он преобразует предварительно обученную ResNet-50 сеть в сеть обнаружения объектов Faster R-CNN путем добавления слоя объединения ROI, слоя регрессии ограничивающего прямоугольника и сети предложения области (RPN). Сеть Faster R-CNN затем может быть обучена с помощью trainFasterRCNNObjectDetector.
Создайте сеть Fast R-CNN
Начните, создав Fast R-CNN, который формирует базис Faster R-CNN. Пример Create Fast R-CNN Object Detection Network подробно объясняет этот раздел кода.
% Load a pretrained ResNet-50. net = resnet50; lgraph = layerGraph(net); % Remove the last 3 layers. layersToRemove = { 'fc1000' 'fc1000_softmax' 'ClassificationLayer_fc1000' }; lgraph = removeLayers(lgraph, layersToRemove); % Specify the number of classes the network should classify. numClasses = 2; numClassesPlusBackground = numClasses + 1; % Define new classification layers. newLayers = [ fullyConnectedLayer(numClassesPlusBackground, 'Name', 'rcnnFC') softmaxLayer('Name', 'rcnnSoftmax') classificationLayer('Name', 'rcnnClassification') ]; % Add new object classification layers. lgraph = addLayers(lgraph, newLayers); % Connect the new layers to the network. lgraph = connectLayers(lgraph, 'avg_pool', 'rcnnFC'); % Define the number of outputs of the fully connected layer. numOutputs = 4 * numClasses; % Create the box regression layers. boxRegressionLayers = [ fullyConnectedLayer(numOutputs,'Name','rcnnBoxFC') rcnnBoxRegressionLayer('Name','rcnnBoxDeltas') ]; % Add the layers to the network. lgraph = addLayers(lgraph, boxRegressionLayers); % Connect the regression layers to the layer named 'avg_pool'. lgraph = connectLayers(lgraph,'avg_pool','rcnnBoxFC'); % Select a feature extraction layer. featureExtractionLayer = 'activation_40_relu'; % Disconnect the layers attached to the selected feature extraction layer. lgraph = disconnectLayers(lgraph, featureExtractionLayer,'res5a_branch2a'); lgraph = disconnectLayers(lgraph, featureExtractionLayer,'res5a_branch1'); % Add ROI max pooling layer. outputSize = [14 14]; roiPool = roiMaxPooling2dLayer(outputSize,'Name','roiPool'); lgraph = addLayers(lgraph, roiPool); % Connect feature extraction layer to ROI max pooling layer. lgraph = connectLayers(lgraph, featureExtractionLayer,'roiPool/in'); % Connect the output of ROI max pool to the disconnected layers from above. lgraph = connectLayers(lgraph, 'roiPool','res5a_branch2a'); lgraph = connectLayers(lgraph, 'roiPool','res5a_branch1');
Добавление сети предложений по областям (RPN)
Faster R-CNN использует сеть предложений областей (RPN), чтобы генерировать предложения областей. RPN создает предложения областей путем предсказания класса, «объекта» или «фона» и смещения прямоугольника для набора предопределенных ограничивающих шаблонов прямоугольника, известных как «якорные коробки». Анкерные коробки заданы путем предоставления их размера, который обычно определяется на основе априорного знания шкалы и соотношения сторон объектов в обучающем наборе данных.
Дополнительные сведения о якорных коробках для обнаружения объектов.
Определите анкерные рамки и создайте regionProposalLayer.
% Define anchor boxes. anchorBoxes = [ 16 16 32 16 16 32 ]; % Create the region proposal layer. proposalLayer = regionProposalLayer(anchorBoxes,'Name','regionProposal'); lgraph = addLayers(lgraph, proposalLayer);
Добавьте слои свертки для RPN и соедините его с слоем редукции данных, выбранным выше.
% Number of anchor boxes. numAnchors = size(anchorBoxes,1); % Number of feature maps in coming out of the feature extraction layer. numFilters = 1024; rpnLayers = [ convolution2dLayer(3, numFilters,'padding',[1 1],'Name','rpnConv3x3') reluLayer('Name','rpnRelu') ]; lgraph = addLayers(lgraph, rpnLayers); % Connect to RPN to feature extraction layer. lgraph = connectLayers(lgraph, featureExtractionLayer, 'rpnConv3x3');
Добавьте выходные слои классификации RPN. Слой классификации классифицирует каждый якорь как «объект» или «фон».
% Add RPN classification layers. rpnClsLayers = [ convolution2dLayer(1, numAnchors*2,'Name', 'rpnConv1x1ClsScores') rpnSoftmaxLayer('Name', 'rpnSoftmax') rpnClassificationLayer('Name','rpnClassification') ]; lgraph = addLayers(lgraph, rpnClsLayers); % Connect the classification layers to the RPN network. lgraph = connectLayers(lgraph, 'rpnRelu', 'rpnConv1x1ClsScores');
Добавьте выходные слои регрессии RPN. Слой регрессии предсказывает смещение 4 коробки для каждого якорного ящика.
% Add RPN regression layers. rpnRegLayers = [ convolution2dLayer(1, numAnchors*4, 'Name', 'rpnConv1x1BoxDeltas') rcnnBoxRegressionLayer('Name', 'rpnBoxDeltas'); ]; lgraph = addLayers(lgraph, rpnRegLayers); % Connect the regression layers to the RPN network. lgraph = connectLayers(lgraph, 'rpnRelu', 'rpnConv1x1BoxDeltas');
Наконец, соедините карты функций классификации и регрессии с входами уровня предложения области, и слой объединения ROI с выходом уровня предложения области.
% Connect region proposal network. lgraph = connectLayers(lgraph, 'rpnConv1x1ClsScores', 'regionProposal/scores'); lgraph = connectLayers(lgraph, 'rpnConv1x1BoxDeltas', 'regionProposal/boxDeltas'); % Connect region proposal layer to roi pooling. lgraph = connectLayers(lgraph, 'regionProposal', 'roiPool/roi'); % Show the network after adding the RPN layers. figure plot(lgraph) ylim([30 42])
Сеть готова к обучению с помощью trainFasterRCNNObjectDetector.