Datastore для сетей семантической сегментации
Использование pixelLabelImageDatastore создать datastore для обучения сеть семантической сегментации использование глубокого обучения.
pximds = pixelLabelImageDatastore(gTruth)groundTruth объект или массив groundTruth объекты. Используйте выход pixelLabelImageDatastore объект с функцией Deep Learning Toolbox™ trainNetwork (Deep Learning Toolbox), чтобы обучить сверточные нейронные сети семантической сегментации.
pximds = pixelLabelImageDatastore(imds,pxds)imds ImageDatastore объект, который представляет учебный вход сети. pxds PixelLabelDatastore объект, который представляет необходимый сетевой выход.
pximds = pixelLabelImageDatastore(___,Name,Value)DispatchInBackground и OutputSizeMode свойства. Для 2D данных можно также использовать пары "имя-значение", чтобы задать ColorPreprocessing, DataAugmentation, и OutputSize свойства увеличения. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в кавычки.
Например, pixelLabelImageDatastore(gTruth,'PatchesPerImage',40) создает пиксельный datastore метки изображений, который случайным образом генерирует 40 закрашенных фигур от каждого объекта основной истины в gTruth.
combine | Объедините данные от нескольких datastores |
countEachLabel | Считайте вхождение меток поля или пикселя |
hasdata | Определите, доступны ли данные для чтения |
partitionByIndex | Раздел pixelLabelImageDatastore согласно индексам |
preview | Подмножество предварительного просмотра данных в datastore |
read | Считайте данные из datastore |
readall | Считывайте все данные в datastore |
readByIndex | Считайте данные, заданные индексом от pixelLabelImageDatastore |
reset | Сброс Datastore к начальному состоянию |
shuffle | Возвратите переставленную версию datastore |
transform | Преобразуйте datastore |
Загрузите обучающие данные.
dataSetDir = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageDir = fullfile(dataSetDir,'trainingImages'); labelDir = fullfile(dataSetDir,'trainingLabels');
Создайте datastore изображений для изображений.
imds = imageDatastore(imageDir);
Создайте pixelLabelDatastore для пиксельных меток основной истины.
classNames = ["triangle","background"]; labelIDs = [255 0]; pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);
Визуализируйте учебные изображения и пиксельные метки основной истины.
I = read(imds);
C = read(pxds);
I = imresize(I,5);
L = imresize(uint8(C{1}),5);
imshowpair(I,L,'montage')
Создайте сеть семантической сегментации. Эта сеть использует простую сеть семантической сегментации на основе субдискретизации и повышающей дискретизации проекта.
numFilters = 64;
filterSize = 3;
numClasses = 2;
layers = [
imageInputLayer([32 32 1])
convolution2dLayer(filterSize,numFilters,'Padding',1)
reluLayer()
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(filterSize,numFilters,'Padding',1)
reluLayer()
transposedConv2dLayer(4,numFilters,'Stride',2,'Cropping',1);
convolution2dLayer(1,numClasses);
softmaxLayer()
pixelClassificationLayer()
];Опции обучения Setup.
opts = trainingOptions('sgdm', ... 'InitialLearnRate',1e-3, ... 'MaxEpochs',100, ... 'MiniBatchSize',64);
Объедините изображение и пиксельный datastore метки для обучения.
trainingData = combine(imds,pxds);
Обучите сеть.
net = trainNetwork(trainingData,layers,opts);
Training on single CPU. Initializing input data normalization. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:00 | 58.11% | 1.3458 | 0.0010 | | 17 | 50 | 00:00:12 | 97.30% | 0.0924 | 0.0010 | | 34 | 100 | 00:00:24 | 98.09% | 0.0575 | 0.0010 | | 50 | 150 | 00:00:37 | 98.56% | 0.0424 | 0.0010 | | 67 | 200 | 00:00:49 | 98.48% | 0.0435 | 0.0010 | | 84 | 250 | 00:01:02 | 98.66% | 0.0363 | 0.0010 | | 100 | 300 | 00:01:14 | 98.90% | 0.0310 | 0.0010 | |========================================================================================| Training finished: Reached final iteration.
Считайте и отобразите тестовое изображение.
testImage = imread('triangleTest.jpg');
imshow(testImage)
Сегментируйте тестовое изображение и отобразите результаты.
C = semanticseg(testImage,net); B = labeloverlay(testImage,C); imshow(B)
Сконфигурируйте пиксельный datastore метки изображений, чтобы увеличить данные в то время как обучение.
Загрузите учебные изображения и пиксельные метки.
dataSetDir = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageDir = fullfile(dataSetDir,'trainingImages'); labelDir = fullfile(dataSetDir,'trainingLabels');
Создайте imageDatastore возразите, чтобы содержать учебные изображения.
imds = imageDatastore(imageDir);
Задайте имена классов и их связанную метку IDs.
classNames = ["triangle","background"]; labelIDs = [255 0];
Создайте pixelLabelDatastore возразите, чтобы содержать пиксельные метки основной истины для учебных изображений.
pxds = pixelLabelDatastore(labelDir, classNames, labelIDs);
Создайте imageDataAugmenter возразите, чтобы случайным образом вращаться и данные о зеркальном отображении.
augmenter = imageDataAugmenter('RandRotation',[-10 10],'RandXReflection',true)
augmenter =
imageDataAugmenter with properties:
FillValue: 0
RandXReflection: 1
RandYReflection: 0
RandRotation: [-10 10]
RandScale: [1 1]
RandXScale: [1 1]
RandYScale: [1 1]
RandXShear: [0 0]
RandYShear: [0 0]
RandXTranslation: [0 0]
RandYTranslation: [0 0]
Создайте pixelLabelImageDatastore объект обучить сеть с увеличенными данными.
plimds = pixelLabelImageDatastore(imds,pxds,'DataAugmentation',augmenter)plimds =
pixelLabelImageDatastore with properties:
Images: {200x1 cell}
PixelLabelData: {200x1 cell}
ClassNames: {2x1 cell}
DataAugmentation: [1x1 imageDataAugmenter]
ColorPreprocessing: 'none'
OutputSize: []
OutputSizeMode: 'resize'
MiniBatchSize: 1
NumObservations: 200
DispatchInBackground: 0
Обучите сеть семантической сегментации с помощью расширенных сверток.
Семантическая сеть сегментации классифицирует каждый пиксель в изображении, получая к изображение, которое сегментировано по классам. Приложения для семантической сегментации включают сегментацию дорог для автономного управления автомобилем и сегментацию раковой клетки для медицинского диагностирования. Чтобы узнать больше, смотрите Начало работы с Семантической Сегментацией Используя Глубокое обучение.
Сети семантической сегментации как DeepLab [1] делают широкое применение расширенных сверток (также известный atrous свертки), потому что они могут увеличить восприимчивое поле слоя (область входа, который слои видят), не увеличивая число параметров или расчетов.
Загрузите обучающие данные
Пример использует простой набор данных 32 32 треугольных изображений в целях рисунка. Набор данных включает сопроводительные пиксельные достоверные данные метки. Загрузите обучающие данные с помощью imageDatastore и pixelLabelDatastore.
dataFolder = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageFolderTrain = fullfile(dataFolder,'trainingImages'); labelFolderTrain = fullfile(dataFolder,'trainingLabels');
Создайте imageDatastore для изображений.
imdsTrain = imageDatastore(imageFolderTrain);
Создайте pixelLabelDatastore для пиксельных меток основной истины.
classNames = ["triangle" "background"]; labels = [255 0]; pxdsTrain = pixelLabelDatastore(labelFolderTrain,classNames,labels)
pxdsTrain =
PixelLabelDatastore with properties:
Files: {200x1 cell}
ClassNames: {2x1 cell}
ReadSize: 1
ReadFcn: @readDatastoreImage
AlternateFileSystemRoots: {}
Создайте сеть Семантической Сегментации
Этот пример использует простую сеть семантической сегментации на основе расширенных сверток.
Создайте источник данных для обучающих данных и получите количество пикселей для каждой метки.
ds = combine(imdsTrain,pxdsTrain); tbl = countEachLabel(pxdsTrain)
tbl=2×3 table
Name PixelCount ImagePixelCount
______________ __________ _______________
{'triangle' } 10326 2.048e+05
{'background'} 1.9447e+05 2.048e+05
Большинство меток пикселей предназначены для фона. Этот классовый дисбаланс смещает процесс обучения в пользу доминирующего класса. Чтобы исправить это, используйте взвешивание классов для балансировки классов. Для вычисления весов классов можно использовать несколько методов. Одним из распространенных методов является обратное взвешивание частот, где веса классов являются обратными частотам классов. Этот метод увеличивает вес, придаваемый недостаточно представленным классам. Вычислите веса классов, используя обратное частотное взвешивание.
numberPixels = sum(tbl.PixelCount); frequency = tbl.PixelCount / numberPixels; classWeights = 1 ./ frequency;
Создайте сеть для классификации пикселей при помощи входного слоя изображений с входным размером, соответствующим размеру входных изображений. Затем задайте три блока свертки, нормализации партии. и слоев ReLU. Для каждого сверточного слоя задайте 32 3х3 фильтра с увеличивающимися коэффициентами расширения и заполните входные параметры, таким образом, они одного размера с выходными параметрами путем установки 'Padding' опция к 'same'. Чтобы классифицировать пиксели, включайте сверточный слой с K свертки 1 на 1, где K является количеством классов, сопровождаемых softmax слоем и pixelClassificationLayer с обратными весами класса.
inputSize = [32 32 1];
filterSize = 3;
numFilters = 32;
numClasses = numel(classNames);
layers = [
imageInputLayer(inputSize)
convolution2dLayer(filterSize,numFilters,'DilationFactor',1,'Padding','same')
batchNormalizationLayer
reluLayer
convolution2dLayer(filterSize,numFilters,'DilationFactor',2,'Padding','same')
batchNormalizationLayer
reluLayer
convolution2dLayer(filterSize,numFilters,'DilationFactor',4,'Padding','same')
batchNormalizationLayer
reluLayer
convolution2dLayer(1,numClasses)
softmaxLayer
pixelClassificationLayer('Classes',classNames,'ClassWeights',classWeights)];Обучение сети
Задайте опции обучения.
options = trainingOptions('sgdm', ... 'MaxEpochs', 100, ... 'MiniBatchSize', 64, ... 'InitialLearnRate', 1e-3);
Обучите сеть с помощью trainNetwork.
net = trainNetwork(ds,layers,options);
Training on single CPU. Initializing input data normalization. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:00 | 91.62% | 1.6825 | 0.0010 | | 17 | 50 | 00:00:10 | 88.56% | 0.2393 | 0.0010 | | 34 | 100 | 00:00:20 | 92.08% | 0.1672 | 0.0010 | | 50 | 150 | 00:00:30 | 93.17% | 0.1472 | 0.0010 | | 67 | 200 | 00:00:40 | 94.15% | 0.1313 | 0.0010 | | 84 | 250 | 00:00:50 | 94.47% | 0.1167 | 0.0010 | | 100 | 300 | 00:01:00 | 95.04% | 0.1100 | 0.0010 | |========================================================================================| Training finished: Max epochs completed.
Тестирование сети
Загрузите тестовые данные. Создайте imageDatastore для изображений. Создайте pixelLabelDatastore для пиксельных меток основной истины.
imageFolderTest = fullfile(dataFolder,'testImages'); imdsTest = imageDatastore(imageFolderTest); labelFolderTest = fullfile(dataFolder,'testLabels'); pxdsTest = pixelLabelDatastore(labelFolderTest,classNames,labels);
Сделайте предсказания с помощью тестовых данных, и обучил сеть.
pxdsPred = semanticseg(imdsTest,net,'MiniBatchSize',32,'WriteLocation',tempdir);
Running semantic segmentation network ------------------------------------- * Processed 100 images.
Оцените точность предсказания с помощью evaluateSemanticSegmentation.
metrics = evaluateSemanticSegmentation(pxdsPred,pxdsTest);
Evaluating semantic segmentation results
----------------------------------------
* Selected metrics: global accuracy, class accuracy, IoU, weighted IoU, BF score.
* Processed 100 images.
* Finalizing... Done.
* Data set metrics:
GlobalAccuracy MeanAccuracy MeanIoU WeightedIoU MeanBFScore
______________ ____________ _______ ___________ ___________
0.95237 0.97352 0.72081 0.92889 0.46416
Для получения дополнительной информации об оценке сетей семантической сегментации смотрите evaluateSemanticSegmentation.
Сегмент новое изображение
Считывание и отображение тестового изображения triangleTest.jpg.
imgTest = imread('triangleTest.jpg');
figure
imshow(imgTest)
Сегментируйте тестовое изображение с помощью semanticseg и отобразите результаты с помощью labeloverlay.
C = semanticseg(imgTest,net); B = labeloverlay(imgTest,C); figure imshow(B)
pixelLabelDatastore
pxds и imageDatastore
imds храните файлы, которые расположены в папке в лексикографическом порядке. Например, если у вас есть двенадцать файлов с именем 'file1.jpg', 'file2.jpg', …, 'file11.jpg', и 'file12.jpg', затем файлы хранятся в этом порядке:
'file1.jpg''file10.jpg''file11.jpg''file12.jpg''file2.jpg''file3.jpg'...'file9.jpg'
Если порядок файлов в pxds и imds различные, затем можно столкнуться с несоответствием, когда вы читаете изображение основной истины и соответствующие данные о метке с помощью pixelLabelImageDatastore. Если это происходит, то переименуйте пиксельные файлы метки так, чтобы у них был правильный порядок. Например, переименуйте 'file1.jpg', …, 'file9.jpg' к 'file01.jpg', …, 'file09.jpg'.
Извлекать данные о семантической сегментации из groundTruth объект, сгенерированный Video Labeler, используйте pixelLabelTrainingData функция.
trainNetwork (Deep Learning Toolbox)