Создание уровней U-Net для семантической сегментации
lgraph = unetLayers(imageSize,numClasses)unetLayers включает в себя слой классификации пикселей в сети для прогнозирования категориальной метки для каждого пикселя во входном изображении.
Использовать unetLayers для создания архитектуры сети U-Net. Необходимо обучить сеть с помощью функции Deep Learning Toolbox™ trainNetwork (инструментарий глубокого обучения).
[ также возвращает размер выходного сигнала из сети U-Net.lgraph,outputSize] = unetLayers(imageSize,numClasses)
___ = unetLayers( указывает параметры, использующие один или несколько аргументов пары имя-значение. Заключите каждое имя свойства в кавычки. Например, imageSize,numClasses,Name,Value)unetLayers(imageSize,numClasses,'NumFirstEncoderFilters',64) дополнительно устанавливает количество выходных каналов в 64 для первой ступени кодера.
Создайте сеть U-Net с глубиной кодера-декодера 3.
imageSize = [480 640 3];
numClasses = 5;
encoderDepth = 3;
lgraph = unetLayers(imageSize,numClasses,'EncoderDepth',encoderDepth)lgraph =
LayerGraph with properties:
Layers: [46x1 nnet.cnn.layer.Layer]
Connections: [48x2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Отображение сети.
plot(lgraph)
Загрузите учебные изображения и пиксельные метки в рабочее пространство.
dataSetDir = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageDir = fullfile(dataSetDir,'trainingImages'); labelDir = fullfile(dataSetDir,'trainingLabels');
Создание imageDatastore объект для хранения обучающих изображений.
imds = imageDatastore(imageDir);
Определите имена классов и связанные с ними идентификаторы меток.
classNames = ["triangle","background"]; labelIDs = [255 0];
Создать pixelLabelDatastore объект для хранения меток пикселей истинности земли для обучающих изображений.
pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);
Создайте сеть U-Net.
imageSize = [32 32]; numClasses = 2; lgraph = unetLayers(imageSize, numClasses)
lgraph =
LayerGraph with properties:
Layers: [58×1 nnet.cnn.layer.Layer]
Connections: [61×2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Создайте хранилище данных для обучения сети.
ds = combine(imds,pxds);
Настройка параметров обучения.
options = trainingOptions('sgdm', ... 'InitialLearnRate',1e-3, ... 'MaxEpochs',20, ... 'VerboseFrequency',10);
Обучение сети.
net = trainNetwork(ds,lgraph,options)
Training on single CPU. Initializing input data normalization. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:04 | 75.57% | 2.4341 | 0.0010 | | 10 | 10 | 00:00:36 | 96.02% | 0.4517 | 0.0010 | | 20 | 20 | 00:01:13 | 97.62% | 0.2324 | 0.0010 | |========================================================================================|
net =
DAGNetwork with properties:
Layers: [58×1 nnet.cnn.layer.Layer]
Connections: [61×2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Использовать 'same' заполнение в слоях свертки для поддержания одного и того же размера данных от входа к выходу и обеспечения возможности использования широкого набора размеров входного изображения.
Используйте подходы на основе патчей для прозрачной сегментации больших изображений. Вы можете извлечь исправления изображений с помощью randomPatchExtractionDatastore функция в Toolbox™ обработки изображений.
Использовать 'valid' заполнение для предотвращения артефактов границ при использовании подходов на основе исправлений для сегментации.
Можно использовать сеть, созданную с помощью unetLayers функция для генерации кода GPU после обучения с trainNetwork (инструментарий глубокого обучения). Дополнительные сведения и примеры см. в разделе Создание кода глубокого обучения (панель инструментов глубокого обучения).
[1] Ronneberger, O., П. Фишер и Т. Брокс. «U-Net: сверточные сети для сегментации биомедицинских изображений». Вычисления медицинских изображений и компьютерное вмешательство (MICCAI). Том 9351, 2015, стр. 234-241.
[2] Он, К., X. Zhang, С. Рен и Дж. Сун. «Углубляясь в выпрямители: превосходя показатели на уровне человека по классификации ImageNet». Материалы Международной конференции IEEE по компьютерному зрению. 2015, 1026–1034.
pixelClassificationLayer | DAGNetwork (инструментарий глубокого обучения) | layerGraph (инструментарий для глубокого обучения)deeplabv3plusLayers | evaluateSemanticSegmentation | fcnLayers | segnetLayers | semanticseg | trainNetwork (инструментарий для глубокого обучения)