Создайте слои U-Net для семантической сегментации
lgraph = unetLayers(imageSize,numClasses)unetLayers включает слой классификации пикселей в сети для предсказания категориальной метки для каждого пикселя в вход изображении.
Использовать unetLayers для создания сетевой архитектуры U-Net. Необходимо обучить сеть с помощью функции Deep Learning Toolbox™ trainNetwork (Deep Learning Toolbox).
[ также возвращает размер выходного размера сети U-Net.lgraph,outputSize] = unetLayers(imageSize,numClasses)
___ = unetLayers( задает опции, используя один или несколько аргументы пары "имя-значение". Заключайте каждое имя свойства в кавычки. Для примера, imageSize,numClasses,Name,Value)unetLayers(imageSize,numClasses,'NumFirstEncoderFilters',64) дополнительно устанавливает количество выхода каналов равным 64 для первого этапа энкодера.
Создайте сеть U-Net с глубиной кодера-декодера 3.
imageSize = [480 640 3];
numClasses = 5;
encoderDepth = 3;
lgraph = unetLayers(imageSize,numClasses,'EncoderDepth',encoderDepth)lgraph =
LayerGraph with properties:
Layers: [46x1 nnet.cnn.layer.Layer]
Connections: [48x2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Отображение сети.
plot(lgraph)
Загрузите обучающие изображения и пиксельные метки в рабочую область.
dataSetDir = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageDir = fullfile(dataSetDir,'trainingImages'); labelDir = fullfile(dataSetDir,'trainingLabels');
Создайте imageDatastore объект для хранения обучающих изображений.
imds = imageDatastore(imageDir);
Задайте имена классов и связанные с ними идентификаторы меток.
classNames = ["triangle","background"]; labelIDs = [255 0];
Создайте pixelLabelDatastore объект для хранения меток основной истины пикселей для обучающих изображений.
pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);
Создайте сеть U-Net.
imageSize = [32 32]; numClasses = 2; lgraph = unetLayers(imageSize, numClasses)
lgraph =
LayerGraph with properties:
Layers: [58×1 nnet.cnn.layer.Layer]
Connections: [61×2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Создайте datastore для обучения сети.
ds = combine(imds,pxds);
Установите опции обучения.
options = trainingOptions('sgdm', ... 'InitialLearnRate',1e-3, ... 'MaxEpochs',20, ... 'VerboseFrequency',10);
Обучите сеть.
net = trainNetwork(ds,lgraph,options)
Training on single CPU. Initializing input data normalization. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:04 | 75.57% | 2.4341 | 0.0010 | | 10 | 10 | 00:00:36 | 96.02% | 0.4517 | 0.0010 | | 20 | 20 | 00:01:13 | 97.62% | 0.2324 | 0.0010 | |========================================================================================|
net =
DAGNetwork with properties:
Layers: [58×1 nnet.cnn.layer.Layer]
Connections: [61×2 table]
InputNames: {'ImageInputLayer'}
OutputNames: {'Segmentation-Layer'}
Использование 'same' заполнение в слоях свертки для поддержания того же размера данных от входа до вывода и обеспечения возможности использования широкого набора входа размеров изображений.
Используйте подходы, основанные на патче, для бесшовной сегментации больших изображений. Вы можете извлечь закрашенные фигуры изображения, используя randomPatchExtractionDatastore функция в Image Processing Toolbox™.
Использование 'valid' заполнение для предотвращения пограничных программных продуктов в то время как вы используете основанные на патче подходы для сегментации.
Можно использовать сеть, созданную с помощью unetLayers функция для генерации кода GPU после обучения с trainNetwork (Deep Learning Toolbox). Для получения дополнительной информации и примеров смотрите Глубокое Обучение Code Generation (Deep Learning Toolbox).
[1] Ronneberger, O., P. Fischer, and T. Brox. U-Net: Сверточные сети для сегментации биомедицинских изображений. Вычисление медицинских изображений и компьютерное вмешательство (MICCAI). Том 9351, 2015, с. 234-241.
[2] He, K., X. Zhang, S. Ren, and J. Sun. «Delving Deep Into Rectifiers: Overpassing Human-Level Performance on ImageNet Classification». Материалы Международной конференции IEEE по компьютерному зрению. 2015, 1026–1034.
pixelClassificationLayer | DAGNetwork (Deep Learning Toolbox) | layerGraph (Deep Learning Toolbox)deeplabv3plusLayers | evaluateSemanticSegmentation | fcnLayers | segnetLayers | semanticseg | trainNetwork (Deep Learning Toolbox)