Хранилище данных для извлечения случайных 2-D или 3-D случайных исправлений из изображений или изображений меток пикселей
A randomPatchExtractionDatastore извлекает соответствующие случайно расположенные исправления из двух хранилищ данных на основе изображений. Например, входными хранилищами данных могут быть два хранилища данных изображения, которые содержат сетевые входы и требуемые сетевые ответы для обучающих сетей регрессии «изображение-изображение», или базовые изображения истинности и данные метки пикселя для обучающих сетей семантической сегментации.
Для этого объекта требуется наличие Toolbox™ глубокого обучения.
Примечание
При использовании randomPatchExtractionDatastore в качестве источника обучающих данных хранилище данных извлекает несколько случайных исправлений из каждого изображения для каждой эпохи, так что каждая эпоха использует немного другой набор данных. Фактическое количество обучающих патчей в каждую эпоху - это количество обучающих изображений, умноженное на PatchesPerImage. Исправления изображений не хранятся в памяти.
patchds = randomPatchExtractionDatastore( использует пары имя-значение для установки ds1,ds2,PatchSize,Name,Value)PatchesPerImage, DataAugmentation, и DispatchInBackground свойства. Можно указать несколько пар имя-значение. Заключите каждое имя свойства в кавычки.
Например, randomPatchExtractionDatastore(imds1,imds2,50,'PatchesPerImage',40) создает хранилище данных, которое случайным образом генерирует 40 патчей размером 50 на 50 пикселей из каждого изображения в хранилищах данных изображений imds1 и imds2.
combine | Объединение данных из нескольких хранилищ данных |
hasdata | Определение доступности данных для чтения |
numpartitions | Количество разделов хранилища данных |
partition | Разделение хранилища данных |
partitionByIndex | Разделение randomPatchExtractionDatastore по индексам |
preview | Предварительный просмотр подмножества данных в хранилище данных |
read | Считывание данных из randomPatchExtractionDatastore |
readall | Считывание всех данных в хранилище данных |
readByIndex | Считывание данных, указанных индексом из randomPatchExtractionDatastore |
reset | Сброс хранилища данных в исходное состояние |
shuffle | Перетасовка данных в хранилище данных |
transform | Преобразовать хранилище данных |
isPartitionable | Определение возможности разделения хранилища данных |
isShuffleable | Определение возможности тасования хранилища данных |
Создайте хранилище данных образа, содержащее обучающие изображения. Хранилище данных в этом примере содержит цветные изображения JPEG.
imageDir = fullfile(toolboxdir('images'),'imdata'); imds1 = imageDatastore(imageDir,'FileExtensions','.jpg');
Создание второго хранилища данных, преобразующего изображения в imds1 путем применения гауссова размытия.
imds2 = transform(imds1,@(x)imgaussfilt(x,2));
Создание imageDataAugmenter это поворачивает изображения на случайные углы в диапазоне [0, 90] градусов и случайным образом отражает данные изображения по горизонтали.
augmenter = imageDataAugmenter('RandRotation',[0 90],'RandXReflection',true)
augmenter =
imageDataAugmenter with properties:
FillValue: 0
RandXReflection: 1
RandYReflection: 0
RandRotation: [0 90]
RandScale: [1 1]
RandXScale: [1 1]
RandYScale: [1 1]
RandXShear: [0 0]
RandYShear: [0 0]
RandXTranslation: [0 0]
RandYTranslation: [0 0]
Создать randomPatchExtractionDatastore объект, извлекающий случайные исправления размера 100 на 100 из необработанных обучающих изображений и соответствующих сглаженных ответных изображений. Задайте параметры увеличения, установив DataAugmentation собственность.
patchds = randomPatchExtractionDatastore(imds1,imds2,[100 100], ... 'DataAugmentation',augmenter)
patchds =
randomPatchExtractionDatastore with properties:
PatchesPerImage: 128
PatchSize: [100 100]
DataAugmentation: [1×1 imageDataAugmenter]
MiniBatchSize: 128
NumObservations: []
DispatchInBackground: 0
Предварительный просмотр набора дополненных фрагментов изображения и соответствующих сглаженных фрагментов изображения.
minibatch = preview(patchds); inputs = minibatch.InputImage; responses = minibatch.ResponseImage; test = cat(2,inputs,responses); montage(test','Size',[8 2]) title('Inputs (Left) and Responses (Right)')
Создайте хранилище данных образа, содержащее обучающие изображения.
dataDir = fullfile(toolboxdir('vision'),'visiondata','triangleImages'); imageDir = fullfile(dataDir,'trainingImages'); imds = imageDatastore(imageDir);
Определите имена классов и связанные с ними идентификаторы меток. Затем создайте хранилище данных пиксельных меток, содержащее базовые метки истинных пикселей для обучающих изображений.
classNames = ["triangle","background"]; labelIDs = [255 0]; labelDir = fullfile(dataDir,'trainingLabels'); pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);
Создайте хранилище данных извлечения случайных исправлений для извлечения случайных исправлений размером 32 на 32 пиксела из изображений и соответствующих меток пикселей. Установите необязательный параметр PatchesPerImage свойство для извлечения 512 случайных фрагментов из каждой пары изображений и меток пикселей.
patchds = randomPatchExtractionDatastore(imds,pxds,32, ... 'PatchesPerImage',512);
Создание сети для семантической сегментации.
layers = [
imageInputLayer([32 32 1])
convolution2dLayer(3,64,'Padding',1)
reluLayer()
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,64,'Padding',1)
reluLayer()
transposedConv2dLayer(4,64,'Stride',2,'Cropping',1)
convolution2dLayer(1,2)
softmaxLayer()
pixelClassificationLayer()
]layers =
10x1 Layer array with layers:
1 '' Image Input 32x32x1 images with 'zerocenter' normalization
2 '' Convolution 64 3x3 convolutions with stride [1 1] and padding [1 1 1 1]
3 '' ReLU ReLU
4 '' Max Pooling 2x2 max pooling with stride [2 2] and padding [0 0 0 0]
5 '' Convolution 64 3x3 convolutions with stride [1 1] and padding [1 1 1 1]
6 '' ReLU ReLU
7 '' Transposed Convolution 64 4x4 transposed convolutions with stride [2 2] and output cropping [1 1]
8 '' Convolution 2 1x1 convolutions with stride [1 1] and padding [0 0 0 0]
9 '' Softmax softmax
10 '' Pixel Classification Layer Cross-entropy loss
Настройка параметров обучения. Для сокращения времени обучения установить MaxEpochs до 5.
options = trainingOptions('sgdm', ... 'InitialLearnRate',1e-3, ... 'MaxEpochs',5, ... 'Verbose',false);
Обучение сети.
net = trainNetwork(patchds,layers,options);
randomPatchExtractionDatastore ожидает, что выходные данные от read операция с входными хранилищами данных, возвращающими массивы одинакового размера.
Если входным хранилищем данных является ImageDatastore, то значения в его Labels игнорируются свойством randomPatchExtractionDatastore.
Визуализация данных 2-D в randomPatchExtractionDatastore, вы можете использовать preview , которая возвращает подмножество данных в таблице. Визуализация всех исправлений на одном рисунке с помощью montage функция. Например, этот код отображает предварительный просмотр исправлений изображения из randomPatchExtractionDatastore названный patchds.
minibatch = preview(patchds); montage(minibatch.InputImage)
imageDatastore | TransformedDatastore | pixelLabelDatastore (Панель инструментов компьютерного зрения) | pixelLabelImageDatastore (Панель инструментов компьютерного зрения) | augmentedImageDatastore (инструментарий для глубокого обучения) | imageDataAugmenter (инструментарий для глубокого обучения) | trainNetwork (инструментарий для глубокого обучения)