minibatchqueue
Создайте мини-пакеты для глубокого обучения
Описание
Используйте minibatchqueue чтобы создать, предварительно обработайте и управляйте мини-пакетами данных для обучения с помощью пользовательских учебных циклов.
minibatchqueue выполняет итерации по datastore, чтобы обеспечить данные в подходящем формате для обучения с помощью пользовательских учебных циклов. Используйте minibatchqueue автоматически преобразовывать ваши данные в dlarray или gpuArray, преобразуйте данные в различную точность или примените пользовательскую функцию, чтобы предварительно обработать ваши данные. Можно подготовить данные параллельно в фоновом режиме.
Во время обучения можно управлять данными с помощью minibatchqueue. Можно переставить данные в начале каждой учебной эпохи с помощью shuffle функционируйте и соберите данные от очереди для каждой учебной итерации с помощью next функция. Можно проверять, существуют ли какие-либо данные, оставленные в очереди, использующей hasdata функция, и reset очередь, когда это пусто.
Создание
Описание
mbq = minibatchqueue(ds)minibatchqueue от входного datastore ds. Мини-пакеты в mbq имейте то же количество переменных как результаты read на входном datastore.
mbq = minibatchqueue(ds,numOutputs)minibatchqueue от входного datastore ds и определяет номер переменных в каждом мини-пакете. Используйте этот синтаксис, когда вы будете использовать MiniBatchFcn задавать функцию предварительной обработки мини-пакета, которая имеет различное количество выходных параметров, чем количество переменных входного datastore ds.
Входные параметры
Свойства
Функции объекта
Примеры
Подготовьте мини-пакеты к пользовательскому учебному циклу
Используйте minibatchqueue автоматически подготовить мини-пакеты изображений и классификации помечает для обучения в пользовательском учебном цикле.
Создание Datastore. Вызов чтения на auimds производит таблицу с двумя переменными: input, содержа данные изображения и response, содержа соответствующие метки классификации.
auimds = augmentedImageDatastore([100 100],digitDatastore); A = read(auimds); head(A,2)
ans =
input response
_______________ ________
{100×100 uint8} 0
{100×100 uint8} 0
Создайте minibatchqueue от auimds. Установите MiniBatchSize свойство к 256.
minibatchqueue имеет две выходных переменные: изображения и классификация помечают от input и response переменные auimds, соответственно. Установите minibatchqueue возвратить изображения как отформатированный dlarray на графическом процессоре. Изображения являются одним черно-белыми изображениями канала. Добавьте одноэлементную размерность канала путем применения формата 'SSBC' к пакету. Возвратите метки как non-dlarray на центральном процессоре.
mbq = minibatchqueue(auimds,... 'MiniBatchSize',256,... 'OutputAsDlarray',[1,0],... 'MiniBatchFormat',{'SSBC',''},... 'OutputEnvironment',{'gpu','cpu'})
Используйте next функция, чтобы получить мини-пакеты из mbq.
[X,Y] = next(mbq);
Создайте мини-пакеты Используя пользовательскую функцию предварительной обработки
Предварительно обработайте данные с помощью minibatchqueue с пользовательской функцией предварительной обработки мини-пакета. Пользовательская функция перемасштабирует входящие данные изображения между 0 и 1 и вычисляет среднее изображение.
Разархивируйте данные и создайте datastore.
unzip("MerchData.zip"); imds = imageDatastore("MerchData", ... "IncludeSubfolders",true, ... "LabelSource",'foldernames');
Создайте minibatchqueue это предварительно обрабатывает данные с помощью пользовательского функционального preprocessMiniBatch заданный в конце этого примера. Пользовательская функция конкатенирует данные изображения в числовой массив, перемасштабирует изображение между 0 и 1 и вычисляет среднее значение пакета изображений. Функция возвращает перемасштабированный пакет изображений и среднего изображения. Определите номер выходных параметров к 2, совпадать с количеством выходных параметров функции.
mbq = minibatchqueue(imds,2,... 'MiniBatchSize',16,... 'MiniBatchFcn',@preprocessMiniBatch,... 'OutputAsDlarray',0)
mbq =
minibatchqueue with 2 outputs and properties:
Mini-batch creation:
MiniBatchSize: 16
PartialMiniBatch: 'return'
MiniBatchFcn: @preprocessMiniBatch
DispatchInBackground: 0
Outputs:
OutputCast: {'single' 'single'}
OutputAsDlarray: [0 0]
MiniBatchFormat: {'' ''}
OutputEnvironment: {'auto' 'auto'}
Получите мини-пакет и отобразите среднее значение изображений в мини-пакете.
[X,averageImage] = next(mbq); imshow(averageImage)
function [X,averageImage] = preprocessMiniBatch(XCell) X = cat(4,XCell{:}); X = rescale(X,"InputMin",0,"InputMax",255); averageImage = mean(X,4); end
Используйте minibatchqueue в пользовательском учебном цикле
Обучите сеть с помощью minibatchqueue, чтобы справиться с обработкой мини-пакетов.
Загрузите обучающие данные
Загрузите обучающие данные цифр и храните данные в datastore. Создайте datastore для изображений и один для меток с помощью arrayDatastore. Затем объедините хранилища данных, чтобы произвести один datastore, чтобы использовать с minibatchqueue.
[XTrain,YTrain] = digitTrain4DArrayData;
dsX = arrayDatastore(XTrain,'IterationDimension',4);
dsY = arrayDatastore(YTrain);
dsTrain = combine(dsX,dsY);Определите количество уникальных классов в данных о метке.
classes = categories(YTrain); numClasses = numel(classes);
Сеть Define
Задайте сеть и задайте среднее значение изображений с помощью 'Mean' опция в изображении ввела слой.
layers = [
imageInputLayer([28 28 1], 'Name','input','Mean',mean(XTrain,4))
convolution2dLayer(5,20,'Name','conv1')
reluLayer('Name', 'relu1')
convolution2dLayer(3,20,'Padding',1,'Name','conv2')
reluLayer('Name','relu2')
convolution2dLayer(3,20,'Padding',1,'Name','conv3')
reluLayer('Name','relu3')
fullyConnectedLayer(numClasses,'Name','fc')
softmaxLayer('Name','softmax')];
lgraph = layerGraph(layers);
Создайте dlnetwork объект от графика слоев.
dlnet = dlnetwork(lgraph);
Функция градиентов модели Define
Создайте функцию помощника modelGradients, перечисленный в конце примера. Функция берет dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствием маркирует Y, и возвращает потерю и градиенты потери относительно настраиваемых параметров в dlnet.
Задайте опции обучения
Задайте опции, чтобы использовать во время обучения.
numEpochs = 10; miniBatchSize = 128;
Визуализируйте процесс обучения в графике.
plots = "training-progress";Создайте minibatchqueue
Используйте minibatchqueue обработать и управлять мини-пакетами изображений. Для каждого мини-пакета:
Отбросьте частичные мини-пакеты.
Используйте пользовательский мини-пакет, предварительно обрабатывающий функциональный
preprocessMiniBatch(заданный в конце этого примера) к одногорячему кодируют метки класса.Формат данные изображения с размерностью маркирует
'SSCB'(пространственный, пространственный, канал, пакет). По умолчанию,minibatchqueueобъект преобразует данные вdlarrayобъекты с базовым типомsingle. Не добавляйте формат в метки класса.Обучайтесь на графическом процессоре, если вы доступны. По умолчанию,
minibatchqueueобъект преобразует каждый выход вgpuArrayесли графический процессор доступен. Используя графический процессор требует Parallel Computing Toolbox™, и CUDA® включил NVIDIA®, графический процессор с вычисляет возможность 3.0 или выше.
mbq = minibatchqueue(dsTrain,... 'MiniBatchSize',miniBatchSize,... 'PartialMiniBatch','discard',... 'MiniBatchFcn',@preprocessMiniBatch,... 'MiniBatchFormat',{'SSCB',''});
Обучение сети
Обучите модель с помощью пользовательского учебного цикла. В течение каждой эпохи переставьте данные и цикл по мини-пакетам, в то время как данные все еще доступны в minibatchqueue. Обновите сетевые параметры с помощью adamupdate функция. В конце каждой эпохи отобразите прогресс обучения.
Инициализируйте график процесса обучения.
if plots == "training-progress" figure lineLossTrain = animatedline('Color',[0.85 0.325 0.098]); ylim([0 inf]) xlabel("Iteration") ylabel("Loss") grid on end
Инициализируйте средние градиенты и средние градиенты в квадрате.
averageGrad = []; averageSqGrad = [];
Обучите сеть.
iteration = 0; start = tic; for epoch = 1:numEpochs % Shuffle data. shuffle (mbq); while hasdata(mbq) iteration = iteration + 1; % Read mini-batch of data [dlX,Y] = next(mbq); % Evaluate the model gradients and loss using dlfeval and the % modelGradients helper function. [grad,loss] = dlfeval(@modelGradients,dlnet,dlX,Y); % Update the network parameters using the Adam optimizer. [dlnet,averageGrad,averageSqGrad] = adamupdate(dlnet,grad,averageGrad,averageSqGrad,iteration); % Display the training progress. if plots == "training-progress" D = duration(0,0,toc(start),'Format','hh:mm:ss'); addpoints(lineLossTrain,iteration,double(gather(extractdata(loss)))) title("Epoch: " + epoch + ", Elapsed: " + string(D)) drawnow end end end
Функция градиентов модели
modelGradients функция помощника берет dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствием маркирует Y, и возвращает потерю и градиенты потери относительно настраиваемых параметров в dlnet. Чтобы вычислить градиенты автоматически, используйте dlgradient функция.
function [gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX); loss = crossentropy(dlYPred,Y); gradients = dlgradient(loss,dlnet.Learnables); end
Функция предварительной обработки мини-пакета
preprocessMiniBatch функция предварительно обрабатывает данные с помощью следующих шагов:
Извлеките данные изображения из массива входящей ячейки и конкатенируйте в числовой массив. Конкатенация данных изображения по четвертой размерности добавляет третью размерность в каждое изображение, чтобы использоваться в качестве одноэлементной размерности канала.
Извлеките данные о метке из массива входящей ячейки и конкатенируйте вдоль второго измерения в категориальный массив.
Одногорячий кодируют категориальные метки в числовые массивы. Кодирование в первую размерность производит закодированный массив, который совпадает с формой сетевого выхода.
function [X,Y] = preprocessMiniBatch(XCell,YCell) % Extract image data from cell and concatenate over 4th dimension to adds a % singleton dimension 3 for channel dimension X = cat(4,XCell{:}); % Extract label data from cell and concatenate Y = cat(2,YCell{:}); % One-hot encode labels Y = onehotencode(Y,1); end