minibatchqueue
Создайте мини-пакеты для глубокого обучения
Описание
Использование minibatchqueue объект для создания, предварительной обработки и управления мини-пакетами данных для обучения с помощью пользовательских циклов обучения.
A minibatchqueue объект выполняет итерацию по datastore, чтобы предоставить данные в подходящем формате для обучения с помощью пользовательских циклов обучения. Объект готовит очередь мини-пакетов, предварительно обработанных по запросу. Использование minibatchqueue объект, чтобы автоматически преобразовать ваши данные в dlarray или gpuArrayпреобразуйте данные в другую точность или примените пользовательскую функцию для предварительной обработки данных. Можно подготовить данные параллельно в фоновом режиме.
Во время обучения можно управлять данными с помощью minibatchqueue объект. Можно перетасовать данные в начале каждой эпохи обучения, используя shuffle и собирать данные из очереди для каждой итерации обучения, используя next функция. Можно проверить, остаются ли какие-либо данные в очереди, используя hasdata функции, и reset очередь, когда она пуста.
Создание
Синтаксис
Описание
mbq = minibatchqueue(ds)minibatchqueue объект из входа datastore ds. Мини-пакеты в mbq имеют то же количество переменных, что и результаты read на входе datastore.
mbq = minibatchqueue(ds,numOutputs)minibatchqueue объект из входа datastore ds и устанавливает количество переменных в каждом мини-пакете. Используйте этот синтаксис при использовании MiniBatchFcn чтобы задать мини-пакетную функцию предварительной обработки, которая имеет другое количество выходов, чем количество переменных входного datastore ds.
mbq = minibatchqueue(___,Name,Value)minibatchqueue(ds, "MiniBatchSize",64,"PartialMiniBatches","discard") устанавливает размер возвращенных мини-пакетов равным 64 и отбрасывает любые мини-пакеты с менее чем 64 наблюдениями.
Входные параметры
Свойства
Функции объекта
Примеры
Подготовка мини-пакетов для пользовательского цикла обучения
Использование minibatchqueue объект автоматически готовит мини-пакеты изображений и меток классификации для обучения в пользовательском цикле обучения.
Создайте datastore. Вызов read на auimds создает таблицу с двумя переменными: input, содержащие данные изображения и response, содержащего соответствующие классификационные метки.
auimds = augmentedImageDatastore([100 100],digitDatastore); A = read(auimds); head(A,2)
ans =
input response
_______________ ________
{100×100 uint8} 0
{100×100 uint8} 0
Создайте minibatchqueue объект из auimds. Установите MiniBatchSize свойство к 256.
The minibatchqueue объект имеет две выходные переменные: изображения и классификационные метки из input и response переменные auimds, соответственно. Установите minibatchqueue объект для возврата изображений в форматированный dlarray на графическом процессоре. Изображения являются одноканальными черно-белыми изображениями. Добавьте размерность синглтонного канала путем применения формата 'SSBC' в пакет. Возвратите метки как не - dlarray на центральном процессоре.
mbq = minibatchqueue(auimds,... 'MiniBatchSize',256,... 'OutputAsDlarray',[1,0],... 'MiniBatchFormat',{'SSBC',''},... 'OutputEnvironment',{'gpu','cpu'})
Используйте next функция для получения мини-пакетов от mbq.
[X,Y] = next(mbq);
Создайте мини-пакеты с помощью пользовательской функции предварительной обработки
Предварительная обработка данных с помощью minibatchqueue с пользовательской функцией мини-пакетной предварительной обработки. Пользовательская функция пересматривает входящие данные изображения между 0 и 1 и вычисляет среднее изображение.
Разархивируйте данные и создайте datastore.
unzip("MerchData.zip"); imds = imageDatastore("MerchData", ... "IncludeSubfolders",true, ... "LabelSource",'foldernames');
Создайте minibatchqueue который предварительно обрабатывает данные с помощью пользовательской функции preprocessMiniBatch заданное в конце этого примера. Пользовательская функция объединяет данные изображения в числовой массив, пересматривает изображение между 0 и 1 и вычисляет среднее значение пакета изображений. Функция возвращает пересмотренный пакет изображений и среднее изображение. Установите количество выходов равным 2, чтобы соответствовать количеству выходов функции.
mbq = minibatchqueue(imds,2,... 'MiniBatchSize',16,... 'MiniBatchFcn',@preprocessMiniBatch,... 'OutputAsDlarray',0)
mbq =
minibatchqueue with 2 outputs and properties:
Mini-batch creation:
MiniBatchSize: 16
PartialMiniBatch: 'return'
MiniBatchFcn: @preprocessMiniBatch
DispatchInBackground: 0
Outputs:
OutputCast: {'single' 'single'}
OutputAsDlarray: [0 0]
MiniBatchFormat: {'' ''}
OutputEnvironment: {'auto' 'auto'}
Получите мини-пакет и отобразите среднее значение изображений в мини-пакете.
[X,averageImage] = next(mbq); imshow(averageImage)
function [X,averageImage] = preprocessMiniBatch(XCell) X = cat(4,XCell{:}); X = rescale(X,"InputMin",0,"InputMax",255); averageImage = mean(X,4); end
Использование minibatchqueue в пользовательском цикле обучения
Обучите сеть с помощью minibatchqueue управлять обработкой мини-пакетов.
Загрузка обучающих данных
Загрузите обучающие данные цифр и сохраните данные в datastore. Создайте datastore для изображений и один для меток с помощью arrayDatastore. Затем объедините хранилища данных, чтобы создать один datastore для использования с minibatchqueue.
[XTrain,YTrain] = digitTrain4DArrayData;
dsX = arrayDatastore(XTrain,'IterationDimension',4);
dsY = arrayDatastore(YTrain);
dsTrain = combine(dsX,dsY);Определите количество уникальных классов в данных о метках.
classes = categories(YTrain); numClasses = numel(classes);
Определение сети
Определите сеть и задайте среднее значение изображения с помощью 'Mean' опция на входном слое изображения.
layers = [
imageInputLayer([28 28 1], 'Name','input','Mean',mean(XTrain,4))
convolution2dLayer(5,20,'Name','conv1')
reluLayer('Name', 'relu1')
convolution2dLayer(3,20,'Padding',1,'Name','conv2')
reluLayer('Name','relu2')
convolution2dLayer(3,20,'Padding',1,'Name','conv3')
reluLayer('Name','relu3')
fullyConnectedLayer(numClasses,'Name','fc')
softmaxLayer('Name','softmax')];
lgraph = layerGraph(layers);
Создайте dlnetwork объект из графика слоев.
dlnet = dlnetwork(lgraph);
Задайте функцию градиентов модели
Создайте вспомогательную функцию modelGradients, перечисленный в конце примера. Функция принимает как вход dlnetwork dlnet объекта и мини-пакет входных данных dlX с соответствующими метками Y, и возвращает потерю и градиенты потери относительно настраиваемых параметров в dlnet.
Настройка опций обучения
Задайте опции, которые будут использоваться во время обучения.
numEpochs = 10; miniBatchSize = 128;
Визуализируйте процесс обучения на графике.
plots = "training-progress";Создайте minibatchqueue
Использование minibatchqueue для обработки и управления мини-пакетами изображений. Для каждого мини-пакета:
Сбросьте частичные мини-пакеты.
Используйте пользовательскую функцию мини-пакетной предварительной обработки
preprocessMiniBatch(определено в конце этого примера), чтобы закодировать метки классов с одним «горячим» кодом.Форматируйте данные изображения с помощью меток размерностей
'SSCB'(пространственный, пространственный, канальный, пакетный). По умолчанию вminibatchqueueобъект преобразует данные вdlarrayобъекты с базовым типом данныхsingle. Не добавляйте формат к меткам классов.Обучите на графическом процессоре, если он доступен. По умолчанию в
minibatchqueueобъект преобразует каждый выход вgpuArrayпри наличии графический процессор. Для использования графический процессор требуется Parallel Computing Toolbox™ и поддерживаемый графический процессор. Для получения информации о поддерживаемых устройствах смотрите Поддержку GPU by Release (Parallel Computing Toolbox).
mbq = minibatchqueue(dsTrain,... 'MiniBatchSize',miniBatchSize,... 'PartialMiniBatch','discard',... 'MiniBatchFcn',@preprocessMiniBatch,... 'MiniBatchFormat',{'SSCB',''});
Обучите сеть
Обучите модель с помощью пользовательского цикла обучения. Для каждой эпохи перетасуйте данные и цикл по мини-пакетам, в то время как данные все еще доступны в minibatchqueue. Обновляйте параметры сети с помощью adamupdate функция. В конце каждой эпохи отобразите процесс обучения.
Инициализируйте график процесса обучения.
if plots == "training-progress" figure lineLossTrain = animatedline('Color',[0.85 0.325 0.098]); ylim([0 inf]) xlabel("Iteration") ylabel("Loss") grid on end
Инициализируйте средние градиенты и квадратные средние градиенты.
averageGrad = []; averageSqGrad = [];
Обучите сеть.
iteration = 0; start = tic; for epoch = 1:numEpochs % Shuffle data. shuffle (mbq); while hasdata(mbq) iteration = iteration + 1; % Read mini-batch of data. [dlX,Y] = next(mbq); % Evaluate the model gradients and loss using dlfeval and the % modelGradients helper function. [grad,loss] = dlfeval(@modelGradients,dlnet,dlX,Y); % Update the network parameters using the Adam optimizer. [dlnet,averageGrad,averageSqGrad] = adamupdate(dlnet,grad,averageGrad,averageSqGrad,iteration); % Display the training progress. if plots == "training-progress" D = duration(0,0,toc(start),'Format','hh:mm:ss'); addpoints(lineLossTrain,iteration,double(gather(extractdata(loss)))) title("Epoch: " + epoch + ", Elapsed: " + string(D)) drawnow end end end
Функция градиентов модели
The modelGradients функция helper принимает как вход a dlnetwork dlnet объекта и мини-пакет входных данных dlX с соответствующими метками Y, и возвращает потерю и градиенты потери относительно настраиваемых параметров в dlnet. Чтобы вычислить градиенты автоматически, используйте dlgradient функция.
function [gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX); loss = crossentropy(dlYPred,Y); gradients = dlgradient(loss,dlnet.Learnables); end
Функция мини-пакетной предварительной обработки
The preprocessMiniBatch функция предварительно обрабатывает данные с помощью следующих шагов:
Извлеките данные изображения из входящего массива ячеек и соедините данные в числовой массив. Конкатенация данных изображения по четвертому измерению добавляет третье измерение к каждому изображению, которое используется в качестве размерности одинарного канала.
Извлеките данные метки из входящего массива ячеек и соедините вдоль второго измерения в категориальный массив.
Однократное кодирование категориальных меток в числовые массивы. Кодирование в первую размерность создает закодированный массив, который совпадает с формой выходного сигнала сети.
function [X,Y] = preprocessMiniBatch(XCell,YCell) % Extract image data from the cell array and concatenate over fourth % dimension to add a third singleton dimension, as the channel % dimension. X = cat(4,XCell{:}); % Extract label data from cell and concatenate. Y = cat(2,YCell{:}); % One-hot encode labels. Y = onehotencode(Y,1); end