Создание мини-пакетов для глубокого обучения
Использовать minibatchqueue объект для создания, предварительной обработки и управления мини-пакетами данных для обучения с использованием пользовательских циклов обучения.
A minibatchqueue выполняет итерации по хранилищу данных для предоставления данных в подходящем формате для обучения с использованием пользовательских циклов обучения. Объект подготавливает очередь мини-пакетов, которые предварительно обрабатываются по запросу. Использовать minibatchqueue объект для автоматического преобразования данных в dlarray или gpuArray, преобразовать данные в другую точность или применить пользовательскую функцию для предварительной обработки данных. Данные можно подготовить параллельно в фоновом режиме.
Во время обучения вы можете управлять данными с помощью minibatchqueue объект. Можно перетасовать данные в начале каждого периода обучения с помощью shuffle и собирать данные из очереди для каждой итерации обучения с помощью next функция. Можно проверить, оставлены ли какие-либо данные в очереди, с помощью hasdata функции, и reset очередь, когда она пуста.
mbq = minibatchqueue(ds)minibatchqueue объект из хранилища входных данных ds. Мини-партии в mbq имеют то же количество переменных, что и результаты read в хранилище входных данных.
mbq = minibatchqueue(ds,numOutputs)minibatchqueue объект из хранилища входных данных ds и устанавливает количество переменных в каждом мини-пакете. Использовать этот синтаксис при использовании MiniBatchFcn задание функции предварительной обработки мини-пакета, количество выходов которой отличается от числа переменных входного хранилища данных ds.
mbq = minibatchqueue(___,Name,Value)minibatchqueue(ds, "MiniBatchSize",64,"PartialMiniBatches","discard") устанавливает размер возвращаемых мини-пакетов равным 64 и отбрасывает любые мини-пакеты с менее чем 64 наблюдениями.
Использовать minibatchqueue объект для автоматической подготовки мини-пакетов изображений и классификационных меток для обучения в индивидуальном цикле обучения.
Создание хранилища данных. Запрос read на auimds создает таблицу с двумя переменными: input, содержащие данные изображения, и response, содержащий соответствующие классификационные метки.
auimds = augmentedImageDatastore([100 100],digitDatastore); A = read(auimds); head(A,2)
ans =
input response
_______________ ________
{100×100 uint8} 0
{100×100 uint8} 0
Создать minibatchqueue объект из auimds. Установите MiniBatchSize свойство для 256.
minibatchqueue объект имеет две выходные переменные: изображения и метки классификации из input и response переменные auimdsсоответственно. Установите minibatchqueue объект для возврата изображений в виде отформатированного dlarray на GPU. Изображения представляют собой одноканальные черно-белые изображения. Добавление размера одиночного канала путем применения формата 'SSBC' в партию. Возврат меток в формате, отличном от -dlarray на CPU.
mbq = minibatchqueue(auimds,... 'MiniBatchSize',256,... 'OutputAsDlarray',[1,0],... 'MiniBatchFormat',{'SSBC',''},... 'OutputEnvironment',{'gpu','cpu'})
Используйте next функция получения мини-партий из mbq.
[X,Y] = next(mbq);
Предварительная обработка данных с использованием minibatchqueue с пользовательской функцией предварительной обработки мини-пакета. Пользовательская функция масштабирует входящие данные изображения между 0 и 1 и вычисляет среднее изображение.
Распакуйте данные и создайте хранилище данных.
unzip("MerchData.zip"); imds = imageDatastore("MerchData", ... "IncludeSubfolders",true, ... "LabelSource",'foldernames');
Создать minibatchqueue для предварительной обработки данных с помощью пользовательской функции preprocessMiniBatch определено в конце этого примера. Пользовательская функция объединяет данные изображения в числовой массив, масштабирует изображение между 0 и 1 и вычисляет среднее значение пакета изображений. Функция возвращает масштабированный пакет изображений и среднее изображение. Установите количество выходов в значение 2, для соответствия количеству выходов функции.
mbq = minibatchqueue(imds,2,... 'MiniBatchSize',16,... 'MiniBatchFcn',@preprocessMiniBatch,... 'OutputAsDlarray',0)
mbq =
minibatchqueue with 2 outputs and properties:
Mini-batch creation:
MiniBatchSize: 16
PartialMiniBatch: 'return'
MiniBatchFcn: @preprocessMiniBatch
DispatchInBackground: 0
Outputs:
OutputCast: {'single' 'single'}
OutputAsDlarray: [0 0]
MiniBatchFormat: {'' ''}
OutputEnvironment: {'auto' 'auto'}
Получение мини-пакета и отображение среднего значения изображений в мини-пакете.
[X,averageImage] = next(mbq); imshow(averageImage)
function [X,averageImage] = preprocessMiniBatch(XCell) X = cat(4,XCell{:}); X = rescale(X,"InputMin",0,"InputMax",255); averageImage = mean(X,4); end
minibatchqueue в индивидуальном цикле обученияОбучение сети с помощью minibatchqueue для управления обработкой мини-партий.
Загрузка данных обучения
Загрузите обучающие данные по цифрам и сохраните данные в хранилище данных. Создание хранилища данных для изображений и одного для меток с помощью arrayDatastore. Затем объедините хранилища данных, чтобы создать одно хранилище данных для использования с minibatchqueue.
[XTrain,YTrain] = digitTrain4DArrayData;
dsX = arrayDatastore(XTrain,'IterationDimension',4);
dsY = arrayDatastore(YTrain);
dsTrain = combine(dsX,dsY);Определите количество уникальных классов в данных метки.
classes = categories(YTrain); numClasses = numel(classes);
Определение сети
Определите сеть и укажите среднее значение изображения с помощью 'Mean' в слое ввода изображения.
layers = [
imageInputLayer([28 28 1], 'Name','input','Mean',mean(XTrain,4))
convolution2dLayer(5,20,'Name','conv1')
reluLayer('Name', 'relu1')
convolution2dLayer(3,20,'Padding',1,'Name','conv2')
reluLayer('Name','relu2')
convolution2dLayer(3,20,'Padding',1,'Name','conv3')
reluLayer('Name','relu3')
fullyConnectedLayer(numClasses,'Name','fc')
softmaxLayer('Name','softmax')];
lgraph = layerGraph(layers);
Создать dlnetwork объект из графа слоев.
dlnet = dlnetwork(lgraph);
Определение функции градиентов модели
Создание вспомогательной функции modelGradients, перечисленных в конце примера. Функция принимает в качестве входного значения a dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствующими метками Yи возвращает потери и градиенты потерь относительно обучаемых параметров в dlnet.
Укажите параметры обучения
Укажите параметры для использования во время обучения.
numEpochs = 10; miniBatchSize = 128;
Визуализация хода обучения на графике.
plots = "training-progress";Создать minibatchqueue
Использовать minibatchqueue для обработки и управления мини-партиями изображений. Для каждой мини-партии:
Отменить частичные мини-партии.
Использование пользовательской функции предварительной обработки мини-партии preprocessMiniBatch (определяется в конце этого примера) для одноконтактного кодирования меток класса.
Форматирование данных изображения с метками размеров 'SSCB' (пространственный, пространственный, канальный, пакетный). По умолчанию minibatchqueue объект преобразует данные в dlarray объекты с базовым типом данных single. Не добавляйте формат к меткам класса.
Обучение на GPU, если он доступен. По умолчанию minibatchqueue объект преобразует каждый вывод в gpuArray если графический процессор доступен. Для использования графического процессора требуется Toolbox™ параллельных вычислений и поддерживаемое устройство графического процессора. Сведения о поддерживаемых устройствах см. в разделе Поддержка графического процессора по выпуску (Parallel Computing Toolbox).
mbq = minibatchqueue(dsTrain,... 'MiniBatchSize',miniBatchSize,... 'PartialMiniBatch','discard',... 'MiniBatchFcn',@preprocessMiniBatch,... 'MiniBatchFormat',{'SSCB',''});
Железнодорожная сеть
Обучение модели с помощью пользовательского цикла обучения. Для каждой эпохи тасуйте данные и закольцовывайте мини-пакеты, пока данные все еще доступны в minibatchqueue. Обновление параметров сети с помощью adamupdate функция. В конце каждой эпохи отобразите ход обучения.
Инициализируйте график хода обучения.
if plots == "training-progress" figure lineLossTrain = animatedline('Color',[0.85 0.325 0.098]); ylim([0 inf]) xlabel("Iteration") ylabel("Loss") grid on end
Инициализируйте средние градиенты и средние градиенты в квадрате.
averageGrad = []; averageSqGrad = [];
Обучение сети.
iteration = 0; start = tic; for epoch = 1:numEpochs % Shuffle data. shuffle (mbq); while hasdata(mbq) iteration = iteration + 1; % Read mini-batch of data. [dlX,Y] = next(mbq); % Evaluate the model gradients and loss using dlfeval and the % modelGradients helper function. [grad,loss] = dlfeval(@modelGradients,dlnet,dlX,Y); % Update the network parameters using the Adam optimizer. [dlnet,averageGrad,averageSqGrad] = adamupdate(dlnet,grad,averageGrad,averageSqGrad,iteration); % Display the training progress. if plots == "training-progress" D = duration(0,0,toc(start),'Format','hh:mm:ss'); addpoints(lineLossTrain,iteration,double(gather(extractdata(loss)))) title("Epoch: " + epoch + ", Elapsed: " + string(D)) drawnow end end end
Функция градиентов модели
modelGradients вспомогательная функция принимает в качестве входного сигнала a dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствующими метками Yи возвращает потери и градиенты потерь относительно обучаемых параметров в dlnet. Для автоматического вычисления градиентов используйте dlgradient функция.
function [gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX); loss = crossentropy(dlYPred,Y); gradients = dlgradient(loss,dlnet.Learnables); end
Функция предварительной обработки мини-партий
preprocessMiniBatch функция выполняет предварительную обработку данных с помощью следующих шагов:
Извлеките данные изображения из входящего массива ячеек и объедините их в числовой массив. Конкатенация данных изображения над четвертым размером добавляет к каждому изображению третий размер, который будет использоваться в качестве размера одиночного канала.
Извлеките данные метки из входящего массива ячеек и объедините их вдоль второго измерения в категориальный массив.
Одноконтурное кодирование категориальных меток в числовые массивы. Кодирование в первом измерении создает закодированный массив, который соответствует форме сетевого вывода.
function [X,Y] = preprocessMiniBatch(XCell,YCell) % Extract image data from the cell array and concatenate over fourth % dimension to add a third singleton dimension, as the channel % dimension. X = cat(4,XCell{:}); % Extract label data from cell and concatenate. Y = cat(2,YCell{:}); % One-hot encode labels. Y = onehotencode(Y,1); end