Документация

Выберите Datastore

Для многих приложений самый легкий подход - начать со встроенное хранилище данных. Дополнительные сведения о доступных встроенных хранилищах данных см. в разделе Выбор Datastore для формата файла или приложения. Однако только некоторые типы встроенных хранилищ данных могут использоваться непосредственно в качестве входов для сетевого обучения, валидации и вывода. Эти хранилища данных:

Другие встроенные хранилища данных могут использоваться в качестве входов для глубокого обучения, но данные, считанные из этих хранилищ данных, должны быть предварительно обработаны в формате, необходимом для нейронной сети для глубокого обучения. Для получения дополнительной информации о необходимом формате считанных данных смотрите Input Datastore для обучения, валидации и вывода. Дополнительные сведения о том, как выполнить предварительную обработку данных, считанных из хранилищ данных, см. в разделах Преобразование и Объединение хранилищ данных.

Для некоторых приложений может не быть встроенного хранилища данных, который хорошо подходит для ваших данных. Для этих задач можно создать пользовательский datastore. Для получения дополнительной информации см. Раздел «Разработка пользовательского Datastore». Все пользовательские хранилища данных являются допустимыми входами для глубокого обучения интерфейсов, пока read функция пользовательского datastore возвращает данные в необходимой форме.

Входные данные Datastore для обучения, валидации и вывода

Datastores являются допустимыми входами в Deep Learning Toolbox™ для обучения, валидации и вывода.

data = read(ds)

data =

  4×2 table

        Predictors        Response
    __________________    ________

    {224×224×3 double}       2    
    {224×224×3 double}       7    
    {224×224×3 double}       9    
    {224×224×3 double}       9  

data = read(ds)

data =

  4×2 cell array

    {224×224×3 double}    {[2]}
    {224×224×3 double}    {[7]}
    {224×224×3 double}    {[9]}
    {224×224×3 double}    {[9]}

data = read(ds)

data =

  4×3 cell array

    {224×224×3 double}    {128×128×3 double}    {[2]}
    {224×224×3 double}    {128×128×3 double}    {[2]}
    {224×224×3 double}    {128×128×3 double}    {[9]}
    {224×224×3 double}    {128×128×3 double}    {[9]}

Задайте размер чтения и размер мини-пакета

Datastore может вернуть любое количество строк (наблюдений) для каждого вызова в read. Функции, такие как trainNetwork, predict, classify, и activations которые принимают хранилища данных и поддерживают указание 'MiniBatchSize' звонить read столько раз, сколько необходимо для формирования полных мини-пакетов данных. Поскольку эти функции образуют мини-пакеты, они используют внутренние очереди в памяти для хранения считанных данных. Например, если datastore последовательно возвращает 64 строки за вызов в read и MiniBatchSize является 128, затем для формирования каждого мини-пакета данных требуется два вызова к read.

Для наилучшей эффективности во время выполнения рекомендуется сконфигурировать хранилища данных таким образом, чтобы количество наблюдений возвращалось read равно 'MiniBatchSize'. Для хранилищ данных, которые имеют 'ReadSize' свойство, установите 'ReadSize' чтобы изменить количество наблюдений, возвращенных datastore для каждого вызова, на read.

Преобразование и объединение хранилищ данных

Глубокое обучение часто требует предварительной обработки и увеличения данных, прежде чем данные будут в соответствующей форме введены в сеть. transform и combine функции datastore полезны при подготовке данных, которые будут переданы в сеть.

Чтобы использовать datastore для сетей с несколькими входными слоями, используйте combine и transform функции для создания datastore, который выводит массив ячеек с (numInputs + 1) столбцы, где numInputs - количество входов сети. В этом случае первый numInputs столбцы задают предикторы для каждого входа, а последний столбец задает отклики. Порядок входов задается InputNames свойство графика слоев layers.

digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ...
    'nndemos','nndatasets','DigitDataset');
imds = imageDatastore(digitDatasetPath, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

miniBatchSize = 128;
imds.ReadSize = miniBatchSize;

dsTrain = transform(imds,@preprocessForTraining,'IncludeInfo',true)

dsTrain = 

  TransformedDatastore with properties:

    UnderlyingDatastore: [1×1 matlab.io.datastore.ImageDatastore]
             Transforms: {@preprocessForTraining}
            IncludeInfo: 1

layers = [
    imageInputLayer([28 28 1],'Normalization','none')
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10);
    softmaxLayer
    classificationLayer];
 
options = trainingOptions('adam', ...
    'Plots','training-progress', ...
    'MiniBatchSize',miniBatchSize);
 
net = trainNetwork(dsTrain,layers,options);

function [dataOut,info] = preprocessForTraining(data,info)
 
numRows = size(data,1);
dataOut = cell(numRows,2);
 
for idx = 1:numRows
    
    % Randomized 90 degree rotation
    imgOut = rot90(data{idx,1},randi(4)-1);
    
    % Return the label from info struct as the 
    % second column in dataOut.
    dataOut(idx,:) = {imgOut,info.Label(idx)};
    
end

end

imdsX = imageDatastore(___);
imdsY = imageDatastore(___);
imdsTrain = combine(imdsX,imdsY)

imdsTrain = 

  CombinedDatastore with properties:

    UnderlyingDatastores: {1×2 cell}

Используйте Datastore для параллельного обучения и диспетчеризации фона

Хранилища данных, используемые для параллельного обучения или обучения с мультиграфическим процессором, должны быть разделяемыми. Чтобы определить, является ли datastore разделяемым, используйте функцию isPartitionable. Задайте параллельное или мультиграфическое обучение с помощью 'ExecutionEnvironment' Аргумент пары "имя-значение" из trainingOptions. Для параллельного обучения или использования одного или нескольких графических процессоров требуется Parallel Computing Toolbox™.

Многие встроенные хранилища данных уже разделяются, потому что они поддерживают partition функция. Использование transform и combine функции со встроенными хранилищами данных часто поддерживают поддержку для параллельного и мультиграфический процессор обучения.

Если вам нужно создать пользовательский datastore, который поддерживает параллельное или мультиграфическое обучение, то ваш datastore должен реализовать matlab.io.datastore.Partitionable класс.

Разделяемые хранилища данных поддерживают чтение обучающих данных с помощью фоновой диспетчеризации. Фоновая передача данных очереди в памяти во время работы графический процессор. Задайте фоновое отправление с помощью 'DispatchInBackground' Аргумент пары "имя-значение" из trainingOptions. Для фоновой диспетчеризации требуется Parallel Computing Toolbox.

При параллельном обучении хранилища данных не поддерживают указание 'Shuffle' Аргумент пары "имя-значение" из trainingOptions как 'none'.