Документация

Выберите Datastore

Для многих приложений, самый легкий подход - это начать работу со встроенным хранилищем данных. Для получения дополнительной информации о доступных встроенных хранилищах данных, смотрите, Выбирают Datastore for File Format или Application. Однако только некоторые типы встроенных хранилищ данных могут использоваться непосредственно в качестве входа для сетевого обучения, валидации и вывода. Эти хранилища данных:

Другие встроенные хранилища данных могут использоваться в качестве входа для глубокого обучения, но данные, считанные из этих хранилищ данных, должны быть предварительно обработаны в формат, требуемый нейронной сетью для глубокого обучения. Для получения дополнительной информации о требуемом формате считанных данных смотрите Входной Datastore для Обучения, Валидации и Вывода. Для получения дополнительной информации о том, как предварительно обработать данные, считанные из хранилищ данных, смотрите Хранилища данных Преобразования и Объединения.

Для некоторых приложений не может быть типа встроенного хранилища данных, который соответствует вашим данным хорошо. Для этих проблем можно создать пользовательский datastore. Для получения дополнительной информации смотрите, Разрабатывают Пользовательский Datastore. Все пользовательские хранилища данных являются допустимыми входными параметрами к интерфейсам глубокого обучения пока read функция пользовательского datastore возвращает данные в необходимой форме.

Введите Datastore для обучения, валидации и вывода

Хранилища данных являются допустимыми входными параметрами в Deep Learning Toolbox™ для обучения, валидации и вывода.

data = read(ds)

data =

  4×2 table

        Predictors        Response
    __________________    ________

    {224×224×3 double}       2    
    {224×224×3 double}       7    
    {224×224×3 double}       9    
    {224×224×3 double}       9  

data = read(ds)

data =

  4×2 cell array

    {224×224×3 double}    {[2]}
    {224×224×3 double}    {[7]}
    {224×224×3 double}    {[9]}
    {224×224×3 double}    {[9]}

data = read(ds)

data =

  4×3 cell array

    {224×224×3 double}    {128×128×3 double}    {[2]}
    {224×224×3 double}    {128×128×3 double}    {[2]}
    {224×224×3 double}    {128×128×3 double}    {[9]}
    {224×224×3 double}    {128×128×3 double}    {[9]}

Задайте размер чтения и мини-обработайте размер в пакетном режиме

Datastore может возвратить любое количество строк (наблюдения) для каждого вызова read. Функционирует такой как trainNetwork, predict, classify, и activations это принимает хранилища данных и поддержку, задающую 'MiniBatchSize' вызвать read так много раз, как необходимо, чтобы сформировать полные мини-пакеты данных. Когда эти функции формируют мини-пакеты, они используют внутренние очереди в памяти, чтобы хранить данные о чтении. Например, если datastore последовательно возвращает 64 строки на вызов read и MiniBatchSize 128, затем сформировать каждый мини-пакет данных требует двух вызовов read.

Для лучшей эффективности во время выполнения рекомендуется сконфигурировать хранилища данных, таким образом что количество наблюдений, возвращенных read равно 'MiniBatchSize'. Для хранилищ данных, которые имеют 'ReadSize' свойство, набор 'ReadSize' изменить количество наблюдений, возвращенных datastore для каждого вызова read.

Преобразуйте и объедините хранилища данных

Глубокое обучение часто требует, чтобы данные были предварительно обработаны и увеличены, прежде чем данные будут в соответствующей форме, чтобы ввести к сети. transform и combine функции datastore полезны в подготовке данных, которые будут поданы в сеть.

Чтобы использовать datastore для сетей с несколькими входными слоями, используйте combine и transform функции, чтобы создать datastore, который выводит массив ячеек с (numInputs + 1) столбцы, где numInputs количество сетевых входных параметров. В этом случае, первый numInputs столбцы задают предикторы для каждого входа, и последний столбец задает ответы. Распоряжение входных параметров дано InputNames свойство графика слоев layers.

digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ...
    'nndemos','nndatasets','DigitDataset');
imds = imageDatastore(digitDatasetPath, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

miniBatchSize = 128;
imds.ReadSize = miniBatchSize;

dsTrain = transform(imds,@preprocessForTraining,'IncludeInfo',true)

dsTrain = 

  TransformedDatastore with properties:

    UnderlyingDatastore: [1×1 matlab.io.datastore.ImageDatastore]
             Transforms: {@preprocessForTraining}
            IncludeInfo: 1

layers = [
    imageInputLayer([28 28 1],'Normalization','none')
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10);
    softmaxLayer
    classificationLayer];
 
options = trainingOptions('adam', ...
    'Plots','training-progress', ...
    'MiniBatchSize',miniBatchSize);
 
net = trainNetwork(dsTrain,layers,options);

function [dataOut,info] = preprocessForTraining(data,info)
 
numRows = size(data,1);
dataOut = cell(numRows,2);
 
for idx = 1:numRows
    
    % Randomized 90 degree rotation
    imgOut = rot90(data{idx,1},randi(4)-1);
    
    % Return the label from info struct as the 
    % second column in dataOut.
    dataOut(idx,:) = {imgOut,info.Label(idx)};
    
end

end

imdsX = imageDatastore(___);
imdsY = imageDatastore(___);
imdsTrain = combine(imdsX,imdsY)

imdsTrain = 

  CombinedDatastore with properties:

    UnderlyingDatastores: {1×2 cell}

Используйте Datastore для параллельной диспетчеризации обучения и фона

Хранилища данных, используемые для параллельного обучения или обучения мультиграфического процессора, должны быть partitionable. Чтобы определить, partitionable ли datastore, используйте функцию isPartitionable. Задайте параллель или обучение мультиграфического процессора использование 'ExecutionEnvironment' аргумент пары "имя-значение" trainingOptions. Обучение параллельно или использование одного или несколько графических процессоров требуют Parallel Computing Toolbox™.

Много встроенных хранилищ данных уже partitionable, потому что они поддерживают partition функция. Используя transform и combine функции со встроенными хранилищами данных часто обеспечивают поддержку обучения мультиграфического процессора и параллели.

Если необходимо создать пользовательский datastore, который поддерживает параллель или обучение мультиграфического процессора, то datastore должен реализовать matlab.io.datastore.Partitionable класс.

Поддержка хранилищ данных Partitionable, считывая обучающие данные с помощью фоновой диспетчеризации. Фоновые данные очередей диспетчеризации в памяти, в то время как графический процессор работает. Задайте фоновую диспетчеризацию с помощью 'DispatchInBackground' аргумент пары "имя-значение" trainingOptions. Фоновая диспетчеризация требует Parallel Computing Toolbox.

Когда обучение параллельно, хранилища данных не поддерживают определение 'Shuffle' аргумент пары "имя-значение" trainingOptions как 'none'.