Документация

Выберите Datastore

Для многих приложений самый легкий подход должен запуститься со встроенного datastore. Для получения дополнительной информации о доступных встроенных хранилищах данных, смотрите, Выбирают Datastore for File Format или Application (MATLAB). Однако только некоторые типы встроенных хранилищ данных могут использоваться непосредственно в качестве входа для сетевого обучения, валидации и вывода. Эти хранилища данных:

Другие встроенные хранилища данных могут использоваться в качестве входа для глубокого обучения, но данные, считанные из этих хранилищ данных, должны быть предварительно обработаны в формат, требуемый нейронной сетью для глубокого обучения. Для получения дополнительной информации о требуемом формате считанных данных смотрите Входной Datastore для Обучения, Валидации и Вывода. Для получения дополнительной информации о том, как предварительно обработать данные, считанные из хранилищ данных, смотрите Хранилища данных Преобразования и Объединения.

Для некоторых приложений не может быть встроенного типа хранилища данных, который соответствует вашим данным хорошо. Для этих проблем можно создать пользовательский datastore. Для получения дополнительной информации смотрите, Разрабатывают Пользовательский Datastore (MATLAB). Все пользовательские хранилища данных являются допустимыми входными параметрами к интерфейсам глубокого обучения пока read функция пользовательского datastore возвращает данные в необходимой форме.

Введите Datastore для обучения, валидации и вывода

Хранилища данных являются допустимыми входными параметрами в Deep Learning Toolbox™ для обучения, валидации и вывода.

data = read(ds)

data =

  4×2 cell array

    {28×28 double}    {[7]}
    {28×28 double}    {[7]}
    {28×28 double}    {[9]}
    {28×28 double}    {[9]}

data = read(ds)

data =

  4×2 table

        input         response
    ______________    ________

    {28×28 double}       7    
    {28×28 double}       7    
    {28×28 double}       9    
    {28×28 double}       9  

data = read(ds)

data =

  4×3 cell array

    {28×28 double}    {128×128 double}    {[7]}
    {28×28 double}    {128×128 double}    {[7]}
    {28×28 double}    {128×128 double}    {[9]}
    {28×28 double}    {128×128 double}    {[9]}

Задайте размер чтения и мини-обработайте размер в пакетном режиме

Datastore может возвратить любое количество строк (наблюдения) для каждого вызова read. Функционирует, такие как trainNetwork, predict, classify, и activations это принимает хранилища данных и поддержку, задающую 'MiniBatchSize' вызовите read так много раз, как необходимо, чтобы сформировать полные мини-пакеты данных. Когда эти функции формируют мини-пакеты, они используют внутренние очереди в памяти, чтобы хранить данные о чтении. Например, если datastore последовательно возвращает 64 строки на вызов read и MiniBatchSize 128, затем сформировать каждый мини-пакет данных требует двух вызовов read.

Для лучшей производительности во время выполнения рекомендуется сконфигурировать хранилища данных, таким образом что количество наблюдений, возвращенных read равно 'MiniBatchSize'. Для хранилищ данных, которые имеют 'ReadSize' свойство, набор 'ReadSize' изменить количество наблюдений, возвращенных datastore для каждого вызова read.

Преобразуйте и объедините хранилища данных

Глубокое обучение часто требует, чтобы данные были предварительно обработаны и увеличены, прежде чем данные будут в соответствующей форме, чтобы ввести к сети. transform и combine функции datastore полезны в подготовке данных, которые будут поданы в сеть.

Для сетей с несколькими входными параметрами используйте объединенный datastore, чтобы объединить несколько источников данных данных.

digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ...
    'nndemos','nndatasets','DigitDataset');
imds = imageDatastore(digitDatasetPath, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

miniBatchSize = 128;
imds.ReadSize = miniBatchSize;

dsTrain = transform(imds,@preprocessForTraining,'IncludeInfo',true)

dsTrain = 

  TransformedDatastore with properties:

    UnderlyingDatastore: [1×1 matlab.io.datastore.ImageDatastore]
             Transforms: {@preprocessForTraining}
            IncludeInfo: 1

layers = [ ...
    imageInputLayer([28 28 1],'Normalization','none')
    convolution2dLayer(5,20)
    reluLayer()
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10);
    softmaxLayer()
    classificationLayer()];
 
options = trainingOptions('adam', ...
    'Plots','training-progress', ...
    'MiniBatchSize',miniBatchSize);
 
net = trainNetwork(dsTrain,layers,options);

function [dataOut,info] = preprocessForTraining(data,info)
 
numRows = size(data,1);
dataOut = cell(numRows,2);
 
for idx = 1:numRows
    
    % Randomized 90 degree rotation
    imgOut = rot90(data{idx,1},randi(4)-1);
    
    % Return the label from info struct as the 
    % second column in dataOut.
    dataOut(idx,:) = {imgOut,info.Label(idx)};
    
end
end

imdsX = imageDatastore(___);
imdsY = imageDatastore(___);
imdsTrain = combine(imdsX,imdsY)

imdsTrain = 

  CombinedDatastore with properties:

    UnderlyingDatastores: {1×2 cell}

Используйте Datastore в параллельной диспетчеризации обучения и фона

Хранилища данных, используемые в параллельном обучении или обучении мультиграфического процессора, должны быть partitionable. Задайте параллель или обучение мультиграфического процессора использование 'ExecutionEnvironment' аргумент пары "имя-значение" trainingOptions.

Много встроенных хранилищ данных уже partitionable, потому что они поддерживают partition функция. Преобразованные хранилища данных partitionable, если их базовый datastore partitionable. Используя transform функция со встроенными хранилищами данных часто обеспечивает поддержку обучения мультиграфического процессора и параллели.

Если необходимо создать пользовательский datastore, который поддерживает параллель или обучение мультиграфического процессора, то datastore должен реализовать matlab.io.datastore.Partitionable класс.

Поддержка хранилищ данных Partitionable, считывая обучающие данные с помощью фоновой диспетчеризации. Фоновые данные очередей диспетчеризации в памяти, в то время как графический процессор работает. Задайте фоновую диспетчеризацию с помощью 'DispatchInBackground' аргумент пары "имя-значение" trainingOptions. Фоновая диспетчеризация требует Parallel Computing Toolbox™.

Существуют некоторые ограничения при использовании хранилищ данных с параллельным обучением, обучением мультиграфического процессора и фоновой диспетчеризацией: