Документация

Импорт данных

В Deep Network Designer можно импортировать данные классификации изображений из datastore изображений или папки, содержащей подпапки изображений из каждого класса. Можно также импортировать и обучить любой объект datastore, который работает с trainNetwork функция. Выберите метод импорта в зависимости от типа используемого datastore.

После импорта Deep Network Designer обеспечивает предварительный просмотр импортированных данных, чтобы можно было проверить, как ожидалось, перед обучением. Для данных классификации изображений Deep Network Designer также отображает гистограмму меток классов и случайный выбор изображений из импортированных данных. Можно также выбрать просмотр случайных изображений, принадлежащих определенному классу.

dataFolder = fullfile(toolboxdir('nnet'),'nndemos', ... 
'nndatasets','DigitDataset');

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

dataFolder = fullfile(toolboxdir('nnet'),'nndemos', ... 
'nndatasets','DigitDataset');

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

imageAugmenter = imageDataAugmenter( ...
    'RandRotation',[1,2]);
augimds = augmentedImageDatastore([28 28],imds, ...
'DataAugmentation',imageAugmenter);

augimds = shuffle(augimds);

dataFolder  = fullfile(toolboxdir('vision'), ...
'visiondata','triangleImages');

imageDir = fullfile(dataFolder,'trainingImages');
labelDir = fullfile(dataFolder,'trainingLabels');

imds = imageDatastore(imageDir);
classNames = ["triangle","background"];
labelIDs   = [255 0];

pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);
cds = combine(imds,pxds);

pximds = pixelLabelImageDatastore(imds,pxds);

dataFolder = fullfile(toolboxdir('nnet'),'nndemos', ... 
'nndatasets','DigitDataset');

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ....
    'LabelSource','foldernames');

imds = transform(imds,@(x) rescale(x));
imdsNoise = transform(imds,@(x) {imnoise(x,'Gaussian',0.2)});

cds = combine(imdsNoise,imds);
cds = shuffle(cds);

[XTrain,~,YTrain] = digitTrain4DArrayData;

ads = arrayDatastore(XTrain,'IterationDimension',4, ...
 'OutputType','cell');
adsAngles = arrayDatastore(YTrain,'OutputType','cell');

cds = combine(ads,adsAngles);

dataFolder = fullfile(toolboxdir('images'),'imdata');

imds = imageDatastore(dataFolder,'FileExtensions',{'.jpg'});

dnds = denoisingImageDatastore(imds,...
    'PatchesPerImage',512,...
    'PatchSize',50,...
    'GaussianNoiseLevel',[0.01 0.1]);

Увеличение изображения

Для задач классификации изображений Deep Network Designer предоставляет простые опции увеличения для применения к обучающим данным. Откройте диалоговое окно Import Image Data, выбрав Import Data > Import Image Data. Можно выбрать опции, чтобы применить к обучающим данным случайную комбинацию операций отражения, поворотаперемасштабирования и перемещения.

Можно эффективно увеличить объем обучающих данных, применяя рандомизированное увеличение к своим данным. Увеличение также позволяет вам обучать сети, чтобы быть инвариантными к искажениям в данных изображения. Для примера можно добавить рандомизированные повороты к входным изображениям, так что сеть инвариантна наличию вращения на вход изображениях. Увеличение количества данных также может помочь предотвратить сверхподбор кривой сети и запоминание точных деталей обучающих изображений. Когда вы используете увеличение данных, одна случайным образом дополненная версия каждого изображения используется в каждую эпоху обучения, где эпоха является полным проходом алгоритма настройки по всему набору обучающих данных. Поэтому каждая эпоха использует несколько другой набор данных, но фактическое количество обучающих изображений в каждой эпохе не меняется. Для получения дополнительной информации смотрите Создать и исследовать Datastore для классификации изображений.

Чтобы выполнить более общие и сложные операции предварительной обработки изображений, чем те, которые предлагаются Deep Network Designer, используйте TransformedDatastore и CombinedDatastore объекты. Для импорта CombinedDatastore и TransformedDatastore Объектами выберите Import Data > Import Datastore.

Для получения дополнительной информации об увеличении изображения см. Раздел «Предварительная обработка изображений для глубокого обучения».

Данные валидации

В Deep Network Designer можно импортировать данные валидации для использования во время обучения. Данные валидации являются данными, которые сеть не использует для обновления весов и смещений во время обучения. Поскольку сеть напрямую не использует эти данные, она полезна для оценки истинной точности сети во время обучения. Можно контролировать метрики валидации, такие как потеря и точность, чтобы оценить, является ли сеть избыточной или недостроенной, и настроить опции обучения по мере необходимости. Для примера, если потеря валидации намного выше, чем потеря обучения, то сеть может оказаться избыточной.

Для получения дополнительной информации об улучшении точности нейронных сетей для глубокого обучения смотрите Deep Learning Советов и Tricks.

В Deep Network Designer можно импортировать данные валидации: