Сеть Directed acyclic graph (DAG) для глубокого обучения
Сеть ДАГА является нейронной сетью для глубокого обучения для слоев, расположенных как направленный граф без петель. Сеть ДАГА может иметь более комплексную архитектуру, в которой слои имеют входные параметры от нескольких слоев и выходных параметров к нескольким слоям.
Существует несколько способов создать DAGNetwork объект:
Загрузите предварительно обученную сеть такой как squeezenet, googlenet, resnet50, resnet101, или inceptionv3. Для примера смотрите Загрузку Сеть SqueezeNet. Для получения дополнительной информации о предварительно обученных сетях, смотрите Предварительно обученные Глубокие нейронные сети.
Обучите или подстройте сетевое использование trainNetwork. Для примера смотрите, Обучают Нейронную сеть для глубокого обучения Классифицировать Новые Изображения.
Импортируйте предварительно обученную сеть из TensorFlow™-Keras, TensorFlow 2, Caffe или формата модели ONNX™ (Open Neural Network Exchange).
Для модели Keras использовать importKerasNetwork. Для примера смотрите Импорт и График Сеть Keras.
Для модели TensorFlow в сохраненном формате модели использовать importTensorFlowNetwork. Для примера смотрите Импорт Сеть TensorFlow как DAGNetwork, чтобы Классифицировать Изображение.
Для модели Caffe использовать importCaffeNetwork. Для примера смотрите Импорт Сеть Caffe.
Для модели ONNX использовать importONNXNetwork. Для примера смотрите Импорт Сеть ONNX как DAGNetwork.
Соберите нейронную сеть для глубокого обучения от предварительно обученных слоев с помощью assembleNetwork функция.
Примечание
Чтобы узнать о других предварительно обученных сетях, смотрите Предварительно обученные Глубокие нейронные сети.
activations | Вычислите активации слоя нейронной сети для глубокого обучения |
classify | Классифицируйте данные с помощью обученной глубокой нейронной сети |
predict | Предскажите ответы с помощью обученной глубокой нейронной сети |
plot | Постройте график слоев нейронной сети |
Создайте простую сеть направленного графа без петель (DAG) для глубокого обучения. Обучите сеть, чтобы классифицировать изображения цифр. Простая сеть в этом примере состоит из:
Основная ветвь со слоями, соединенными последовательно.
Связь ярлыка, содержащая один сверточный слой 1 на 1. Связи ярлыка позволяют градиентам параметра течь более легко от выходного слоя до более ранних слоев сети.
Создайте основную ветвь сети как массив слоя. Слой сложения суммирует несколько поэлементных входных параметров. Задайте количество входных параметров для слоя сложения, чтобы суммировать. Чтобы легко добавить связи позже, задайте имена для первого слоя ReLU и слоя сложения.
layers = [
imageInputLayer([28 28 1])
convolution2dLayer(5,16,'Padding','same')
batchNormalizationLayer
reluLayer('Name','relu_1')
convolution2dLayer(3,32,'Padding','same','Stride',2)
batchNormalizationLayer
reluLayer
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
additionLayer(2,'Name','add')
averagePooling2dLayer(2,'Stride',2)
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];Создайте график слоев из массива слоя. layerGraph подключения все слои в layers последовательно. Постройте график слоев.
lgraph = layerGraph(layers); figure plot(lgraph)
Создайте сверточный слой 1 на 1 и добавьте его в график слоев. Задайте количество сверточных фильтров и шага так, чтобы размер активации совпадал с размером активации третьего слоя ReLU. Это расположение позволяет слою сложения добавить выходные параметры третьего слоя ReLU и сверточного слоя 1 на 1. Чтобы проверять, что слой находится в графике, постройте график слоев.
skipConv = convolution2dLayer(1,32,'Stride',2,'Name','skipConv'); lgraph = addLayers(lgraph,skipConv); figure plot(lgraph)
Создайте связь ярлыка из 'relu_1' слой к 'add' слой. Поскольку вы задали два как количество входных параметров к слою сложения, когда вы создали его, слой имеет два входных параметров под названием 'in1' и 'in2'. Третий слой ReLU уже соединяется с 'in1' входной параметр. Соедините 'relu_1' слой к 'skipConv' слой и 'skipConv' слой к 'in2' вход 'add' слой. Слой сложения теперь суммирует выходные параметры третьего слоя ReLU и 'skipConv' слой. Чтобы проверять, что слои соединяются правильно, постройте график слоев.
lgraph = connectLayers(lgraph,'relu_1','skipConv'); lgraph = connectLayers(lgraph,'skipConv','add/in2'); figure plot(lgraph);
Загрузите данные об обучении и валидации, которые состоят из 28 28 полутоновых изображений цифр.
[XTrain,YTrain] = digitTrain4DArrayData; [XValidation,YValidation] = digitTest4DArrayData;
Задайте опции обучения и обучите сеть. trainNetwork проверяет сеть с помощью данных о валидации каждый ValidationFrequency итерации.
options = trainingOptions('sgdm', ... 'MaxEpochs',8, ... 'Shuffle','every-epoch', ... 'ValidationData',{XValidation,YValidation}, ... 'ValidationFrequency',30, ... 'Verbose',false, ... 'Plots','training-progress'); net = trainNetwork(XTrain,YTrain,lgraph,options);
Отобразите свойства обучившего сеть. Сетью является DAGNetwork объект.
net
net =
DAGNetwork with properties:
Layers: [16x1 nnet.cnn.layer.Layer]
Connections: [16x2 table]
InputNames: {'imageinput'}
OutputNames: {'classoutput'}
Классифицируйте изображения валидации и вычислите точность. Сеть очень точна.
YPredicted = classify(net,XValidation); accuracy = mean(YPredicted == YValidation)
accuracy = 0.9934
trainNetwork | trainingOptions | importKerasNetwork | layerGraph | classify | predict | plot | googlenet | resnet18 | resnet50 | resnet101 | inceptionv3 | inceptionresnetv2 | squeezenet | SeriesNetwork | analyzeNetwork | assembleNetwork