Импортируйте слои из сети ONNX
lgraph = importONNXLayers(modelfile)modelfile. Функция возвращает lgraph как LayerGraph объект, совместимый с DAGNetwork или dlnetwork объект.
importONNXLayers требует Конвертера Deep Learning Toolbox™ для пакета поддержки Формата Модели ONNX. Если этот пакет поддержки не установлен, то importONNXLayers обеспечивает ссылку на загрузку.
Примечание
По умолчанию, importONNXLayers попытки сгенерировать пользовательский слой, когда программное обеспечение не может преобразовать оператор ONNX в эквивалентный встроенный MATLAB® слой. Для списка операторов, для которых программное обеспечение поддерживает преобразование, см. Операторы ONNX, Поддержанные для Преобразования на Встроенные Слои MATLAB.
importONNXLayers сохраняет сгенерированные пользовательские слои в пакете +.modelfile
importONNXLayers автоматически не генерирует пользовательский слой для каждого оператора ONNX, который не поддерживается для преобразования на встроенный слой MATLAB. Для получения дополнительной информации о том, как обработать неподдерживаемые слои, смотрите Советы.
lgraph = importONNXLayers(modelfile,Name=Value)OutputLayerType="classification" импортирует график слоев, совместимый с DAGNetwork объект, с классификацией вывел слой, добавленный в конец первой выходной ветви импортированной сетевой архитектуры.
Загрузите и установите Конвертер Deep Learning Toolbox для пакета поддержки Формата Модели ONNX.
Введите importONNXLayers в командной строке.
importONNXLayers
Если Конвертер Deep Learning Toolbox для Формата Модели ONNX не установлен, то функция обеспечивает ссылку на необходимый пакет поддержки в Add-On Explorer. Чтобы установить пакет поддержки, щелкните по ссылке, и затем нажмите Install. Проверяйте, что установка успешна путем импорта сети из файла модели "simplenet.onnx" в командной строке. Если пакет поддержки установлен, то функция возвращает LayerGraph объект.
modelfile = "simplenet.onnx";
lgraph = importONNXLayers(modelfile)lgraph =
LayerGraph with properties:
Layers: [9×1 nnet.cnn.layer.Layer]
Connections: [8×2 table]
InputNames: {'imageinput'}
OutputNames: {'ClassificationLayer_softmax1002'}
Постройте сетевую архитектуру.
plot(lgraph)
DAGNetworkИмпортируйте предварительно обученную сеть ONNX как LayerGraph объект. Затем соберите импортированные слои в DAGNetwork объект и использование собранная сеть, чтобы классифицировать изображение.
Сгенерируйте модель ONNX squeezenet нейронная сеть свертки.
squeezeNet = squeezenet;
exportONNXNetwork(squeezeNet,"squeezeNet.onnx");Задайте файл модели и имена классов.
modelfile = "squeezenet.onnx";
ClassNames = squeezeNet.Layers(end).Classes;Импортируйте слои и веса сети ONNX. По умолчанию, importONNXLayers импортирует сеть как LayerGraph объект, совместимый с DAGNetwork объект.
lgraph = importONNXLayers(modelfile)
lgraph =
LayerGraph with properties:
Layers: [70×1 nnet.cnn.layer.Layer]
Connections: [77×2 table]
InputNames: {'data'}
OutputNames: {'ClassificationLayer_prob'}
Анализируйте импортированную сетевую архитектуру.
analyzeNetwork(lgraph)
Отобразите последний слой импортированной сети. Выход показывает, что график слоев имеет ClassificationOutputLayer в конце сетевой архитектуры.
lgraph.Layers(end)
ans =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_prob'
Classes: 'auto'
ClassWeights: 'none'
OutputSize: 'auto'
Hyperparameters
LossFunction: 'crossentropyex'
Слой классификации не содержит классы, таким образом, необходимо задать их прежде, чем собрать сеть. Если вы не задаете классы, то программное обеспечение автоматически устанавливает классы на 1, 2N, где N количество классов.
Слой классификации имеет имя 'ClassificationLayer_prob'. Установите классы на ClassNames, и затем замените импортированный слой классификации на новый.
cLayer = lgraph.Layers(end);
cLayer.Classes = ClassNames;
lgraph = replaceLayer(lgraph,'ClassificationLayer_prob',cLayer);Соберите график слоев с помощью assembleNetwork возвратить DAGNetwork объект.
net = assembleNetwork(lgraph)
net =
DAGNetwork with properties:
Layers: [70×1 nnet.cnn.layer.Layer]
Connections: [77×2 table]
InputNames: {'data'}
OutputNames: {'ClassificationLayer_prob'}
Считайте изображение, вы хотите классифицировать и отобразить размер изображения. Изображение является 384 512 пикселями и имеет три цветовых канала (RGB).
I = imread("peppers.png");
size(I)ans = 1×3
384 512 3
Измените размер изображения к входному размеру сети. Покажите изображение.
I = imresize(I,[227 227]); imshow(I)
Классифицируйте изображение с помощью импортированной сети.
label = classify(net,I)
label = categorical
bell pepper
dlnetworkИмпортируйте предварительно обученную сеть ONNX как LayerGraph объект, совместимый с dlnetwork объект. Затем преобразуйте график слоев в dlnetwork классифицировать изображение.
Сгенерируйте модель ONNX squeezenet нейронная сеть свертки.
squeezeNet = squeezenet;
exportONNXNetwork(squeezeNet,"squeezeNet.onnx");Задайте файл модели и имена классов.
modelfile = "squeezenet.onnx";
ClassNames = squeezeNet.Layers(end).Classes;Импортируйте слои и веса сети ONNX. Задайте, чтобы импортировать сеть как LayerGraph объект, совместимый с dlnetwork объект.
lgraph = importONNXLayers(modelfile,TargetNetwork="dlnetwork")lgraph =
LayerGraph with properties:
Layers: [70×1 nnet.cnn.layer.Layer]
Connections: [77×2 table]
InputNames: {'data'}
OutputNames: {1×0 cell}
Считайте изображение, вы хотите классифицировать и отобразить размер изображения. Изображение является 384 512 пикселями и имеет три цветовых канала (RGB).
I = imread("peppers.png");
size(I)ans = 1×3
384 512 3
Измените размер изображения к входному размеру сети. Покажите изображение.
I = imresize(I,[227 227]); imshow(I)
Преобразуйте импортированный график слоев в dlnetwork объект.
dlnet = dlnetwork(lgraph);
Преобразуйте изображение в dlarray. Отформатируйте изображения с размерностями "SSCB" (пространственный, пространственный, канал, пакет). В этом случае пакетный размер равняется 1, и можно не использовать его ("SSC").
I_dlarray = dlarray(single(I),"SSCB");Классифицируйте демонстрационное изображение и найдите предсказанную метку.
prob = predict(dlnet,I_dlarray); [~,label] = max(prob);
Отобразите результат классификации.
ClassNames(label)
ans = categorical
bell pepper
Импортируйте предварительно обученную сеть ONNX как LayerGraph объект, и собирает импортированные слои в DAGNetwork объект. Затем используйте DAGNetwork классифицировать изображение. Импортированная сеть содержит операторы ONNX, которые не поддерживаются для преобразования на встроенные слои MATLAB. Программное обеспечение автоматически генерирует пользовательские слои, когда вы импортируете эти операторы.
Этот пример использует функцию помощника findCustomLayers. Чтобы просмотреть код для этой функции, смотрите Функцию Помощника.
Задайте файл, чтобы импортировать как shufflenet с оператором устанавливает 9 из Зоопарка Модели ONNX. shufflenet сверточная нейронная сеть, которая обучена больше чем на миллионе изображений от базы данных ImageNet. В результате сеть изучила богатые представления функции для широкого спектра изображений. Сеть может классифицировать изображения в 1 000 категорий объектов, таких как клавиатура, мышь, карандаш и многие животные.
modelfile = "shufflenet-9.onnx";Импортируйте слои и веса shufflenet. По умолчанию, importONNXLayers импортирует сеть как LayerGraph объект, совместимый с DAGNetwork объект. Если импортированная сеть содержит операторы ONNX, не поддержанные для преобразования на встроенные слои MATLAB, то importONNXLayers может автоматически сгенерировать пользовательские слои вместо этих слоев. importONNXLayers сохраняет каждый сгенерированный пользовательский слой в отдельный .m файл в пакете +shufflenet_9 в текущей папке. Задайте имя пакета при помощи аргумента PackageName значения имени.
lgraph = importONNXLayers(modelfile,PackageName="shufflenet_9")lgraph =
LayerGraph with properties:
Layers: [173×1 nnet.cnn.layer.Layer]
Connections: [188×2 table]
InputNames: {'gpu_0_data_0'}
OutputNames: {'ClassificationLayer_gpu_0_softmax_1'}
Найдите индексы автоматически сгенерированных пользовательских слоев при помощи функции помощника findCustomLayers, и отобразите пользовательские слои.
ind = findCustomLayers(lgraph.Layers,'+shufflenet_9');
lgraph.Layers(ind)ans =
16×1 Layer array with layers:
1 'Reshape_To_ReshapeLayer1004' shufflenet_9.Reshape_To_ReshapeLayer1004 shufflenet_9.Reshape_To_ReshapeLayer1004
2 'Reshape_To_ReshapeLayer1009' shufflenet_9.Reshape_To_ReshapeLayer1009 shufflenet_9.Reshape_To_ReshapeLayer1009
3 'Reshape_To_ReshapeLayer1014' shufflenet_9.Reshape_To_ReshapeLayer1014 shufflenet_9.Reshape_To_ReshapeLayer1014
4 'Reshape_To_ReshapeLayer1019' shufflenet_9.Reshape_To_ReshapeLayer1019 shufflenet_9.Reshape_To_ReshapeLayer1019
5 'Reshape_To_ReshapeLayer1024' shufflenet_9.Reshape_To_ReshapeLayer1024 shufflenet_9.Reshape_To_ReshapeLayer1024
6 'Reshape_To_ReshapeLayer1029' shufflenet_9.Reshape_To_ReshapeLayer1029 shufflenet_9.Reshape_To_ReshapeLayer1029
7 'Reshape_To_ReshapeLayer1034' shufflenet_9.Reshape_To_ReshapeLayer1034 shufflenet_9.Reshape_To_ReshapeLayer1034
8 'Reshape_To_ReshapeLayer1039' shufflenet_9.Reshape_To_ReshapeLayer1039 shufflenet_9.Reshape_To_ReshapeLayer1039
9 'Reshape_To_ReshapeLayer1044' shufflenet_9.Reshape_To_ReshapeLayer1044 shufflenet_9.Reshape_To_ReshapeLayer1044
10 'Reshape_To_ReshapeLayer1049' shufflenet_9.Reshape_To_ReshapeLayer1049 shufflenet_9.Reshape_To_ReshapeLayer1049
11 'Reshape_To_ReshapeLayer1054' shufflenet_9.Reshape_To_ReshapeLayer1054 shufflenet_9.Reshape_To_ReshapeLayer1054
12 'Reshape_To_ReshapeLayer1059' shufflenet_9.Reshape_To_ReshapeLayer1059 shufflenet_9.Reshape_To_ReshapeLayer1059
13 'Reshape_To_ReshapeLayer1064' shufflenet_9.Reshape_To_ReshapeLayer1064 shufflenet_9.Reshape_To_ReshapeLayer1064
14 'Reshape_To_ReshapeLayer1069' shufflenet_9.Reshape_To_ReshapeLayer1069 shufflenet_9.Reshape_To_ReshapeLayer1069
15 'Reshape_To_ReshapeLayer1074' shufflenet_9.Reshape_To_ReshapeLayer1074 shufflenet_9.Reshape_To_ReshapeLayer1074
16 'Reshape_To_ReshapeLayer1079' shufflenet_9.Reshape_To_ReshapeLayer1079 shufflenet_9.Reshape_To_ReshapeLayer1079
Слой классификации не содержит классы, таким образом, необходимо задать их прежде, чем собрать сеть. Если вы не задаете классы, то программное обеспечение автоматически устанавливает классы на 1, 2N, где N количество классов.
Импортируйте имена классов из squeezenet, который также обучен с изображениями от базы данных ImageNet.
SqueezeNet = squeezenet; classNames = SqueezeNet.Layers(end).ClassNames;
Слой cLayer классификации последний слой lgraph. Установите классы на classNames и затем замените импортированный слой классификации на новый.
cLayer = lgraph.Layers(end)
cLayer =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_gpu_0_softmax_1'
Classes: 'auto'
ClassWeights: 'none'
OutputSize: 'auto'
Hyperparameters
LossFunction: 'crossentropyex'
cLayer.Classes = classNames; lgraph = replaceLayer(lgraph,lgraph.Layers(end).Name,cLayer);
Соберите график слоев с помощью assembleNetwork. Функция возвращает DAGNetwork объект, который готов использовать для предсказания.
net = assembleNetwork(lgraph)
net =
DAGNetwork with properties:
Layers: [173×1 nnet.cnn.layer.Layer]
Connections: [188×2 table]
InputNames: {'gpu_0_data_0'}
OutputNames: {'ClassificationLayer_gpu_0_softmax_1'}
Считайте изображение, вы хотите классифицировать и отобразить размер изображения. Изображение является 792 1056 пикселями и имеет три цветовых канала (RGB).
I = imread("peacock.jpg");
size(I)ans = 1×3
792 1056 3
Измените размер изображения к входному размеру сети. Покажите изображение.
I = imresize(I,[224 224]); imshow(I)
Входные параметры к shufflenet потребуйте дальнейшей предварительной обработки (для получения дополнительной информации смотрите ShuffleNet в Зоопарке Модели ONNX). Перемасштабируйте изображение. Нормируйте изображение путем вычитания среднего значения учебных изображений и деления на стандартное отклонение учебных изображений.
I = rescale(I,0,1); meanIm = [0.485 0.456 0.406]; stdIm = [0.229 0.224 0.225]; I = (I - reshape(meanIm,[1 1 3]))./reshape(stdIm,[1 1 3]);
Классифицируйте изображение с помощью импортированной сети.
label = classify(net,I)
label = categorical
peacock
Функция помощника
Этот раздел предоставляет код функции помощника findCustomLayers используемый в этом примере. findCustomLayers возвращает indices из пользовательских слоев, что importONNXLayers автоматически генерирует.
function indices = findCustomLayers(layers,PackageName) s = what(['.\' PackageName]); indices = zeros(1,length(s.m)); for i = 1:length(layers) for j = 1:length(s.m) if strcmpi(class(layers(i)),[PackageName(2:end) '.' s.m{j}(1:end-2)]) indices(j) = i; end end end end
Импортируйте сеть долгой краткосрочной памяти (LSTM) ONNX как график слоев, и затем найдите и замените placholder слои. Сеть LSTM позволяет вам ввести данные о последовательности в сеть и сделать предсказания на основе отдельных временных шагов данных о последовательности.
lstmNet имеет подобную архитектуру к сети LSTM, созданной в Классификации Последовательностей Используя Глубокое обучение. lstmNet обучен распознать динамик, данный данные временных рядов, представляющие два японских гласные, на которых говорят по очереди.
Задайте lstmNet как файл модели.
modelfile = "lstmNet.onnx";Импортируйте слои и веса сети ONNX. По умолчанию, importONNXLayers импортирует сеть как LayerGraph объект, совместимый с DAGNetwork объект.
lgraph = importONNXLayers("lstmNet.onnx")Warning: Unable to import some ONNX operators, because they are not supported. They have been replaced by placeholder layers. To find these layers, call the function findPlaceholderLayers on the returned object.
1 operators(s) : Unable to create an output layer for the ONNX network output 'softmax1001' because its data format is unknown or unsupported by MATLAB output layers.
If you know its format, pass it using the 'OutputDataFormats' argument.
To import the ONNX network as a function, use importONNXFunction.
lgraph =
LayerGraph with properties:
Layers: [6×1 nnet.cnn.layer.Layer]
Connections: [5×2 table]
InputNames: {'sequenceinput'}
OutputNames: {1×0 cell}
importONNXLayers выводит предупреждение и вставляет слой заполнителя для выходного слоя.
Можно проверять на слои заполнителя путем просмотра Layers свойство lgraph или при помощи findPlaceholderLayers функция.
lgraph.Layers
ans =
6×1 Layer array with layers:
1 'sequenceinput' Sequence Input Sequence input with 12 dimensions
2 'lstm1000' LSTM LSTM with 100 hidden units
3 'fc_MatMul' Fully Connected 9 fully connected layer
4 'fc_Add' Elementwise Affine Applies an elementwise scaling followed by an addition to the input.
5 'Flatten_To_SoftmaxLayer1005' lstmNet.Flatten_To_SoftmaxLayer1005 lstmNet.Flatten_To_SoftmaxLayer1005
6 'OutputLayer_softmax1001' PLACEHOLDER LAYER Placeholder for 'added_outputLayer' ONNX operator
placeholderLayers = findPlaceholderLayers(lgraph)
placeholderLayers =
PlaceholderLayer with properties:
Name: 'OutputLayer_softmax1001'
ONNXNode: [1×1 struct]
Weights: []
Learnable Parameters
No properties.
State Parameters
No properties.
Show all properties
Создайте выходной слой, чтобы заменить слой заполнителя. Во-первых, создайте слой классификации с именем OutputLayer_softmax1001. Если вы не задаете классы, то программное обеспечение автоматически устанавливает их на 1, 2N, где N количество классов. В этом случае данные о классе являются категориальным вектором из меток "1", "2"... "9", которые соответствуют девяти динамикам.
outputLayer = classificationLayer('Name','OutputLayer_softmax1001');
Замените слои заполнителя на outputLayer при помощи replaceLayer функция.
lgraph = replaceLayer(lgraph,'OutputLayer_softmax1001',outputLayer);Отобразите Layers свойство графика слоев подтвердить замену.
lgraph.Layers
ans =
6×1 Layer array with layers:
1 'sequenceinput' Sequence Input Sequence input with 12 dimensions
2 'lstm1000' LSTM LSTM with 100 hidden units
3 'fc_MatMul' Fully Connected 9 fully connected layer
4 'fc_Add' Elementwise Affine Applies an elementwise scaling followed by an addition to the input.
5 'Flatten_To_SoftmaxLayer1005' lstmNet.Flatten_To_SoftmaxLayer1005 lstmNet.Flatten_To_SoftmaxLayer1005
6 'OutputLayer_softmax1001' Classification Output crossentropyex
В качестве альтернативы задайте выходной слой, когда вы импортируете график слоев при помощи OutputLayerType или OutputDataFormats опция. Проверяйте, имеют ли импортированные графики слоев слои заполнителя при помощи findPlaceholderLayers.
lgraph1 = importONNXLayers("lstmNet.onnx",OutputLayerType="classification"); findPlaceholderLayers(lgraph1)
ans = 0×1 Layer array with properties:
lgraph2 = importONNXLayers("lstmNet.onnx",OutputDataFormats="BC"); findPlaceholderLayers(lgraph2)
ans = 0×1 Layer array with properties:
Импортированные графики слоев lgraph1 и lgraph2 не имейте слоев заполнителя.
Импортируйте сеть ONNX, которая имеет несколько выходных параметров при помощи importONNXLayers, и затем соберите импортированный график слоев в DAGNetwork объект.
Задайте сетевой файл, из которого можно импортировать слои и веса.
modelfile = "digitsMIMO.onnx";Импортируйте слои и веса от modelfile. Сеть в digitsMIMO.onnx имеет два выходных слоя: один слой классификации (ClassificationLayer_sm_1) классифицировать цифры и один слой регрессии (RegressionLayer_fc_1_Flatten) вычислить среднеквадратическую ошибку для предсказанных углов цифр.
lgraph = importONNXLayers(modelfile)
lgraph =
LayerGraph with properties:
Layers: [19×1 nnet.cnn.layer.Layer]
Connections: [19×2 table]
InputNames: {'input'}
OutputNames: {'ClassificationLayer_sm_1' 'RegressionLayer_fc_1_Flatten'}
Постройте график слоев с помощью plot, и отобразите слои lgraph.
plot(lgraph)
lgraph.Layers
ans =
19×1 Layer array with layers:
1 'input' Image Input 28×28×1 images
2 'conv_1' Convolution 16 5×5×1 convolutions with stride [1 1] and padding [2 2 2 2]
3 'BN_1' Batch Normalization Batch normalization with 16 channels
4 'relu_1' ReLU ReLU
5 'conv_2' Convolution 32 1×1×16 convolutions with stride [2 2] and padding [0 0 0 0]
6 'conv_3' Convolution 32 3×3×16 convolutions with stride [2 2] and padding [1 1 1 1]
7 'BN_2' Batch Normalization Batch normalization with 32 channels
8 'relu_2' ReLU ReLU
9 'conv_4' Convolution 32 3×3×32 convolutions with stride [1 1] and padding [1 1 1 1]
10 'BN_3' Batch Normalization Batch normalization with 32 channels
11 'relu_3' ReLU ReLU
12 'plus_1' Addition Element-wise addition of 2 inputs
13 'fc_1' Convolution 1 14×14×32 convolutions with stride [1 1] and padding [0 0 0 0]
14 'fc_2' Convolution 10 14×14×32 convolutions with stride [1 1] and padding [0 0 0 0]
15 'sm_1_Flatten' ONNX Flatten Flatten activations into 1-D assuming C-style (row-major) order
16 'sm_1' Softmax softmax
17 'fc_1_Flatten' ONNX Flatten Flatten activations into 1-D assuming C-style (row-major) order
18 'ClassificationLayer_sm_1' Classification Output crossentropyex
19 'RegressionLayer_fc_1_Flatten' Regression Output mean-squared-error
Слой классификации не содержит классы, таким образом, необходимо задать их прежде, чем собрать сеть. Если вы не задаете классы, то программное обеспечение автоматически устанавливает классы на 1, 2N, где N количество классов. Задайте классы cLayer как 0, 1, ..., 9. Затем замените импортированный слой классификации на новый.
ClassNames = string(0:9);
cLayer = lgraph.Layers(18);
cLayer.Classes = ClassNames;
lgraph = replaceLayer(lgraph,"ClassificationLayer_sm_1",cLayer);Соберите график слоев с помощью assembleNetwork. Функция возвращает DAGNetwork объект, который готов использовать для предсказания.
assembledNet = assembleNetwork(lgraph)
assembledNet =
DAGNetwork with properties:
Layers: [19×1 nnet.cnn.layer.Layer]
Connections: [19×2 table]
InputNames: {'input'}
OutputNames: {'ClassificationLayer_sm_1' 'RegressionLayer_fc_1_Flatten'}
importONNXLayers поддержки версии ONNX можно следующим образом:
Функция поддерживает промежуточную версию 6 представления ONNX.
Функция поддерживает наборы оператора ONNX 6 - 13.
Примечание
Если вы импортируете экспортируемую сеть, слои повторно импортированной сетевой силы отличаются от исходной сети и не могут поддерживаться.
Если импортированная сеть содержит оператор ONNX, не поддержанный для преобразования на встроенный слой MATLAB (см. Операторы ONNX, Поддержанные для Преобразования на Встроенные Слои MATLAB), и importONNXLayers не генерирует пользовательский слой, затем importONNXLayers вставляет слой заполнителя вместо неподдерживаемого слоя. Чтобы найти имена и индексы неподдерживаемых слоев в сети, используйте findPlaceholderLayers функция. Затем можно заменить слой заполнителя на новый слой, который вы задаете. Чтобы заменить слой, использовать replaceLayer. Для примера смотрите Импорт и Соберите Сеть ONNX с Несколькими Выходными параметрами.
Чтобы использовать предварительно обученную сеть для предсказания или передачи обучения на новых изображениях, необходимо предварительно обработать изображения таким же образом изображения, которые использовались, чтобы обучаться, импортированная модель были предварительно обработаны. Наиболее распространенные шаги предварительной обработки изменяют размер изображений, вычитая средние значения изображений, и преобразовывая изображения от изображений BGR до RGB.
Для получения дополнительной информации о предварительной обработке изображений для обучения и предсказания, смотрите, Предварительно обрабатывают Изображения для Глубокого обучения.
Конвертер Deep Learning Toolbox для Формата Модели ONNX обеспечивает три функции, чтобы импортировать предварительно обученную сеть ONNX: importONNXNetwork, importONNXLayers, и importONNXFunction. Для получения дополнительной информации о котором функция импорта лучше всего удовлетворяет различным сценариям, смотрите, Выбирают Function to Import ONNX Pretrained Network.
importCaffeNetwork | importCaffeLayers | importKerasNetwork | importKerasLayers | importONNXNetwork | exportONNXNetwork | findPlaceholderLayers | replaceLayer | assembleNetwork | importONNXFunction | importTensorFlowNetwork | importTensorFlowLayers