Импортируйте слои из сети Keras
layers = importKerasLayers(modelfile).h5) или JSON (.json) файл, данный именем файла modelfile.
Эта функция требует Средства импорта Deep Learning Toolbox™ для пакета поддержки Моделей TensorFlow-Keras. Если этот пакет поддержки не установлен, то функция обеспечивает ссылку на загрузку.
layers = importKerasLayers(modelfile,Name,Value)
Например, importKerasLayers(modelfile,'ImportWeights',true) импортирует слоя сети и веса из файла модели modelfile.
Загрузите и установите Средство импорта Deep Learning Toolbox для пакета поддержки Моделей TensorFlow-Keras.
Введите importKerasLayers в командной строке.
importKerasLayers
Если Средство импорта Deep Learning Toolbox для пакета поддержки Моделей TensorFlow-Keras не установлено, то функция обеспечивает ссылку на необходимый пакет поддержки в Add-On Explorer. Чтобы установить пакет поддержки, щелкните по ссылке, и затем нажмите Install. Проверяйте, что установка успешна путем импорта слоев из файла модели 'digitsDAGnet.h5' в командной строке.
modelfile = 'digitsDAGnet.h5';
layers = importKerasLayers(modelfile)layers =
LayerGraph with properties:
Layers: [13×1 nnet.cnn.layer.Layer]
Connections: [13×2 table]Если необходимый пакет поддержки установлен, то функция возвращает LayerGraph объект.
Импортируйте слоя сети из файла модели digitsDAGnet.h5.
modelfile = 'digitsDAGnet.h5';
layers = importKerasLayers(modelfile) layers =
LayerGraph with properties:
Layers: [13×1 nnet.cnn.layer.Layer]
Connections: [13×2 table]
Постройте сетевую архитектуру.
figure plot(layers)
Задайте сетевой файл, чтобы импортировать.
modelfile = 'digitsDAGnet.h5';Импортируйте слоя сети.
layers = importKerasLayers(modelfile)
layers =
LayerGraph with properties:
Layers: [13×1 nnet.cnn.layer.Layer]
Connections: [13×2 table]
Загрузите набор данных для обучения классификатор, чтобы распознать новые цифры.
folder = fullfile(toolboxdir('nnet'),'nndemos','nndatasets','DigitDataset'); imds = imageDatastore(folder, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
Разделите набор данных в наборы обучающих данных и наборы тестов.
numTrainFiles = 750;
[imdsTrain,imdsTest] = splitEachLabel(imds,numTrainFiles,'randomize');Установите опции обучения.
options = trainingOptions('sgdm', ... 'MaxEpochs',10, ... 'InitialLearnRate',0.001);
Обучите сеть с помощью обучающих данных.
net = trainNetwork(imdsTrain,layers,options);
Training on single GPU. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:00 | 5.47% | 6.4266 | 0.0010 | | 1 | 50 | 00:00:05 | 81.25% | 0.6227 | 0.0010 | | 2 | 100 | 00:00:08 | 92.19% | 0.2386 | 0.0010 | | 3 | 150 | 00:00:12 | 96.88% | 0.0726 | 0.0010 | | 4 | 200 | 00:00:16 | 97.66% | 0.0871 | 0.0010 | | 5 | 250 | 00:00:19 | 99.22% | 0.0415 | 0.0010 | | 6 | 300 | 00:00:23 | 97.66% | 0.0725 | 0.0010 | | 7 | 350 | 00:00:27 | 100.00% | 0.0291 | 0.0010 | | 7 | 400 | 00:00:30 | 99.22% | 0.0230 | 0.0010 | | 8 | 450 | 00:00:34 | 99.22% | 0.0337 | 0.0010 | | 9 | 500 | 00:00:38 | 99.22% | 0.0120 | 0.0010 | | 10 | 550 | 00:00:41 | 100.00% | 0.0036 | 0.0010 | | 10 | 580 | 00:00:44 | 100.00% | 0.0059 | 0.0010 | |========================================================================================|
Запустите обучивший сеть на наборе тестов, который не использовался, чтобы обучить сеть и предсказать метки изображения (цифры).
YPred = classify(net,imdsTest); YTest = imdsTest.Labels;
Вычислите точность.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9828
Задайте сетевой файл, чтобы импортировать слои и веса от.
modelfile = 'digitsDAGnet.h5';Импортируйте сетевую архитектуру и веса из файлов, которые вы задали. Чтобы импортировать веса слоя, задайте 'ImportWeights' быть true. Функция также импортирует слои с их весами из того же файла HDF5.
layers = importKerasLayers(modelfile,'ImportWeights',true)layers =
LayerGraph with properties:
Layers: [13×1 nnet.cnn.layer.Layer]
Connections: [13×2 table]
Просмотрите размер весов во втором слое.
weights = layers.Layers(2).Weights; size(weights)
ans = 1×4
7 7 1 20
Функция импортировала веса, таким образом, веса слоя непусты.
Задайте сетевой файл, чтобы импортировать слои из и файл, содержащий веса.
modelfile = 'digitsDAGnet.json'; weights = 'digitsDAGnet.weights.h5';
Импортируйте сетевую архитектуру и веса из файлов, которые вы задали. .json файл не включает выходной слой. Задайте выходной слой, так, чтобы importKerasLayers добавил выходной слой в конце архитектуры сетей.
layers = importKerasLayers(modelfile, ... 'ImportWeights',true, ... 'WeightFile',weights, ... 'OutputLayerType','classification')
layers =
LayerGraph with properties:
Layers: [13×1 nnet.cnn.layer.Layer]
Connections: [13×2 table]
В этом примере показано, как импортировать слои из предварительно обученной сети Keras, замените неподдерживаемые слои на пользовательские слои и соберите слои в сеть, готовую к предсказанию.
Импортируйте сеть Keras
Импортируйте слои из сетевой модели Keras. Сеть в 'digitsDAGnetwithnoise.h5' классифицирует изображения цифр.
filename = 'digitsDAGnetwithnoise.h5'; lgraph = importKerasLayers(filename,'ImportWeights',true);
Warning: Unable to import some Keras layers, because they are not yet supported by the Deep Learning Toolbox. They have been replaced by placeholder layers. To find these layers, call the function findPlaceholderLayers on the returned object.
Сеть Keras содержит некоторые слои, которые не поддержаны Deep Learning Toolbox. importKerasLayers функция выводит предупреждение и заменяет неподдерживаемые слои на слои заполнителя.
Постройте график слоев с помощью plot.
figure
plot(lgraph)
title("Imported Network")
Замените слои заполнителя
Чтобы заменить слои заполнителя, сначала идентифицируйте имена слоев, чтобы заменить. Найдите слои заполнителя с помощью findPlaceholderLayers.
placeholderLayers = findPlaceholderLayers(lgraph)
placeholderLayers =
2x1 PlaceholderLayer array with layers:
1 'gaussian_noise_1' PLACEHOLDER LAYER Placeholder for 'GaussianNoise' Keras layer
2 'gaussian_noise_2' PLACEHOLDER LAYER Placeholder for 'GaussianNoise' Keras layer
Отобразите настройки Keras этих слоев.
placeholderLayers.KerasConfiguration
ans = struct with fields:
trainable: 1
name: 'gaussian_noise_1'
stddev: 1.5000
ans = struct with fields:
trainable: 1
name: 'gaussian_noise_2'
stddev: 0.7000
Задайте пользовательский Гауссов шумовой слой. Чтобы создать этот слой, сохраните файл gaussianNoiseLayer.m в текущей папке. Затем создайте два Гауссовых шумовых слоя с теми же настройками как импортированные слои Keras.
gnLayer1 = gaussianNoiseLayer(1.5,'new_gaussian_noise_1'); gnLayer2 = gaussianNoiseLayer(0.7,'new_gaussian_noise_2');
Замените слои заполнителя на пользовательские слои с помощью replaceLayer.
lgraph = replaceLayer(lgraph,'gaussian_noise_1',gnLayer1); lgraph = replaceLayer(lgraph,'gaussian_noise_2',gnLayer2);
Постройте обновленный график слоев с помощью plot.
figure
plot(lgraph)
title("Network with Replaced Layers")
Задайте имена классов
Если импортированный слой классификации не содержит классы, то необходимо задать их перед предсказанием. Если вы не задаете классы, то программное обеспечение автоматически устанавливает классы на 1, 2N, где N количество классов.
Найдите индекс слоя классификации путем просмотра Layers свойство графика слоев.
lgraph.Layers
ans =
15x1 Layer array with layers:
1 'input_1' Image Input 28x28x1 images
2 'conv2d_1' Convolution 20 7x7x1 convolutions with stride [1 1] and padding 'same'
3 'conv2d_1_relu' ReLU ReLU
4 'conv2d_2' Convolution 20 3x3x1 convolutions with stride [1 1] and padding 'same'
5 'conv2d_2_relu' ReLU ReLU
6 'new_gaussian_noise_1' Gaussian Noise Gaussian noise with standard deviation 1.5
7 'new_gaussian_noise_2' Gaussian Noise Gaussian noise with standard deviation 0.7
8 'max_pooling2d_1' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
9 'max_pooling2d_2' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
10 'flatten_1' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
11 'flatten_2' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
12 'concatenate_1' Depth concatenation Depth concatenation of 2 inputs
13 'dense_1' Fully Connected 10 fully connected layer
14 'activation_1' Softmax softmax
15 'ClassificationLayer_activation_1' Classification Output crossentropyex
Слой классификации имеет имя 'ClassificationLayer_activation_1'. Просмотрите слой классификации и проверяйте Classes свойство.
cLayer = lgraph.Layers(end)
cLayer =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_activation_1'
Classes: 'auto'
OutputSize: 'auto'
Hyperparameters
LossFunction: 'crossentropyex'
Поскольку Classes свойством слоя является 'auto', необходимо задать классы вручную. Установите классы на 0, 1, ..., 9, и затем замените импортированный слой классификации на новый.
cLayer.Classes = string(0:9)
cLayer =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_activation_1'
Classes: [0 1 2 3 4 5 6 7 8 9]
OutputSize: 10
Hyperparameters
LossFunction: 'crossentropyex'
lgraph = replaceLayer(lgraph,'ClassificationLayer_activation_1',cLayer);Соберите сеть
Соберите график слоев с помощью assembleNetwork. Функция возвращает DAGNetwork объект, который готов использовать в предсказании.
net = assembleNetwork(lgraph)
net =
DAGNetwork with properties:
Layers: [15×1 nnet.cnn.layer.Layer]
Connections: [15×2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Импортируйте слои из сети Keras, которая имеет параметрические исправленные линейные модульные слои (PReLU).
Слой PReLU выполняет пороговую операцию, где для каждого канала, любое входное значение меньше, чем нуль умножаются на скаляр. Операцией PReLU дают
где вход нелинейной активации на канале , и масштабный коэффициент, управляющий наклоном отрицательной части. Индекс \in указывает, что параметр может быть вектором, и нелинейная активация может варьироваться на различных каналах.
importKerasNetwork и importKerasLayers может импортировать сеть, которая включает слои PReLU. Эти функции поддерживают и масштабные коэффициенты с векторным знаком и со скалярным знаком. Если масштабный коэффициент является вектором, то функции заменяют вектор на среднее значение векторных элементов. Можно изменить слой PReLU, чтобы иметь масштабный коэффициент с векторным знаком после импорта.
Задайте сетевой файл, чтобы импортировать.
modelfile = 'digitsDAGnetwithPReLU.h5';digitsDAGnetwithPReLU включает два слоя PReLU. У каждого есть масштабный коэффициент со скалярным знаком, и другой имеет масштабный коэффициент с векторным знаком.
Импортируйте сетевую архитектуру и веса от modelfile.
layers = importKerasLayers(modelfile,'ImportWeights',true);Warning: Layer 'p_re_lu_1' is a PReLU layer with a vector-valued parameter. The function replaces the parameter with the average of the vector elements. You can change the parameter back to a vector after import.
importKerasLayers функция выводит предупреждение для слоя PReLu p_re_lu_1. Функция заменяет масштабный коэффициент с векторным знаком p_re_lu_1 со средним значением векторных элементов. Можно возвратить параметр к вектору. Во-первых, найдите индекс слоя PReLU путем просмотра Layers свойство.
layers.Layers
ans =
13x1 Layer array with layers:
1 'input_1' Image Input 28x28x1 images
2 'conv2d_1' Convolution 20 7x7x1 convolutions with stride [1 1] and padding 'same'
3 'conv2d_2' Convolution 20 3x3x1 convolutions with stride [1 1] and padding 'same'
4 'p_re_lu_1' PReLU PReLU layer
5 'p_re_lu_2' PReLU PReLU layer
6 'max_pooling2d_1' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
7 'max_pooling2d_2' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
8 'flatten_1' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
9 'flatten_2' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
10 'concatenate_1' Depth concatenation Depth concatenation of 2 inputs
11 'dense_1' Fully Connected 10 fully connected layer
12 'dense_1_softmax' Softmax softmax
13 'ClassificationLayer_dense_1' Classification Output crossentropyex
layers имеет два слоя PReLU. Извлеките четвертый слой p_re_lu_1, который первоначально имел масштабный коэффициент с векторным знаком для размерности канала.
tempLayer = layers.Layers(4)
tempLayer =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20×1 single]
Learnable Parameters
Alpha: 0.0044
Show all properties
RawAlpha свойство содержит масштабный коэффициент с векторным знаком и Alpha свойство содержит скаляр, который является средним значением элемента векторных значений. Измените RawAlpha поместить векторные значения в третью размерность, которая соответствует размерности канала. Затем замена Alpha с измененным RawAlpha значения.
tempLayer.Alpha = reshape(tempLayer.RawAlpha,[1,1,numel(tempLayer.RawAlpha)])
tempLayer =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20×1 single]
Learnable Parameters
Alpha: [1×1×20 single]
Show all properties
Замените p_re_lu_1 слой в layers с tempLayer.
layers = replaceLayer(layers,'p_re_lu_1', tempLayer);
layers.Layers(4)ans =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20×1 single]
Learnable Parameters
Alpha: [1×1×20 single]
Show all properties
Теперь p_re_lu_1 слой имеет масштабный коэффициент с векторным знаком.
importKerasLayers поддерживает следующие типы слоя Keras, с некоторыми ограничениями. Если сеть содержит какой-либо другой тип слоя, то программное обеспечение вставляет слой заполнителя вместо неподдерживаемого слоя. Чтобы найти имена и индексы неподдерживаемых слоев в сети, используйте findPlaceholderLayers функция. Затем можно заменить слой заполнителя на новый слой, который вы задаете. Чтобы заменить слой, используйте replaceLayer.
| Поддерживаемый слой Keras | Соответствующий слой Deep Learning Toolbox |
|---|---|
Add | additionLayer |
| Слои:
|
Усовершенствованные активации:
| Слои:
|
AveragePooling2D | averagePooling2dLayer |
BatchNormalization | batchNormalizationLayer |
Bidirectional(LSTM(__)) | bilstmLayer |
Concatenate | depthConcatenationLayer |
Conv2D | convolution2dLayer |
Conv2DTranspose | transposedConv2dLayer |
CuDNNLSTM | lstmLayer |
Dense | fullyConnectedLayer |
DepthwiseConv2D | groupedConvolution2dLayer |
Dropout | dropoutLayer |
Embedding | wordEmbeddingLayer (Text Analytics Toolbox™) |
Flatten | nnet.keras.layer.FlattenCStyleLayer |
GlobalAveragePooling2D | globalAveragePooling2dLayer |
GlobalMaxPooling2D | globalMaxPooling2dLayer |
GRU | gruLayer |
Input | imageInputLayer |
LSTM | lstmLayer |
MaxPooling2D | maxPooling2dLayer |
SeparableConv2D | groupedConvolution2dLayer или convolution2dLayer |
ZeroPadding2D | nnet.keras.layer.ZeroPadding2DLayer |
*Для слоя PReLU, importKerasLayers заменяет масштабный коэффициент с векторным знаком на среднее значение векторных элементов. Можно возвратить параметр к вектору после импорта. Для примера смотрите Импорт Слой Keras PReLU.
Можно заменить слой заполнителя на новый слой, который вы задаете.
Если сеть является серийной сетью, то замените слой в массиве непосредственно. Например, layer(2) = newlayer;.
Если сеть является сетью DAG, то замените слой с помощью replaceLayer. Для примера смотрите, Собирают Сеть от Предварительно обученных Слоев Keras.
importKerasLayers поддерживает следующие функции потерь Keras:
mean_squared_error
categorical_crossentropy
sparse_categorical_crossentropy
binary_crossentropy
Можно импортировать сеть Keras с несколькими входными параметрами и несколькими выходными параметрами (MIMO). Используйте importKerasNetwork если сеть включает входную информацию о размере для входных параметров и информацию о потере для выходных параметров. В противном случае используйте importKerasLayers. importKerasLayers функция вставляет слои заполнителя для вводов и выводов. После импорта можно найти и заменить слои заполнителя при помощи findPlaceholderLayers и replaceLayer, соответственно. Рабочий процесс для импорта сетей MIMO Keras совпадает с рабочим процессом для импорта сетей MIMO ONNX™. Для примера смотрите Импорт Сеть ONNX с Несколькими Выходными параметрами. Чтобы узнать о нейронной сети для глубокого обучения с несколькими входными параметрами и несколькими выходными параметрами, смотрите Несколько - Вход и Несколько - Выходные Сети.
Чтобы использовать предварительно обученную сеть в предсказании или передаче обучения на новых изображениях, необходимо предварительно обработать изображения таким же образом, как изображения, используемые, чтобы обучить импортированную модель, были предварительно обработаны. Изменение размеров изображений, вычитание среднего изображения и преобразование изображений от RGB до формата BGR являются наиболее распространенными операциями предварительной обработки.
Для получения дополнительной информации о предварительной обработке изображений для обучения и предсказания, смотрите, Предварительно обрабатывают Изображения для Глубокого обучения.
[1] Keras: библиотека Python Deep Learning. https://keras.io.
assembleNetwork | exportONNXNetwork | findPlaceholderLayers | importCaffeLayers | importCaffeNetwork | importKerasNetwork | importONNXLayers | importONNXNetwork | replaceLayer