Импорт слоев из сети Keras
layers = importKerasLayers(modelfile).h5) или JSON (.json) файл, заданный именем файла modelfile.
Эта функция требует пакета поддержки Deep Learning Toolbox™ Converter для моделей TensorFlow. Если этот пакет поддержки не установлен, то функция предоставляет ссылку на загрузку.
layers = importKerasLayers(modelfile,Name,Value)
Для примера, importKerasLayers(modelfile,'ImportWeights',true) импортирует слои сети и веса из файла модели modelfile.
Загрузите и установите пакет поддержки Deep Learning Toolbox Converter для TensorFlow Models.
Тип importKerasLayers в командной строке.
importKerasLayers
Если пакет поддержки Deep Learning Toolbox Converter для TensorFlow Models не установлен, то функция предоставляет ссылку на необходимый пакет поддержки в Add-On Explorer. Чтобы установить пакет поддержки, щелкните ссылку и выберите Установить. Проверьте, что установка выполнена успешно, импортировав слои из файла модели 'digitsDAGnet.h5' в командной строке. Если установлен необходимый пакет поддержки, то функция возвращает LayerGraph объект.
modelfile = 'digitsDAGnet.h5';
net = importKerasLayers(modelfile)net =
LayerGraph with properties:
Layers: [13x1 nnet.cnn.layer.Layer]
Connections: [13x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Импортируйте слои сети из файла модели digitsDAGnet.h5.
modelfile = 'digitsDAGnet.h5';
layers = importKerasLayers(modelfile) layers =
LayerGraph with properties:
Layers: [13x1 nnet.cnn.layer.Layer]
Connections: [13x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Постройте график сетевой архитектуры.
plot(layers)
Укажите сетевой файл для импорта.
modelfile = 'digitsDAGnet.h5';Импорт слоев сети.
layers = importKerasLayers(modelfile)
layers =
LayerGraph with properties:
Layers: [13x1 nnet.cnn.layer.Layer]
Connections: [13x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Загрузите набор данных для настройки классификатора для распознавания новых цифр.
folder = fullfile(toolboxdir('nnet'),'nndemos','nndatasets','DigitDataset'); imds = imageDatastore(folder, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
Разделите набор данных на обучающие и тестовые наборы.
numTrainFiles = 750;
[imdsTrain,imdsTest] = splitEachLabel(imds,numTrainFiles,'randomize');Установите опции обучения.
options = trainingOptions('sgdm', ... 'MaxEpochs',10, ... 'InitialLearnRate',0.001);
Обучите сеть с помощью обучающих данных.
net = trainNetwork(imdsTrain,layers,options);
Training on single CPU. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:01 | 15.62% | 12.6982 | 0.0010 | | 1 | 50 | 00:00:07 | 63.28% | 1.2109 | 0.0010 | | 2 | 100 | 00:00:13 | 85.16% | 0.4193 | 0.0010 | | 3 | 150 | 00:00:18 | 96.88% | 0.1749 | 0.0010 | | 4 | 200 | 00:00:24 | 99.22% | 0.0456 | 0.0010 | | 5 | 250 | 00:00:30 | 100.00% | 0.0373 | 0.0010 | | 6 | 300 | 00:00:37 | 96.88% | 0.1223 | 0.0010 | | 7 | 350 | 00:00:44 | 100.00% | 0.0087 | 0.0010 | | 7 | 400 | 00:00:50 | 100.00% | 0.0166 | 0.0010 | | 8 | 450 | 00:00:55 | 100.00% | 0.0098 | 0.0010 | | 9 | 500 | 00:01:01 | 100.00% | 0.0047 | 0.0010 | | 10 | 550 | 00:01:07 | 100.00% | 0.0031 | 0.0010 | | 10 | 580 | 00:01:10 | 100.00% | 0.0059 | 0.0010 | |========================================================================================|
Запустите обученную сеть на тестовом наборе, который не использовался для обучения сети и прогнозирования меток изображений (цифр).
YPred = classify(net,imdsTest); YTest = imdsTest.Labels;
Вычислите точность.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9856
Укажите сетевой файл для импорта слоев и весов.
modelfile = 'digitsDAGnet.h5';Импортируйте сетевую архитектуру и веса из указанных вами файлов. Чтобы импортировать веса слоев, задайте 'ImportWeights' чтобы быть true. Функция также импортирует слои с их весами из того же файла HDF5.
layers = importKerasLayers(modelfile,'ImportWeights',true)layers =
LayerGraph with properties:
Layers: [13x1 nnet.cnn.layer.Layer]
Connections: [13x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Просмотрите размер весов во втором слое.
weights = layers.Layers(2).Weights; size(weights)
ans = 1×4
7 7 1 20
Функция импортировала веса, чтобы веса слоев были непустыми.
Укажите сетевой файл для импорта слоев и файл, содержащий веса.
modelfile = 'digitsDAGnet.json'; weights = 'digitsDAGnet.weights.h5';
Импортируйте сетевую архитектуру и веса из указанных вами файлов. Файл .json не включает слой выхода. Задайте слой выхода, чтобы importKerasLayers добавил слой выхода в конце архитектуры сетей.
layers = importKerasLayers(modelfile, ... 'ImportWeights',true, ... 'WeightFile',weights, ... 'OutputLayerType','classification')
layers =
LayerGraph with properties:
Layers: [13x1 nnet.cnn.layer.Layer]
Connections: [13x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
В этом примере показано, как импортировать слои из предварительно обученной сети Keras, заменить неподдерживаемые слои пользовательскими слоями и собрать слои в сеть, готовую к предсказанию.
Импорт сети Keras
Импортируйте слои из сетевой модели Keras. Сеть в 'digitsDAGnetwithnoise.h5' классифицирует изображения цифр.
filename = 'digitsDAGnetwithnoise.h5'; lgraph = importKerasLayers(filename,'ImportWeights',true);
Warning: Unable to import some Keras layers, because they are not supported by the Deep Learning Toolbox. They have been replaced by placeholder layers. To find these layers, call the function findPlaceholderLayers on the returned object.
Сеть Keras содержит некоторые слои, которые не поддерживаются Deep Learning Toolbox. The importKerasLayers функция отображает предупреждение и заменяет неподдерживаемые слои слоями-заполнителями.
Постройте график графика слоев с помощью plot.
figure
plot(lgraph)
title("Imported Network")
Замена слоев
Чтобы заменить слои-заполнители, сначала определите имена заменяемых слоев. Найдите заполнитель слоев используя findPlaceholderLayers.
placeholderLayers = findPlaceholderLayers(lgraph)
placeholderLayers =
2x1 PlaceholderLayer array with layers:
1 'gaussian_noise_1' PLACEHOLDER LAYER Placeholder for 'GaussianNoise' Keras layer
2 'gaussian_noise_2' PLACEHOLDER LAYER Placeholder for 'GaussianNoise' Keras layer
Отображение строений Keras этих слоев.
placeholderLayers.KerasConfiguration
ans = struct with fields:
trainable: 1
name: 'gaussian_noise_1'
stddev: 1.5000
ans = struct with fields:
trainable: 1
name: 'gaussian_noise_2'
stddev: 0.7000
Задайте пользовательский слой Гауссова шума. Чтобы создать этот слой, сохраните файл gaussianNoiseLayer.m в текущей папке. Затем создайте два слоя Гауссова шума с такими же строениями, как и импортированные слои Keras.
gnLayer1 = gaussianNoiseLayer(1.5,'new_gaussian_noise_1'); gnLayer2 = gaussianNoiseLayer(0.7,'new_gaussian_noise_2');
Замените слои-заполнители пользовательскими слоями с помощью replaceLayer.
lgraph = replaceLayer(lgraph,'gaussian_noise_1',gnLayer1); lgraph = replaceLayer(lgraph,'gaussian_noise_2',gnLayer2);
Постройте график обновленного графика слоев с помощью plot.
figure
plot(lgraph)
title("Network with Replaced Layers")
Задайте имена классов
Если импортированный слой классификации не содержит классов, необходимо задать их перед предсказанием. Если вы не задаете классы, то программное обеспечение автоматически устанавливает классы на 1, 2..., N, где N количество классов.
Найдите индекс слоя классификации путем просмотра Layers свойство графика слоев.
lgraph.Layers
ans =
15x1 Layer array with layers:
1 'input_1' Image Input 28x28x1 images
2 'conv2d_1' Convolution 20 7x7x1 convolutions with stride [1 1] and padding 'same'
3 'conv2d_1_relu' ReLU ReLU
4 'conv2d_2' Convolution 20 3x3x1 convolutions with stride [1 1] and padding 'same'
5 'conv2d_2_relu' ReLU ReLU
6 'new_gaussian_noise_1' Gaussian Noise Gaussian noise with standard deviation 1.5
7 'new_gaussian_noise_2' Gaussian Noise Gaussian noise with standard deviation 0.7
8 'max_pooling2d_1' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
9 'max_pooling2d_2' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
10 'flatten_1' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
11 'flatten_2' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
12 'concatenate_1' Depth concatenation Depth concatenation of 2 inputs
13 'dense_1' Fully Connected 10 fully connected layer
14 'activation_1' Softmax softmax
15 'ClassificationLayer_activation_1' Classification Output crossentropyex
Классификационный слой имеет имя 'ClassificationLayer_activation_1'. Просмотрите слой классификации и проверьте Classes свойство.
cLayer = lgraph.Layers(end)
cLayer =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_activation_1'
Classes: 'auto'
ClassWeights: 'none'
OutputSize: 'auto'
Hyperparameters
LossFunction: 'crossentropyex'
Потому что Classes свойство слоя 'auto'необходимо задать классы вручную. Установите классы равными 0, 1..., 9, а затем замените импортированный слой классификации на новый.
cLayer.Classes = string(0:9)
cLayer =
ClassificationOutputLayer with properties:
Name: 'ClassificationLayer_activation_1'
Classes: [0 1 2 3 4 5 6 7 8 9]
ClassWeights: 'none'
OutputSize: 10
Hyperparameters
LossFunction: 'crossentropyex'
lgraph = replaceLayer(lgraph,'ClassificationLayer_activation_1',cLayer);Сборка сети
Собрать график слоев можно используя команду assembleNetwork. Функция возвращает DAGNetwork объект, который готов к использованию для предсказания.
net = assembleNetwork(lgraph)
net =
DAGNetwork with properties:
Layers: [15x1 nnet.cnn.layer.Layer]
Connections: [15x2 table]
InputNames: {'input_1'}
OutputNames: {'ClassificationLayer_activation_1'}
Импортируйте слои из сети Keras, которая имеет слои параметрических выпрямленных линейных модулей (PReLU).
Слой PReLU выполняет операцию порога, где для каждого канала любой вход значение, меньше нуля, умножается на скаляр. Операция PReLU определяется
где является входом нелинейной активации по каналу , и - параметр масштабирования, контролирующий наклон отрицательной детали. Индекс в указывает, что параметр может быть вектором, а нелинейная активация может варьироваться в разных каналах.
importKerasNetwork и importKerasLayers можно импортировать сеть, которая включает слои PReLU. Эти функции поддерживают как скалярные, так и векторные параметры масштабирования. Если параметр масштабирования является вектором, то функции заменяют вектор на среднее значение векторных элементов. Вы можете изменить слой PReLU, чтобы иметь векторный параметр масштабирования после импорта.
Укажите сетевой файл для импорта.
modelfile = 'digitsDAGnetwithPReLU.h5';digitsDAGnetwithPReLU включает два слоя PReLU. Один имеет скалярный параметр масштабирования, а другой имеет векторный параметр масштабирования.
Импортируйте сетевую архитектуру и веса из modelfile.
layers = importKerasLayers(modelfile,'ImportWeights',true);Warning: Layer 'p_re_lu_1' is a PReLU layer with a vector-valued parameter. The function replaces the parameter with the average of the vector elements. You can change the parameter back to a vector after import.
The importKerasLayers функция отображает предупреждение для слоя PReLu p_re_lu_1. Функция заменяет векторный параметр масштабирования p_re_lu_1 со средним значением векторных элементов. Можно изменить параметр назад на вектор. Сначала найдите индекс слоя PReLU, просматривая Layers свойство.
layers.Layers
ans =
13x1 Layer array with layers:
1 'input_1' Image Input 28x28x1 images
2 'conv2d_1' Convolution 20 7x7x1 convolutions with stride [1 1] and padding 'same'
3 'conv2d_2' Convolution 20 3x3x1 convolutions with stride [1 1] and padding 'same'
4 'p_re_lu_1' PReLU PReLU layer
5 'p_re_lu_2' PReLU PReLU layer
6 'max_pooling2d_1' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
7 'max_pooling2d_2' Max Pooling 2x2 max pooling with stride [2 2] and padding 'same'
8 'flatten_1' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
9 'flatten_2' Keras Flatten Flatten activations into 1-D assuming C-style (row-major) order
10 'concatenate_1' Depth concatenation Depth concatenation of 2 inputs
11 'dense_1' Fully Connected 10 fully connected layer
12 'dense_1_softmax' Softmax softmax
13 'ClassificationLayer_dense_1' Classification Output crossentropyex
layers имеет два слоя PReLU. Извлечение четвертого слоя p_re_lu_1, который первоначально имел векторный параметр масштабирования для размерности канала.
tempLayer = layers.Layers(4)
tempLayer =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20x1 single]
Learnable Parameters
Alpha: 0.0044
Show all properties
The RawAlpha свойство содержит векторный параметр масштабирования и Alpha свойство содержит скаляр, который является средним элементом векторных значений. Изменение формы RawAlpha поместить значения векторов в третью размерность, который соответствует размерности канала. Затем замените Alpha с измененным RawAlpha значения.
tempLayer.Alpha = reshape(tempLayer.RawAlpha,[1,1,numel(tempLayer.RawAlpha)])
tempLayer =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20x1 single]
Learnable Parameters
Alpha: [1x1x20 single]
Show all properties
Замените p_re_lu_1 слой в layers с tempLayer.
layers = replaceLayer(layers,'p_re_lu_1', tempLayer);
layers.Layers(4)ans =
PreluLayer with properties:
Name: 'p_re_lu_1'
RawAlpha: [20x1 single]
Learnable Parameters
Alpha: [1x1x20 single]
Show all properties
Теперь p_re_lu_1 слой имеет векторный параметр масштабирования.
importKerasLayers поддерживает версии TensorFlow-Keras следующим образом:
Функция полностью поддерживает версии TensorFlow-Keras до 2.2.4.
Функция предлагает ограниченную поддержку TensorFlow-Keras версий с 2.2.5 по 2.4.0.
Если сеть содержит слой, который не поддерживает Deep Learning Toolbox Converter для Модели (см. «Поддерживаемые слои Keras»), то importKerasLayers вставляет слой заполнителя вместо неподдерживаемого слоя. Чтобы найти имена и индексы неподдерживаемых слоев в сети, используйте findPlaceholderLayers функция. Затем можно заменить слой-заполнитель новым слоем, который вы задаете. Чтобы заменить слой, используйте replaceLayer.
Можно заменить слой-заполнитель новым слоем, который вы задаете.
Если сеть является последовательной, замените слой массива непосредственно. Для примера, layer(2) = newlayer;.
Если сеть является сетью DAG, то замените слой используя replaceLayer. Для получения примера смотрите Сборка сети из предварительно обученных слоев Keras.
Можно импортировать сеть Keras с несколькими входами и несколькими выходами (MIMO). Использовать importKerasNetwork если сеть содержит информацию о размере входа для входов и информацию о потерях для выходов. В противном случае используйте importKerasLayers. importKerasLayers функция вставляет слои заполнителя для входов и выходов. После импорта можно найти и заменить слои-заполнители при помощи findPlaceholderLayers и replaceLayer, соответственно. Рабочий процесс для импорта сетей MIMO Keras аналогичен рабочему процессу для импорта сетей MIMO ONNX™. Для получения примера смотрите Импорт и Сборка сети ONNX с несколькими выходами. Чтобы узнать о нейронной сети для глубокого обучения с несколькими входами и несколькими выходами, смотрите Multiple-Input и Multiple-Output Networks.
Чтобы использовать предварительно обученную сеть для предсказания или передачи обучения на новых изображениях, необходимо предварительно обработать изображения так же, как были предварительно обработаны изображения, которые использовались для обучения импортированной модели. Наиболее распространенными этапами предварительной обработки являются изменение размера изображений, вычитание средних значений изображений и преобразование изображений из BGR-изображений в RGB.
Для получения дополнительной информации о предварительной обработке изображений для обучения и предсказания, см. «Предварительная обработка изображений для глубокого обучения».
Использовать importKerasNetwork или importKerasLayers для импорта сети TensorFlow-Keras в HDF5 или JSON формате. Если сеть TensorFlow находится в сохраненном формате модели, используйте importTensorFlowNetwork или importTensorFlowLayers.
[1] Keras: Библиотека Python Deep Learning. https://keras.io.
assembleNetwork | exportONNXNetwork | findPlaceholderLayers | importCaffeLayers | importCaffeNetwork | importKerasNetwork | importONNXLayers | importONNXNetwork | importTensorFlowLayers | importTensorFlowNetwork | replaceLayer