Слой сворачивания последовательности
Слой сворачивания последовательности преобразовывает пакет последовательностей изображений к пакету изображений. Используйте слой сворачивания последовательности, чтобы выполнить операции свертки на временных шагах последовательностей изображений независимо.
Чтобы использовать слой сворачивания последовательности, необходимо соединить miniBatchSize вывод с входом miniBatchSize соответствующего слоя разворачивания последовательности. Для примера смотрите, Создают Сеть для Видео Классификации.
layer = sequenceFoldingLayerlayer = sequenceFoldingLayer('Name',Name)layer = sequenceFoldingLayer
layer = sequenceFoldingLayer('Name',Name)Name с помощью пары "имя-значение". Например, sequenceFoldingLayer('Name','fold1') создает слой сворачивания последовательности с именем 'fold1'. Заключите имя свойства в одинарные кавычки.
Создайте слой сворачивания последовательности с именем 'fold1'.
layer = sequenceFoldingLayer('Name','fold1')
layer =
SequenceFoldingLayer with properties:
Name: 'fold1'
NumOutputs: 2
OutputNames: {'out' 'miniBatchSize'}
Создайте нейронную сеть для глубокого обучения для данных, содержащих последовательности изображений, такие как видео и медицинские данные изображения.
Чтобы ввести последовательности изображений в сеть, используйте входной слой последовательности.
Чтобы применить сверточные операции независимо к каждому временному шагу, сначала преобразуйте последовательности изображений к массиву изображений с помощью слоя сворачивания последовательности.
Чтобы восстановить структуру последовательности после выполнения этих операций, преобразуйте этот массив изображений назад к последовательностям изображений с помощью слоя разворачивания последовательности.
Чтобы преобразовать изображения в характеристические векторы, используйте сглаживать слой.
Вы можете затем последовательности входного вектора на слои LSTM и BiLSTM.
Архитектура сети Define
Создайте сеть LSTM классификации, которая классифицирует последовательности 28 28 полутоновых изображений в 10 классов.
Задайте следующую сетевую архитектуру:
Последовательность ввела слой с входным размером [28 28 1].
Свертка, пакетная нормализация и слой ReLU блокируются с 20 фильтрами 5 на 5.
Слой LSTM с 200 скрытыми модулями, который выводит последний временной шаг только.
Полносвязный слой размера 10 (количество классов) сопровождаемый softmax слоем и слоем классификации.
Чтобы выполнить сверточные операции на каждом временном шаге независимо, включайте слой сворачивания последовательности перед сверточными слоями. Слои LSTM ожидают векторный вход последовательности. Чтобы восстановить структуру последовательности и изменить вывод сверточных слоев к последовательностям характеристических векторов, вставьте слой разворачивания последовательности и сглаживать слой между сверточными слоями и слоем LSTM.
inputSize = [28 28 1]; filterSize = 5; numFilters = 20; numHiddenUnits = 200; numClasses = 10; layers = [ ... sequenceInputLayer(inputSize,'Name','input') sequenceFoldingLayer('Name','fold') convolution2dLayer(filterSize,numFilters,'Name','conv') batchNormalizationLayer('Name','bn') reluLayer('Name','relu') sequenceUnfoldingLayer('Name','unfold') flattenLayer('Name','flatten') lstmLayer(numHiddenUnits,'OutputMode','last','Name','lstm') fullyConnectedLayer(numClasses, 'Name','fc') softmaxLayer('Name','softmax') classificationLayer('Name','classification')];
Преобразуйте слои в график слоя и соедините miniBatchSize вывод слоя сворачивания последовательности к соответствующему входу слоя разворачивания последовательности.
lgraph = layerGraph(layers); lgraph = connectLayers(lgraph,'fold/miniBatchSize','unfold/miniBatchSize');
Просмотрите итоговую сетевую архитектуру с помощью функции plot.
figure plot(lgraph)
bilstmLayer | classifyAndUpdateState | flattenLayer | lstmLayer | predictAndUpdateState | resetState | sequenceInputLayer | sequenceUnfoldingLayer