Создайте 2D остаточную сеть
lgraph = resnetLayers(inputSize,numClasses)inputSize и много классов заданы numClasses. Остаточная сеть состоит из стеков блоков. Каждый блок содержит слои глубокого обучения. Сеть включает слой классификации изображений, подходящий для предсказания категориальной метки входного изображения.
Чтобы создать 3-D остаточную сеть, использовать resnet3dLayers.
lgraph = resnetLayers(___,Name=Value)InitialNumFilters=32 задает 32, просачивается начальный сверточный слой.
Создайте остаточную сеть с архитектурой узкого места.
imageSize = [224 224 3]; numClasses = 10; lgraph = resnetLayers(imageSize,numClasses)
lgraph =
LayerGraph with properties:
Layers: [177x1 nnet.cnn.layer.Layer]
Connections: [192x2 table]
InputNames: {'input'}
OutputNames: {'output'}
Анализируйте сеть.
analyzeNetwork(lgraph)
Эта сеть эквивалентна остаточной сети ResNet-50.
Создайте сеть ResNet-101 с помощью пользовательской глубины стека.
imageSize = [224 224 3]; numClasses = 10; stackDepth = [3 4 23 3]; numFilters = [64 128 256 512]; lgraph = resnetLayers(imageSize,numClasses, ... StackDepth=stackDepth, ... NumFilters=numFilters)
lgraph =
LayerGraph with properties:
Layers: [347x1 nnet.cnn.layer.Layer]
Connections: [379x2 table]
InputNames: {'input'}
OutputNames: {'output'}
Анализируйте сеть.
analyzeNetwork(lgraph)
Создайте и обучите остаточную сеть, чтобы классифицировать изображения.
Загрузите данные о цифрах как числовые массивы в оперативной памяти с помощью digitTrain4DArrayData и digitTest4DArrayData функции.
[XTrain,YTrain] = digitTrain4DArrayData; [XTest,YTest] = digitTest4DArrayData;
Задайте остаточную сеть. Данные о цифрах содержат 28 28 пиксельные изображения, поэтому, создайте остаточную сеть с фильтрами меньшего размера.
imageSize = [28 28 1]; numClasses = 10; lgraph = resnetLayers(imageSize,numClasses, ... InitialStride=1, ... InitialFilterSize=3, ... InitialNumFilters=16, ... StackDepth=[4 3 2], ... NumFilters=[16 32 64]);
Установите опции на настройки по умолчанию для стохастического градиентного спуска с импульсом. Определите максимальный номер эпох в 5 и начните обучение с начальной скорости обучения 0,1.
options = trainingOptions("sgdm", ... MaxEpochs=5, ... InitialLearnRate=0.1, ... Verbose=false, ... Plots="training-progress");
Обучите сеть.
net = trainNetwork(XTrain,YTrain,lgraph,options);
Проверьте производительность сети путем оценки точности предсказания тестовых данных. Используйте classify функция, чтобы предсказать метку класса каждого тестового изображения.
YPred = classify(net,XTest);
Вычислите точность. Точность является частью меток, которые сеть предсказывает правильно.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9956
dlnetwork ОбъектЧтобы обучить остаточную сеть с помощью пользовательского учебного цикла, сначала преобразуйте его в dlnetwork объект.
Создайте остаточную сеть.
lgraph = resnetLayers([224 224 3],5);
Удалите слой классификации.
lgraph = removeLayers(lgraph,"output");Замените входной слой на новый входной слой, который имеет Normalization установите на "none". Чтобы использовать входной слой с нулевым центром или нормализацией z-счета, необходимо задать imageInputLayer с непустым значением для Mean свойство. Например, Mean=sum(XTrain,4), где XTrain 4-D массив, содержащий ваши входные данные.
newInputLayer = imageInputLayer([224 224 3],Normalization="none"); lgraph = replaceLayer(lgraph,"input",newInputLayer);
Преобразуйте в dlnetwork.
dlnet = dlnetwork(lgraph)
dlnet =
dlnetwork with properties:
Layers: [176x1 nnet.cnn.layer.Layer]
Connections: [191x2 table]
Learnables: [214x3 table]
State: [106x3 table]
InputNames: {'imageinput'}
OutputNames: {'softmax'}
Initialized: 1
Остаточные сети (ResNets) являются типом глубокой сети, состоящей из базовых блоков, которые имеют остаточные связи (также известный как пропуск или связи ярлыка). Эти связи позволяют входу пропускать сверточные модули основной ветви, таким образом обеспечивая более простой путь через сеть. Позволяя градиентам параметра течь более легко от выходного слоя до более ранних слоев сети, остаточные связи помогают смягчить проблему исчезающих градиентов во время раннего обучения.
Структура остаточной сети гибка. Ключевой компонент является включением остаточных связей в остаточных блоках. Группа остаточных блоков называется стеком. Архитектура ResNet состоит из начальных слоев, сопровождаемых стеками, содержащими остаточные блоки, и затем последние слои. Сеть имеет три типа остаточных блоков:
Начальный остаточный блок — Этот блок происходит в начале первого стека. Слои в остаточной связи начального остаточного блока определяют, сохраняет ли блок размеры активации или выполняет субдискретизацию.
Стандартный остаточный блок — Этот блок происходит многократно в каждом стеке после первого блока невязки субдискретизации. Стандартный остаточный блок сохраняет размеры активации.
При субдискретизации остаточного блока — Этот блок происходит однажды, в начале каждого стека. Первый сверточный модуль в блоке субдискретизации прореживает пространственные размерности на коэффициент два.
Типичный стек имеет блок невязки субдискретизации, сопровождаемый m стандартные остаточные блоки, где m больше или равен одному. Первый стек является единственным стеком, который начинается с начального остаточного блока.
Начальная буква, стандарт и субдискретизация остаточных блоков могут быть блоки неузкого места или узкое место. Блоки узкого места выполняют свертку 1 на 1 перед 3х3 сверткой, чтобы сократить количество каналов на коэффициент четыре. Сети с и без блоков узкого места имеют подобный уровень вычислительной сложности, но общее количество распространения функций в остаточных связях в четыре раза больше, когда вы используете модули узкого места. Поэтому использование блоков узкого места увеличивает КПД сети.
Слои в каждом блоке определяются типом блока и опций, которые вы устанавливаете.
Блокируйте слои
| Имя | Начальные слои | Начальный остаточный блок | Стандартный остаточный блок (BottleneckType="downsample-first-conv") | Стандартный остаточный блок (BottleneckType="none") | Субдискретизация остаточного блока | Последние слои |
| Описание | Остаточная сеть запускается со следующих слоев в порядке:
Установите дополнительный слой объединения с помощью | Основная ветвь начального остаточного блока имеет те же слои как стандартный остаточный блок.
Если | Стандартный остаточный блок с модулями узкого места имеет следующие слои в порядке:
Стандартный блок имеет остаточную связь от выхода предыдущего блока к слою сложения. Установите положение слоя сложения с помощью | Стандартный остаточный блок без модулей узкого места имеет следующие слои в порядке:
Стандартный блок имеет остаточную связь от выхода предыдущего блока к слою сложения. Установите положение слоя сложения с помощью | Блок невязки субдискретизации совпадает со стандартным блоком (или с или без узкого места), но шагом Слои на остаточной связи зависят от
Половины блока субдискретизации высота и ширина входа, и увеличивают число каналов. | Остаточная сеть заканчивается следующими слоями в порядке:
|
| Визуализация в качестве примера |
| Пример начального остаточного блока для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
| Пример стандартного остаточного блока для сети с узким местом и со слоем нормализации партии. перед слоем сложения.
| Пример стандартного остаточного блока для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
| Пример блока невязки субдискретизации для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
|
|
Свертка и веса полносвязного слоя инициализируются с помощью Него метод инициализации веса [3]. Для получения дополнительной информации смотрите convolution2dLayer.
При работе с маленькими изображениями, набор InitialPoolingLayer опция к "none" удалить начальный слой объединения и уменьшать объем субдискретизации.
Остаточные сети обычно называют ResNet-X, где X глубина сети. Глубина сети задана как наибольшее число сверточных последовательных или полносвязные слоя на пути от входного слоя до выходного слоя. Можно использовать следующую формулу, чтобы вычислить глубину сети:
где si является глубиной стека i.
Сети с той же глубиной могут иметь различные сетевые архитектуры. Например, можно создать архитектуру ResNet-14 с или без узкого места:
resnet14Bottleneck = resnetLayers([224 224 3],10, ... StackDepth=[2 2], ... NumFilters=[64 128]); resnet14NoBottleneck = resnetLayers([224 224 3],10, ... BottleneckType="none", ... StackDepth=[2 2 2], ... NumFilters=[64 128 256]);
resnet50Bottleneck = resnetLayers([224 224 3],10); resnet34NoBottleneck = resnetLayers([224 224 3],10, ... BottleneckType="none");
[1] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. “Глубокая Невязка, Учащаяся для Распознавания Изображений”. Предварительно распечатайте, представленный 10 декабря 2015. https://arxiv.org/abs/1512.03385.
[2] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. “Единичные Отображения в Глубоких Остаточных Сетях”. Предварительно распечатайте, представленный 25 июля 2016. https://arxiv.org/abs/1603.05027.
[3] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. "Копаясь Глубоко в Выпрямителях: Превышение Эффективности Человеческого Уровня на Классификации ImageNet". В Продолжениях 2 015 Международных конференций IEEE по вопросам Компьютерного зрения, 1026–1034. Вашингтон, округ Колумбия: Общество Компьютерного зрения IEEE, 2015.
resnet3dLayers | trainNetwork | trainingOptions | dlnetwork | resnet18 | resnet50 | resnet101
