Создайте 3-D остаточную сеть
lgraph = resnet3dLayers(inputSize,numClasses)inputSize и много классов заданы numClasses. Остаточная сеть состоит из стеков блоков. Каждый блок содержит слои глубокого обучения. Сеть включает слой классификации изображений, подходящий для предсказания категориальной метки входного изображения.
Чтобы создать 2D остаточную сеть, использовать resnetLayers.
lgraph = resnet3dLayers(___,Name=Value)InitialNumFilters=32 задает 32, просачивается начальный сверточный слой.
Остаточные сети (ResNets) являются типом глубокой сети, состоящей из базовых блоков, которые имеют остаточные связи (также известный как пропуск или связи ярлыка). Эти связи позволяют входу пропускать сверточные модули основной ветви, таким образом обеспечивая более простой путь через сеть. Позволяя градиентам параметра течь более легко от выходного слоя до более ранних слоев сети, остаточные связи помогают смягчить проблему исчезающих градиентов во время раннего обучения.
Структура остаточной сети гибка. Ключевой компонент является включением остаточных связей в остаточных блоках. Группа остаточных блоков называется стеком. Архитектура ResNet состоит из начальных слоев, сопровождаемых стеками, содержащими остаточные блоки, и затем последние слои. Сеть имеет три типа остаточных блоков:
Начальный остаточный блок — Этот блок происходит в начале первого стека. Слои в остаточной связи начального остаточного блока определяют, сохраняет ли блок размеры активации или выполняет субдискретизацию.
Стандартный остаточный блок — Этот блок происходит многократно в каждом стеке после первого блока невязки субдискретизации. Стандартный остаточный блок сохраняет размеры активации.
При субдискретизации остаточного блока — Этот блок происходит однажды, в начале каждого стека. Первый сверточный модуль в блоке субдискретизации прореживает пространственные размерности на коэффициент два.
Типичный стек имеет блок невязки субдискретизации, сопровождаемый m стандартные остаточные блоки, где m больше или равен одному. Первый стек является единственным стеком, который начинается с начального остаточного блока.
Начальная буква, стандарт и субдискретизация остаточных блоков могут быть блоки неузкого места или узкое место. Блоки узкого места выполняют 1 сверткой 1 на 1 перед 3 3х3 сверткой, чтобы сократить количество каналов на коэффициент четыре. Сети с и без блоков узкого места имеют подобный уровень вычислительной сложности, но общее количество распространения функций в остаточных связях в четыре раза больше, когда вы используете модули узкого места. Поэтому использование блоков узкого места увеличивает КПД сети.
Слои в каждом блоке определяются типом блока и опций, которые вы устанавливаете.
Блокируйте слои
| Имя | Начальные слои | Начальный остаточный блок | Стандартный остаточный блок (BottleneckType="downsample-first-conv") | Стандартный остаточный блок (BottleneckType="none") | Субдискретизация остаточного блока | Последние слои |
| Описание | Остаточная сеть запускается со следующих слоев в порядке:
Установите дополнительный слой объединения с помощью | Основная ветвь начального остаточного блока имеет те же слои как стандартный остаточный блок.
Если | Стандартный остаточный блок с модулями узкого места имеет следующие слои в порядке:
Стандартный блок имеет остаточную связь от выхода предыдущего блока к слою сложения. Установите положение слоя сложения с помощью | Стандартный остаточный блок без модулей узкого места имеет следующие слои в порядке:
Стандартный блок имеет остаточную связь от выхода предыдущего блока к слою сложения. Установите положение слоя сложения с помощью | Блок невязки субдискретизации совпадает со стандартным блоком (или с или без узкого места), но шагом Слои на остаточной связи зависят от
Половины блока субдискретизации высота и ширина входа, и увеличивают число каналов. | Остаточная сеть заканчивается следующими слоями в порядке:
|
| Визуализация в качестве примера |
| Пример начального остаточного блока для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
| Пример стандартного остаточного блока для сети с узким местом и со слоем нормализации партии. перед слоем сложения.
| Пример стандартного остаточного блока для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
| Пример блока невязки субдискретизации для сети без узкого места и со слоем нормализации партии. перед слоем сложения.
|
|
Свертка и веса полносвязного слоя инициализируются с помощью Него метод инициализации веса [3]. Для получения дополнительной информации смотрите convolution3dLayer.
При работе с маленькими изображениями, набор InitialPoolingLayer опция к "none" удалить начальный слой объединения и уменьшать объем субдискретизации.
Остаточные сети обычно называют ResNet-X, где X глубина сети. Глубина сети задана как наибольшее число сверточных последовательных или полносвязные слоя на пути от входного слоя до выходного слоя. Можно использовать следующую формулу, чтобы вычислить глубину сети:
где si является глубиной стека i.
Сети с той же глубиной могут иметь различные сетевые архитектуры. Например, можно создать 3-D архитектуру ResNet-14 с или без узкого места:
resnet14Bottleneck = resnet3dLayers([224 224 64 3],10, ... StackDepth=[2 2], ... NumFilters=[64 128]); resnet14NoBottleneck = resnet3dLayers([224 224 64 3],10, ... BottleneckType="none", ... StackDepth=[2 2 2], ... NumFilters=[64 128 256]);
resnet50Bottleneck = resnet3dLayers([224 224 64 3],10); resnet34NoBottleneck = resnet3dLayers([224 224 64 3],10, ... BottleneckType="none");
[1] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. “Глубокая Невязка, Учащаяся для Распознавания Изображений”. Предварительно распечатайте, представленный 10 декабря 2015. https://arxiv.org/abs/1512.03385.
[2] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. “Единичные Отображения в Глубоких Остаточных Сетях”. Предварительно распечатайте, представленный 25 июля 2016. https://arxiv.org/abs/1603.05027.
[3] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. "Копаясь Глубоко в Выпрямителях: Превышение Эффективности Человеческого Уровня на Классификации ImageNet". В Продолжениях 2 015 Международных конференций IEEE по вопросам Компьютерного зрения, 1026–1034. Вашингтон, округ Колумбия: Общество Компьютерного зрения IEEE, 2015.
resnetLayers | trainNetwork | trainingOptions | dlnetwork | resnet18 | resnet50 | resnet101
