Список слоев глубокого обучения
Эта страница предоставляет список слоев глубокого обучения в MATLAB®.
Чтобы изучить, как создать сети из слоев для различных задач, смотрите следующие примеры.
| Задача | Узнать больше |
|---|---|
| Создайте нейронные сети для глубокого обучения для классификации изображений или регрессии. | Создайте простую сеть глубокого обучения для классификации |
| Создайте нейронные сети для глубокого обучения для последовательности и данных временных рядов. | Классификация последовательностей Используя глубокое обучение |
| Создайте нейронную сеть для глубокого обучения для аудиоданных. | Распознание речевых команд с использованием глубокого обучения |
| Создайте нейронную сеть для глубокого обучения для текстовых данных. | Классифицируйте текстовые данные Используя глубокое обучение |
Слои глубокого обучения
Используйте следующие функции, чтобы создать различные типы слоя. В качестве альтернативы используйте приложение Deep Network Designer, чтобы создать сети в интерактивном режиме.
Чтобы изучить, как задать ваши собственные слои, смотрите, Задают Пользовательские Слои Глубокого обучения.
Входные слои
| Слой | Описание |
|---|---|
| Изображение ввело входные параметры слоя 2D изображения к сети, и применяет нормализацию данных. | |
| Входной слой 3-D изображения вводит 3-D изображения или объемы к сети и применяет нормализацию данных. | |
| Последовательность ввела входные данные о последовательности слоя к сети. | |
| Функция ввела входные данные о функции слоя к сети, и применяет нормализацию данных. Используйте этот слой, когда у вас будет набор данных числовых скаляров, представляющих функции (данные без пространственных или измерений времени). | |
| Слой входа ROI вводит изображения к сети обнаружения объектов Fast R-CNN. |
Свертки и полносвязные слои
| Слой | Описание |
|---|---|
| 2D сверточный слой применяет скользящие сверточные фильтры к входу. | |
| 3-D сверточный слой применяет скользящие кубовидные фильтры свертки к 3D входу. | |
| 2D сгруппированный сверточный слой разделяет входные каналы на группы и применяет скользящие сверточные фильтры. Используйте сгруппированные сверточные слои для отделимого мудрого каналом (также известный мудрыми глубиной отделимый) свертка. | |
| Транспонированный 2D слой свертки сверхдискретизировал карты функции. | |
| Транспонированный 3-D слой свертки сверхдискретизировал 3D карты функции. | |
| Полносвязный слой умножает вход на матрицу веса и затем добавляет вектор смещения. |
Слои последовательности
| Слой | Описание |
|---|---|
| Последовательность ввела входные данные о последовательности слоя к сети. | |
| Слой LSTM изучает долгосрочные зависимости между временными шагами в данных о последовательности и временных рядах. | |
| Двунаправленный слой LSTM (BiLSTM) изучает двунаправленные долгосрочные зависимости между временными шагами данных о последовательности или временных рядов. Эти зависимости могут быть полезными, когда это необходимо, сеть, чтобы извлечь уроки из полных временных рядов на каждом временном шаге. | |
| Слой ГРУ изучает зависимости между временными шагами в данных о последовательности и временных рядах. | |
| Слой сворачивания последовательности преобразует пакет последовательностей изображений к пакету изображений. Используйте слой сворачивания последовательности, чтобы выполнить операции свертки на временных шагах последовательностей изображений независимо. | |
| Слой разворачивания последовательности восстанавливает структуру последовательности входных данных после сворачивания последовательности. | |
| Сглаживать слой сворачивает пространственные размерности входа в размерность канала. | |
| Слой встраивания слова сопоставляет словари с векторами. |
Слои активации
| Слой | Описание |
|---|---|
| Слой ReLU выполняет пороговую операцию к каждому элементу входа, где любое значение меньше, чем нуль обнуляется. | |
| Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр. | |
| Отсеченный слой ReLU выполняет пороговую операцию, где любое входное значение, меньше, чем нуль обнуляются и любое значение выше потолка усечения, установлено в тот потолок усечения. | |
| Слой активации ELU выполняет единичную операцию на положительных входных параметрах и экспоненциальную нелинейность на отрицательных входных параметрах. | |
| Гиперболическая касательная (tanh) слой активации применяет функцию tanh на входные параметры слоя. | |
| Слой активации свиста применяет функцию свиста на входные параметры слоя. | |
| Слой PReLU выполняет пороговую операцию, где для каждого канала, любое входное значение меньше, чем нуль умножаются на скаляр, изученный в учебное время. |
Нормализация, уволенный и слои обрезки
| Слой | Описание |
|---|---|
| Слой нормализации партии. нормирует мини-пакет данных через все наблюдения для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации партии. между сверточными слоями и нелинейностью, такой как слои ReLU. | |
| Слой нормализации группы нормирует мини-пакет данных через сгруппированные подмножества каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации группы между сверточными слоями и нелинейностью, такой как слои ReLU. | |
| Слой нормализации экземпляра нормирует мини-пакет данных через каждый канал для каждого наблюдения независимо. Чтобы улучшить сходимость обучения сверточная нейронная сеть и уменьшать чувствительность к сетевым гиперпараметрам, используйте слои нормализации экземпляра между сверточными слоями и нелинейностью, такой как слои ReLU. | |
| Слой нормализации слоя нормирует мини-пакет данных через все каналы для каждого наблюдения независимо. Чтобы ускорить обучение текущих и многоуровневых perceptron нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации слоя после learnable слоев, таких как LSTM и полносвязные слоя. | |
| Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию. | |
| Слой уволенного случайным образом обнуляет входные элементы с данной вероятностью. | |
| 2D слой обрезки применяет 2D обрезку к входу. | |
| 3-D слой обрезки обрезки 3-D объем к размеру входа показывает карту. | |
| 2D изменяет размер слоя, изменяет размер 2D входа масштабным коэффициентом, к заданной высоте и ширине, или к размеру ссылочной входной карты функции. |
| 3-D изменяет размер слоя, изменяет размер 3-D входа масштабным коэффициентом, к заданной высоте, ширине и глубине, или к размеру ссылочной входной карты функции. |
Объединение и необъединение слоев
| Слой | Описание |
|---|---|
| Средний слой объединения выполняет субдискретизацию путем деления входа на прямоугольные области объединения и вычисление средних значений каждой области. | |
| 3-D средний слой объединения выполняет субдискретизацию путем деления 3D входа на кубовидные области объединения и вычисление средних значений каждой области. | |
| Глобальный средний слой объединения выполняет субдискретизацию путем вычисления среднего значения размерностей высоты и ширины входа. | |
| 3-D глобальный средний слой объединения выполняет субдискретизацию путем вычисления среднего значения высоты, ширины и размерностей глубины входа. | |
| Макс. слой объединения выполняет субдискретизацию путем деления входа на прямоугольные области объединения и вычисления максимума каждой области. | |
| 3-D макс. слой объединения выполняет субдискретизацию путем деления 3D входа на кубовидные области объединения и вычисления максимума каждой области. | |
| Глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вычисления максимума размерностей высоты и ширины входа. | |
| 3-D глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вычисления максимума высоты, ширины и размерностей глубины входа. | |
| Макс. слой необъединения не объединяет выход макс. слоя объединения. |
Слои комбинации
| Слой | Описание |
|---|---|
| Слой сложения добавляет входные параметры из нескольких поэлементных слоев нейронной сети. | |
| Слой умножения умножает входы от нескольких поэлементных слоев нейронной сети. | |
| Слой конкатенации глубины берет входные параметры, которые имеют ту же высоту и ширину, и конкатенирует их по третьему измерению (размерность канала). | |
| Слой конкатенации берет входные параметры и конкатенирует их в заданном измерении. Входные параметры должны иметь тот же размер во всех размерностях кроме размерности конкатенации. | |
| Взвешенный слой сложения масштабирует и добавляет входные параметры из нескольких поэлементных слоев нейронной сети. |
Слои обнаружения объектов
| Слой | Описание |
|---|---|
| Слой входа ROI вводит изображения к сети обнаружения объектов Fast R-CNN. |
| ROI, макс. объединяющий слой выходная функция фиксированного размера, сопоставляет для каждого прямоугольного ROI в рамках входной карты функции. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN. |
| ROI выравнивает слой выходные карты функции фиксированного размера для каждого прямоугольного ROI в рамках входной карты функции. Используйте этот слой, чтобы создать сеть Mask-RCNN. |
| Слой поля привязки хранит поля привязки для карты функции, используемой в сетях обнаружения объектов. |
| Слой предложения по области выходные ограничительные рамки вокруг потенциальных объектов в изображении как часть сети предложения по области (RPN) в Faster R-CNN. |
| Слой слияния SSD объединяет выходные параметры карт функции для последующей регрессии и расчета классификации потерь. |
| Пробел к слою глубины переставляет пространственные блоки входа в размерность глубины. Используйте этот слой, когда необходимо будет объединить карты функции различного размера, не отбрасывая данных о функции. |
| 2D глубина, чтобы расположить слой с интервалами переставляет данные из размерности глубины в блоки 2D пространственных данных. |
| Сеть предложения по области (RPN) softmax слой применяет softmax функцию активации к входу. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN. |
| Фокальный слой потерь предсказывает классы объектов с помощью фокальной потери. |
| Слой классификации сетей предложения по области (RPN) классифицирует области изображений или как объект или как фон при помощи функции потери перекрестной энтропии. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN. |
| Слой регрессии поля совершенствовал местоположения ограничительной рамки при помощи сглаженной функции потерь L1. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN. |
Порождающие соперничающие слоя сети
| Слой | Описание |
|---|---|
| Проект и изменяется, слой берет в качестве входа 1 1 numLatentInputs массивы и преобразуют их в изображения заданного размера. Используйте проект и измените слои, чтобы изменить шумовой вход к GANs. |
| Встраивание и изменяется, слой берет в качестве входа числовые индексы категориальных элементов и преобразует их в изображения заданного размера. Использование встраивает и изменяет слои, чтобы ввести категориальные данные в условный GANs. |
Выходной слой
| Слой | Описание |
|---|---|
| softmax слой применяет функцию softmax к входу. | |
| Сигмоидальный слой применяет сигмоидальную функцию к входу, таким образом, что выход ограничен в интервале (0,1). | |
| Слой классификации вычисляет потерю перекрестной энтропии для классификации и взвешенных задач классификации со взаимоисключающими классами. | |
| Слой регрессии вычисляет половину потери среднеквадратической ошибки для задач регрессии. | |
| Слой классификации пикселей обеспечивает категориальную метку для каждого пикселя изображения или вокселя. |
| Слой классификации пикселей Dice обеспечивает категориальную метку для каждого пикселя изображения, или воксель с помощью обобщил Dice Loss. |
| Фокальный слой потерь предсказывает классы объектов с помощью фокальной потери. |
| Сеть предложения по области (RPN) softmax слой применяет softmax функцию активации к входу. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN. |
| Слой классификации сетей предложения по области (RPN) классифицирует области изображений или как объект или как фон при помощи функции потери перекрестной энтропии. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN. |
| Слой регрессии поля совершенствовал местоположения ограничительной рамки при помощи сглаженной функции потерь L1. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN. |
| Слой классификации пикселей Tversky обеспечивает категориальную метку для каждого пикселя изображения или использования вокселя потеря Tversky. |
| Слой SSE классификации вычисляет ошибочную потерю суммы квадратов для проблем классификации. |
| Слой MAE регрессии вычисляет среднюю потерю абсолютной погрешности для проблем регрессии. |
Смотрите также
Deep Network Designer | trainingOptions | trainNetwork
Похожие темы
- Создайте сети с Deep Network Designer
- Задайте слои сверточной нейронной сети
- Настройте параметры и обучите сверточную нейронную сеть
- Задайте пользовательские слои глубокого обучения
- Создайте простую сеть глубокого обучения для классификации
- Классификация последовательностей Используя глубокое обучение
- Предварительно обученные глубокие нейронные сети
- Советы глубокого обучения и приемы