Список слоев глубокого обучения

На этой странице представлен список уровней глубокого обучения в MATLAB ®.

Чтобы узнать, как создавать сети из слоев для различных задач, см. следующие примеры.

Задача	Подробнее
Создание сетей глубокого обучения для классификации или регрессии изображений.	Создание простой сети глубокого обучения для классификации Конволюционная нейронная сеть поезда для регрессии Остаточная сеть поездов для классификации изображений
Создание сетей глубокого обучения для данных последовательности и временных рядов.	Классификация последовательностей с использованием глубокого обучения Прогнозирование временных рядов с использованием глубокого обучения
Создание сети глубокого обучения для аудиоданных.	Распознавание речевых команд с помощью глубокого обучения
Создание сети глубокого обучения для текстовых данных.	Классификация текстовых данных с помощью глубокого обучения Создание текста с помощью глубокого обучения

Уровни глубокого обучения

Для создания слоев различных типов используются следующие функции. Можно также использовать приложение Deep Network Designer для интерактивного создания сетей.

Сведения об определении собственных пользовательских слоев см. в разделе Определение пользовательских слоев глубокого обучения.

Входные слои

Слой	Описание
`imageInputLayer`	Уровень ввода изображения вводит 2-D изображения в сеть и применяет нормализацию данных.
`image3dInputLayer`	Входной слой 3-D изображения вводит 3-D изображения или объемы в сеть и применяет нормализацию данных.
`sequenceInputLayer`	Входной уровень последовательности вводит данные последовательности в сеть.
`featureInputLayer`	Входной уровень элемента вводит данные элемента в сеть и применяет нормализацию данных. Этот слой используется при наличии набора числовых скаляров, представляющих элементы (данные без пространственных или временных измерений).
`roiInputLayer`(Панель инструментов компьютерного зрения)	Входной уровень ROI вводит изображения в сеть обнаружения объектов Fast R-CNN.

Свертка и полностью соединенные слои

Слой	Описание
`convolution2dLayer`	2-D сверточный слой применяет скользящие сверточные фильтры к входу.
`convolution3dLayer`	3-D сверточный слой применяет скользящие кубические сверточные фильтры к трехмерному входу.
`groupedConvolution2dLayer`	2-D сгруппированный сверточный слой разделяет входные каналы на группы и применяет скользящие сверточные фильтры. Используйте сгруппированные сверточные слои для разделяемых по каналам (также называемых разделяемыми по глубине) сверток.
`transposedConv2dLayer`	Транспонированный слой свертки 2-D увеличивает выборку карт элементов.
`transposedConv3dLayer`	Транспонированный 3-D сверточный слой увеличивает трехмерные карты признаков.
`fullyConnectedLayer`	Полностью связанный слой умножает входной сигнал на весовую матрицу и затем добавляет вектор смещения.

Последовательность слоев

Слой	Описание
`sequenceInputLayer`	Входной уровень последовательности вводит данные последовательности в сеть.
`lstmLayer`	Уровень LSTM распознает долгосрочные зависимости между временными шагами во временных рядах и данными последовательности.
`bilstmLayer`	Уровень двунаправленного LSTM (BiLSTM) изучает двунаправленные долгосрочные зависимости между временными шагами временных рядов или данных последовательности. Эти зависимости могут быть полезны, если необходимо, чтобы сеть извлекала уроки из полного временного ряда на каждом временном шаге.
`gruLayer`	Уровень GRU распознает зависимости между временными шагами во временных рядах и данными последовательности.
`sequenceFoldingLayer`	Слой складывания последовательности преобразует пакет последовательностей изображений в пакет изображений. Используйте слой сворачивания последовательности для выполнения операций свертки на временных шагах последовательностей изображений независимо.
`sequenceUnfoldingLayer`	Слой развертки последовательности восстанавливает структуру последовательности входных данных после свертывания последовательности.
`flattenLayer`	Плоский слой сворачивает пространственные размеры входа в размер канала.
`wordEmbeddingLayer`(Панель инструментов для анализа текста)	Слой встраивания слов отображает индексы слов в векторы.

Уровни активации

Слой	Описание
`reluLayer`	Уровень ReLU выполняет пороговую операцию для каждого элемента входа, где любое значение меньше нуля устанавливается равным нулю.
`leakyReluLayer`	Уровень ReLU с утечкой выполняет пороговую операцию, где любое входное значение, меньшее нуля, умножается на фиксированный скаляр.
`clippedReluLayer`	Подрезанный слой ReLU выполняет пороговую операцию, при которой любое входное значение меньше нуля устанавливается равным нулю, а любое значение выше подрезанного потолка устанавливается на этот подрезанный потолок.
`eluLayer`	Уровень активации ЗЭС выполняет операцию идентификации на положительных входах и экспоненциальную нелинейность на отрицательных входах.
`tanhLayer`	Слой активации гиперболической касательной (tanh) применяет функцию tanh на входах слоя.
`swishLayer`	Слой активации swish применяет функцию swish на входах слоев.
`preluLayer` (Пример пользовательского слоя)	Уровень PReLU выполняет пороговую операцию, где для каждого канала любое входное значение, меньшее нуля, умножается на скаляр, полученный во время обучения.

Нормализация, отсев и обрезка слоев

Слой	Описание
`batchNormalizationLayer`	Уровень пакетной нормализации нормализует мини-пакет данных по всем наблюдениям для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и снизить чувствительность к инициализации сети, используйте уровни пакетной нормализации между сверточными слоями и нелинейностями, такими как уровни ReLU.
`groupNormalizationLayer`	Уровень нормализации группы нормализует мини-пакет данных по сгруппированным подмножествам каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и снизить чувствительность к инициализации сети, используйте уровни групповой нормализации между сверточными слоями и нелинейностями, такими как уровни ReLU.
`instanceNormalizationLayer`	Уровень нормализации экземпляра нормализует мини-пакет данных по каждому каналу для каждого наблюдения независимо. Чтобы улучшить сходимость тренировок сверточной нейронной сети и снизить чувствительность к гиперпараметрам сети, используйте уровни нормализации экземпляров между сверточными слоями и нелинейностями, такими как уровни ReLU.
`layerNormalizationLayer`	Уровень нормализации уровня нормализует мини-пакет данных по всем каналам для каждого наблюдения независимо. Чтобы ускорить обучение повторяющихся и многослойных перцептронных нейронных сетей и снизить чувствительность к инициализации сети, используйте уровни нормализации уровня после обучаемых уровней, таких как LSTM и полностью соединенных уровней.
`crossChannelNormalizationLayer`	Канальный уровень локальной (кросс-канальной) нормализации выполняет канальную нормализацию.
`dropoutLayer`	Уровень отсева случайным образом устанавливает входные элементы в ноль с заданной вероятностью.
`crop2dLayer`	Слой подрезки 2-D применяется 2-D обрезки к вводу.
`crop3dLayer`	Слой 3-D подрезки обрезает объем 3-D до размера карты входных элементов.
`resize2dLayer`(Панель инструментов обработки изображений)	Слой 2-D изменения размера изменяет размер 2-D, вводимого масштабным коэффициентом, на заданную высоту и ширину или на размер карты опорных входных элементов.
`resize3dLayer`(Панель инструментов обработки изображений)	Слой изменения размера 3-D изменяет размер 3-D, вводимый масштабным коэффициентом, на заданную высоту, ширину и глубину, или на размер карты опорных входных элементов.

Объединение в пулы и удаление из пула слоев

Слой	Описание
`averagePooling2dLayer`	Средний уровень объединения выполняет понижающую дискретизацию путем разделения входных данных на прямоугольные области объединения и вычисления средних значений каждой области.
`averagePooling3dLayer`	Уровень 3-D среднего объединения выполняет понижающую дискретизацию путем разделения трехмерного ввода на области кубического объединения и вычисления средних значений каждой области.
`globalAveragePooling2dLayer`	Уровень глобального среднего объединения выполняет понижающую дискретизацию путем вычисления среднего значения высоты и ширины входного сигнала.
`globalAveragePooling3dLayer`	3-D уровень глобального среднего объединения выполняет понижающую дискретизацию путем вычисления среднего значения высоты, ширины и глубины входного сигнала.
`maxPooling2dLayer`	Уровень максимального объединения выполняет понижающую дискретизацию путем разделения входных данных на прямоугольные области объединения и вычисления максимума каждой области.
`maxPooling3dLayer`	Уровень объединения 3-D max выполняет понижающую дискретизацию путем разделения трехмерного ввода на области кубоидального объединения и вычисления максимума каждой области.
`globalMaxPooling2dLayer`	Уровень глобального максимального пула выполняет понижающую дискретизацию путем вычисления максимума высоты и ширины входного сигнала.
`globalMaxPooling3dLayer`	3-D уровень глобального максимального объединения выполняет понижающую дискретизацию путем вычисления максимума высоты, ширины и глубины входного сигнала.
`maxUnpooling2dLayer`	Уровень макс. расхолаживания распаковывает выходные данные уровня макс. пула.

Комбинированные слои

Слой	Описание
`additionLayer`	Уровень сложения добавляет входные данные от нескольких уровней нейронной сети по элементам.
`multiplicationLayer`	Уровень умножения умножает входы от нескольких нейронных сетевых уровней по элементам.
`depthConcatenationLayer`	Слой конкатенации глубины принимает входные данные одинаковой высоты и ширины и объединяет их вдоль третьего размера (размера канала).
`concatenationLayer`	Слой конкатенации принимает входные данные и выполняет их конкатенацию вдоль заданного размера. Входные данные должны иметь одинаковый размер во всех размерах, кроме размера конкатенации.
`weightedAdditionLayer` (Пример пользовательского слоя)	Взвешенный уровень сложения масштабирует и добавляет входные данные от нескольких нейронных сетевых уровней по элементам.

Слои обнаружения объектов

Слой	Описание
`roiInputLayer`(Панель инструментов компьютерного зрения)	Входной уровень ROI вводит изображения в сеть обнаружения объектов Fast R-CNN.
`roiMaxPooling2dLayer`(Панель инструментов компьютерного зрения)	Уровень максимального объединения ROI выводит карты характеристик фиксированного размера для каждого прямоугольного ROI во входной карте характеристик. Этот уровень используется для создания сети обнаружения объектов Fast или Faster R-CNN.
`roiAlignLayer`(Панель инструментов компьютерного зрения)	Слой выравнивания ROI выводит карты элементов фиксированного размера для каждого прямоугольного ROI в карте входных элементов. Этот уровень используется для создания сети Mask-RCNN.
`anchorBoxLayer`(Панель инструментов компьютерного зрения)	Слой поля привязки хранит поля привязки для карты элементов, используемой в сетях обнаружения объектов.
`regionProposalLayer`(Панель инструментов компьютерного зрения)	Слой предложения области выводит ограничивающие рамки вокруг потенциальных объектов в изображении как часть сети предложений области (RPN) в пределах более быстрого R-CNN.
`ssdMergeLayer`(Панель инструментов компьютерного зрения)	Уровень объединения SSD объединяет выходные данные карт элементов для последующей регрессии и вычисления потерь классификации.
`spaceToDepthLayer`(Панель инструментов обработки изображений)	Слой «пробел-глубина» преобразует пространственные блоки ввода в размер глубины. Этот слой используется в тех случаях, когда необходимо объединить карты элементов разного размера без отбрасывания каких-либо данных элементов.
`depthToSpace2dLayer`(Панель инструментов обработки изображений)	Слой 2-D depth to space преобразует данные из размера глубины в блоки 2-D пространственных данных.
`rpnSoftmaxLayer`(Панель инструментов компьютерного зрения)	Уровень softmax сети предложений области (RPN) применяет функцию активации softmax к входу. Этот уровень используется для создания более быстрой сети обнаружения объектов R-CNN.
`focalLossLayer`(Панель инструментов компьютерного зрения)	Уровень фокальных потерь предсказывает классы объектов с использованием фокальных потерь.
`rpnClassificationLayer`(Панель инструментов компьютерного зрения)	Слой классификации сети предложений области (RPN) классифицирует области изображения как объект или фон с помощью функции перекрестных потерь энтропии. Этот уровень используется для создания более быстрой сети обнаружения объектов R-CNN.
`rcnnBoxRegressionLayer`(Панель инструментов компьютерного зрения)	Слой регрессии параллелепипеда позволяет уточнить расположение ограничивающего параллелепипеда с помощью функции сглаживания потерь L1. Этот уровень используется для создания сети обнаружения объектов Fast или Faster R-CNN.

Генеративные конкурентные сетевые уровни

Слой Описание

Слой	Описание
`projectAndReshapeLayer` (Пример пользовательского слоя)	Слой проекта и изменения формы принимает в качестве входных данных 1 на 1 по-`numLatentInputs` и преобразует их в изображения заданного размера. Слои проекта и изменения формы используются для изменения формы шума, вводимого в GAN.
`embedAndReshapeLayer` (Пример пользовательского слоя)	Слой встраивания и изменения формы принимает в качестве входных числовых индексов категориальных элементов и преобразует их в изображения заданного размера. Слои встраивания и изменения формы используются для ввода категориальных данных в условные GAN.

projectAndReshapeLayer (Пример пользовательского слоя)

Слой проекта и изменения формы принимает в качестве входных данных 1 на 1 по-numLatentInputs и преобразует их в изображения заданного размера. Слои проекта и изменения формы используются для изменения формы шума, вводимого в GAN.

embedAndReshapeLayer (Пример пользовательского слоя)

Слой встраивания и изменения формы принимает в качестве входных числовых индексов категориальных элементов и преобразует их в изображения заданного размера. Слои встраивания и изменения формы используются для ввода категориальных данных в условные GAN.

Выходные слои

Слой	Описание
`softmaxLayer`	Уровень softmax применяет функцию softmax к входу.
`sigmoidLayer`	Сигмоидальный слой применяет сигмоидальную функцию к входу таким образом, что выход ограничен в интервале (0,1).
`classificationLayer`	Уровень классификации вычисляет потери перекрестной энтропии для задач классификации и взвешенной классификации с взаимоисключающими классами.
`regressionLayer`	Уровень регрессии вычисляет потери в полусреднем квадрате для задач регрессии.
`pixelClassificationLayer`(Панель инструментов компьютерного зрения)	Слой классификации пикселей обеспечивает категориальную метку для каждого пикселя изображения или вокселя.
`dicePixelClassificationLayer`(Панель инструментов компьютерного зрения)	Слой классификации пикселей Dice предоставляет категориальную метку для каждого пикселя изображения или вокселя с использованием обобщенной потери Dice.
`focalLossLayer`(Панель инструментов компьютерного зрения)	Уровень фокальных потерь предсказывает классы объектов с использованием фокальных потерь.
`rpnSoftmaxLayer`(Панель инструментов компьютерного зрения)	Уровень softmax сети предложений области (RPN) применяет функцию активации softmax к входу. Этот уровень используется для создания более быстрой сети обнаружения объектов R-CNN.
`rpnClassificationLayer`(Панель инструментов компьютерного зрения)	Слой классификации сети предложений области (RPN) классифицирует области изображения как объект или фон с помощью функции перекрестных потерь энтропии. Этот уровень используется для создания более быстрой сети обнаружения объектов R-CNN.
`rcnnBoxRegressionLayer`(Панель инструментов компьютерного зрения)	Слой регрессии параллелепипеда позволяет уточнить расположение ограничивающего параллелепипеда с помощью функции сглаживания потерь L1. Этот уровень используется для создания сети обнаружения объектов Fast или Faster R-CNN.
`tverskyPixelClassificationLayer` (Пример пользовательского слоя)	Слой классификации пикселей Тверского предоставляет категориальную метку для каждого пикселя изображения или вокселя с использованием потерь Тверского.
`sseClassificationLayer` (Пример пользовательского слоя)	Уровень SSE классификации вычисляет сумму потерь ошибок квадратов для проблем классификации.
`maeRegressionLayer` (Пример пользовательского слоя)	Уровень MAE регрессии вычисляет среднюю абсолютную потерю ошибок для проблем регрессии.