Список слоев глубокого обучения

Эта страница предоставляет список слоев глубокого обучения в MATLAB^®.

Чтобы изучить, как создать сети из слоев для различных задач, смотрите следующие примеры.

Задача	Узнать больше
Создайте нейронные сети для глубокого обучения для классификации изображений или регрессии.	Создайте простую сеть глубокого обучения для классификации Обучите сверточную нейронную сеть регрессии Обучите остаточную сеть для классификации изображений
Создайте нейронные сети для глубокого обучения для последовательности и данных временных рядов.	Классификация последовательностей Используя глубокое обучение Прогнозирование временных рядов Используя глубокое обучение
Создайте нейронную сеть для глубокого обучения для аудиоданных.	Распознание речевых команд с использованием глубокого обучения
Создайте нейронную сеть для глубокого обучения для текстовых данных.	Классифицируйте текстовые данные Используя глубокое обучение Сгенерируйте текст Используя глубокое обучение

Слои глубокого обучения

Используйте следующие функции, чтобы создать различные типы слоя. В качестве альтернативы используйте приложение Deep Network Designer, чтобы создать сети в интерактивном режиме.

Чтобы изучить, как задать ваши собственные слои, смотрите, Задают Пользовательские Слои Глубокого обучения.

Входные слои

Слой	Описание
`imageInputLayer`	Изображение ввело входные параметры слоя 2D изображения к сети, и применяет нормализацию данных.
`image3dInputLayer`	Входной слой 3-D изображения вводит 3-D изображения или объемы к сети и применяет нормализацию данных.
`sequenceInputLayer`	Последовательность ввела входные данные о последовательности слоя к сети.
`featureInputLayer`	Функция ввела входные данные о функции слоя к сети, и применяет нормализацию данных. Используйте этот слой, когда у вас будет набор данных числовых скаляров, представляющих функции (данные без пространственных или измерений времени).
`roiInputLayer` (Computer Vision Toolbox)	Слой входа ROI вводит изображения к сети обнаружения объектов Fast R-CNN.

Свертки и полносвязные слои

Слой	Описание
`convolution1dLayer`	1D сверточный слой применяет скользящие сверточные фильтры к 1D входу.
`convolution2dLayer`	2D сверточный слой применяет скользящие сверточные фильтры к 2D входу.
`convolution3dLayer`	3-D сверточный слой применяет скользящие кубовидные фильтры свертки к 3-D входу.
`groupedConvolution2dLayer`	2D сгруппированный сверточный слой разделяет входные каналы на группы и применяет скользящие сверточные фильтры. Используйте сгруппированные сверточные слои для отделимого мудрого каналом (также известный мудрыми глубиной отделимый) свертка.
`transposedConv2dLayer`	Транспонированный 2D слой свертки сверхдискретизировал карты функции.
`transposedConv3dLayer`	Транспонированный 3-D слой свертки сверхдискретизировал 3D карты функции.
`fullyConnectedLayer`	Полносвязный слой умножает вход на матрицу веса и затем добавляет вектор смещения.

Слои последовательности

Слой	Описание
`sequenceInputLayer`	Последовательность ввела входные данные о последовательности слоя к сети.
`lstmLayer`	Слой LSTM изучает долгосрочные зависимости между временными шагами в данных о последовательности и временных рядах.
`bilstmLayer`	Двунаправленный слой LSTM (BiLSTM) изучает двунаправленные долгосрочные зависимости между временными шагами данных о последовательности или временных рядов. Эти зависимости могут быть полезными, когда это необходимо, сеть, чтобы извлечь уроки из полных временных рядов на каждом временном шаге.
`gruLayer`	Слой ГРУ изучает зависимости между временными шагами в данных о последовательности и временных рядах.
`convolution1dLayer`	1D сверточный слой применяет скользящие сверточные фильтры к 1D входу.
`maxPooling1dLayer`	1D макс. слой объединения выполняет субдискретизацию путем деления входа на 1D области объединения, затем вычисляя максимум каждой области.
`averagePooling1dLayer`	1D средний слой объединения выполняет субдискретизацию путем деления входа на 1D области объединения, затем вычисляя среднее значение каждой области.
`globalMaxPooling1dLayer`	1D глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вывода максимума времени или пространственных размерностей входа.
`sequenceFoldingLayer`	Слой сворачивания последовательности преобразует пакет последовательностей изображений к пакету изображений. Используйте слой сворачивания последовательности, чтобы выполнить операции свертки на временных шагах последовательностей изображений независимо.
`sequenceUnfoldingLayer`	Слой разворачивания последовательности восстанавливает структуру последовательности входных данных после сворачивания последовательности.
`flattenLayer`	Сглаживать слой сворачивает пространственные размерности входа в размерность канала.
`wordEmbeddingLayer` (Text Analytics Toolbox)	Слой встраивания слова сопоставляет словари с векторами.
`peepholeLSTMLayer` (Пользовательский пример слоя)

Слои активации

Слой	Описание
`reluLayer`	Слой ReLU выполняет пороговую операцию к каждому элементу входа, где любое значение меньше, чем нуль обнуляется.
`leakyReluLayer`	Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр.
`clippedReluLayer`	Отсеченный слой ReLU выполняет пороговую операцию, где любое входное значение, меньше, чем нуль обнуляются и любое значение выше потолка усечения, установлено в тот потолок усечения.
`eluLayer`	Слой активации ELU выполняет единичную операцию на положительных входных параметрах и экспоненциальную нелинейность на отрицательных входных параметрах.
`tanhLayer`	Гиперболическая касательная (tanh) слой активации применяет функцию tanh на входные параметры слоя.
`swishLayer`	Слой активации свиста применяет функцию свиста на входные параметры слоя.
`softplusLayer` (Reinforcement Learning Toolbox)	softplus слой применяет softplus функцию активации Y = журнал (1 + e^X), который гарантирует, что выход всегда положителен. Эта функция активации является сглаженной непрерывной версией `reluLayer`. Можно включить этот слой в глубокие нейронные сети, которые вы задаете для агентов в агентах обучения с подкреплением. Этот слой полезен для создания непрерывных Гауссовых глубоких нейронных сетей политики, для которых стандартное отклонение выход должен быть положительным.
`functionLayer`	Функциональный слой применяет заданную функцию к входу слоя.
`preluLayer` (Пользовательский пример слоя)	Слой LSTM глазка является вариантом слоя LSTM, где вычисления логического элемента используют состояние ячейки слоя.

Нормализация, уволенный и слои обрезки

Слой	Описание
`batchNormalizationLayer`	Слой нормализации партии. нормирует мини-пакет данных через все наблюдения для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации партии. между сверточными слоями и нелинейностью, такой как слои ReLU.
`groupNormalizationLayer`	Слой нормализации группы нормирует мини-пакет данных через сгруппированные подмножества каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации группы между сверточными слоями и нелинейностью, такой как слои ReLU.
`instanceNormalizationLayer`	Слой нормализации экземпляра нормирует мини-пакет данных через каждый канал для каждого наблюдения независимо. Чтобы улучшить сходимость обучения сверточная нейронная сеть и уменьшать чувствительность к сетевым гиперпараметрам, используйте слои нормализации экземпляра между сверточными слоями и нелинейностью, такой как слои ReLU.
`layerNormalizationLayer`	Слой нормализации слоя нормирует мини-пакет данных через все каналы для каждого наблюдения независимо. Чтобы ускорить обучение текущих и многоуровневых perceptron нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации слоя после learnable слоев, таких как LSTM и полносвязные слоя.
`crossChannelNormalizationLayer`	Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.
`dropoutLayer`	Слой уволенного случайным образом обнуляет входные элементы с данной вероятностью.
`crop2dLayer`	2D слой обрезки применяет 2D обрезку к входу.
`crop3dLayer`	3-D слой обрезки обрезки 3-D объем к размеру входа показывает карту.
`scalingLayer` (Reinforcement Learning Toolbox)	Масштабирующийся слой линейно масштабирует и смещает входной массив `U`, предоставление выхода `Y = Scale.*U + Bias`. Можно включить этот слой в глубокие нейронные сети, которые вы задаете для агентов или критиков в агентах обучения с подкреплением. Этот слой полезен для масштабирования и перемещения выходных параметров нелинейных слоев, такой как `tanhLayer` и сигмоидальный.
`quadraticLayer` (Reinforcement Learning Toolbox)	Квадратичный слой берет входной вектор и выводит вектор из квадратичных одночленов, созданных из входных элементов. Этот слой полезен, когда вам нужен слой, выход которого является некоторой квадратичной функцией своих входных параметров. Например, чтобы воссоздать структуру квадратичных функций ценности, таких как используемые в проектировании контроллера LQR.
`resize2dLayer` (Image Processing Toolbox)	2D изменяет размер слоя, изменяет размер 2D входа масштабным коэффициентом, к заданной высоте и ширине, или к размеру ссылочной входной карты функции.
`resize3dLayer` (Image Processing Toolbox)	3-D изменяет размер слоя, изменяет размер 3-D входа масштабным коэффициентом, к заданной высоте, ширине и глубине, или к размеру ссылочной входной карты функции.
`stftLayer` (Signal Processing Toolbox)	Слой STFT вычисляет кратковременное преобразование Фурье входа.

Объединение и необъединение слоев

Слой	Описание
`averagePooling1dLayer`	1D средний слой объединения выполняет субдискретизацию путем деления входа на 1D области объединения, затем вычисляя среднее значение каждой области.
`averagePooling2dLayer`	2D средний слой объединения выполняет субдискретизацию путем деления входа на прямоугольные области объединения, затем вычисляя средние значения каждой области.
`averagePooling3dLayer`	3-D средний слой объединения выполняет субдискретизацию путем деления 3D входа на кубовидные области объединения, затем вычисляя средние значения каждой области.
`globalAveragePooling1dLayer`	1D глобальный средний слой объединения выполняет субдискретизацию путем вывода среднего значения времени или пространственных размерностей входа.
`globalAveragePooling2dLayer`	2D глобальный средний слой объединения выполняет субдискретизацию путем вычисления среднего значения размерностей высоты и ширины входа.
`globalAveragePooling3dLayer`	3-D глобальный средний слой объединения выполняет субдискретизацию путем вычисления среднего значения высоты, ширины и размерностей глубины входа.
`maxPooling1dLayer`	1D макс. слой объединения выполняет субдискретизацию путем деления входа на 1D области объединения, затем вычисляя максимум каждой области.
`maxPooling2dLayer`	2D макс. слой объединения выполняет субдискретизацию путем деления входа на прямоугольные области объединения, затем вычисляя максимум каждой области.
`maxPooling3dLayer`	3-D макс. слой объединения выполняет субдискретизацию путем деления 3D входа на кубовидные области объединения, затем вычисляя максимум каждой области.
`globalMaxPooling1dLayer`	1D глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вывода максимума времени или пространственных размерностей входа.
`globalMaxPooling2dLayer`	2D глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вычисления максимума размерностей высоты и ширины входа.
`globalMaxPooling3dLayer`	3-D глобальная переменная макс. объединение слоя выполняет субдискретизацию путем вычисления максимума высоты, ширины и размерностей глубины входа.
`maxUnpooling2dLayer`	2D макс. слой необъединения не объединяет выход 2D макс. слоя объединения.

Слои комбинации

Слой	Описание
`additionLayer`	Слой сложения добавляет входные параметры из нескольких поэлементных слоев нейронной сети.
`multiplicationLayer`	Слой умножения умножает входы от нескольких поэлементных слоев нейронной сети.
`depthConcatenationLayer`	Слой конкатенации глубины берет входные параметры, которые имеют ту же высоту и ширину, и конкатенирует их по третьему измерению (размерность канала).
`concatenationLayer`	Слой конкатенации берет входные параметры и конкатенирует их в заданном измерении. Входные параметры должны иметь тот же размер во всех размерностях кроме размерности конкатенации.
`weightedAdditionLayer` (Пользовательский пример слоя)	Взвешенный слой сложения масштабирует и добавляет входные параметры из нескольких поэлементных слоев нейронной сети.

Слои обнаружения объектов

Слой	Описание
`roiInputLayer` (Computer Vision Toolbox)	Слой входа ROI вводит изображения к сети обнаружения объектов Fast R-CNN.
`roiMaxPooling2dLayer` (Computer Vision Toolbox)	ROI, макс. объединяющий слой выходная функция фиксированного размера, сопоставляет для каждого прямоугольного ROI в рамках входной карты функции. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN.
`roiAlignLayer` (Computer Vision Toolbox)	ROI выравнивает слой выходные карты функции фиксированного размера для каждого прямоугольного ROI в рамках входной карты функции. Используйте этот слой, чтобы создать сеть Mask R-CNN.
`anchorBoxLayer` (Computer Vision Toolbox)	Слой поля привязки хранит поля привязки для карты функции, используемой в сетях обнаружения объектов.
`regionProposalLayer` (Computer Vision Toolbox)	Слой предложения по области выходные ограничительные рамки вокруг потенциальных объектов в изображении как часть сети предложения по области (RPN) в Faster R-CNN.
`ssdMergeLayer` (Computer Vision Toolbox)	Слой слияния SSD объединяет выходные параметры карт функции для последующей регрессии и расчета классификации потерь.
`yolov2TransformLayer` (Computer Vision Toolbox)	Слой преобразования вас только смотрит однажды версия 2 (YOLO v2), сеть преобразовывает предсказания ограничительной рамки последнего слоя свертки в сети, чтобы находиться в пределах границ основной истины. Используйте слой преобразования, чтобы улучшить устойчивость сети YOLO v2.
`spaceToDepthLayer` (Image Processing Toolbox)	Пробел к слою глубины переставляет пространственные блоки входа в размерность глубины. Используйте этот слой, когда необходимо будет объединить карты функции различного размера, не отбрасывая данных о функции.
`depthToSpace2dLayer` (Image Processing Toolbox)	2D глубина, чтобы расположить слой с интервалами переставляет данные из размерности глубины в блоки 2D пространственных данных.
`rpnSoftmaxLayer` (Computer Vision Toolbox)	Сеть предложения по области (RPN) softmax слой применяет softmax функцию активации к входу. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN.
`focalLossLayer` (Computer Vision Toolbox)	Фокальный слой потерь предсказывает классы объектов с помощью фокальной потери.
`rpnClassificationLayer` (Computer Vision Toolbox)	Слой классификации сетей предложения по области (RPN) классифицирует области изображений или как объект или как фон при помощи функции потери перекрестной энтропии. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN.
`rcnnBoxRegressionLayer` (Computer Vision Toolbox)	Слой регрессии поля совершенствовал местоположения ограничительной рамки при помощи сглаженной функции потерь L1. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN.

Выходной слой

Слой	Описание
`softmaxLayer`	softmax слой применяет функцию softmax к входу.
`sigmoidLayer`	Сигмоидальный слой применяет сигмоидальную функцию к входу, таким образом, что выход ограничен в интервале (0,1).
`classificationLayer`	Слой классификации вычисляет потерю перекрестной энтропии для классификации и взвешенных задач классификации со взаимоисключающими классами.
`regressionLayer`	Слой регрессии вычисляет половину потери среднеквадратической ошибки для задач регрессии.
`pixelClassificationLayer` (Computer Vision Toolbox)	Слой классификации пикселей обеспечивает категориальную метку для каждого пикселя изображения или вокселя.
`dicePixelClassificationLayer` (Computer Vision Toolbox)	Слой классификации пикселей Dice обеспечивает категориальную метку для каждого пикселя изображения, или воксель с помощью обобщил Dice Loss.
`focalLossLayer` (Computer Vision Toolbox)	Фокальный слой потерь предсказывает классы объектов с помощью фокальной потери.
`rpnSoftmaxLayer` (Computer Vision Toolbox)	Сеть предложения по области (RPN) softmax слой применяет softmax функцию активации к входу. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN.
`rpnClassificationLayer` (Computer Vision Toolbox)	Слой классификации сетей предложения по области (RPN) классифицирует области изображений или как объект или как фон при помощи функции потери перекрестной энтропии. Используйте этот слой, чтобы создать сеть обнаружения объектов Faster R-CNN.
`rcnnBoxRegressionLayer` (Computer Vision Toolbox)	Слой регрессии поля совершенствовал местоположения ограничительной рамки при помощи сглаженной функции потерь L1. Используйте этот слой, чтобы создать Быстрое или сеть обнаружения объектов Faster R-CNN.
`yolov2OutputLayer` (Computer Vision Toolbox)	Выходной слой вас только смотрит однажды версия 2 (YOLO v2), сеть совершенствовала местоположения ограничительной рамки путем минимизации потери среднеквадратической ошибки между предсказанными местоположениями и основной истиной.
`tverskyPixelClassificationLayer` (Пользовательский пример слоя)	Слой классификации пикселей Tversky обеспечивает категориальную метку для каждого пикселя изображения или использования вокселя потеря Tversky.
`sseClassificationLayer` (Пользовательский пример слоя)	Слой SSE классификации вычисляет ошибочную потерю суммы квадратов для проблем классификации.
`maeRegressionLayer` (Пользовательский пример слоя)	Слой MAE регрессии вычисляет среднюю потерю абсолютной погрешности для проблем регрессии.

Документация