convolution2dLayer

2D сверточный слой

расширьте все на странице

Описание

2D сверточный слой применяет скользящие сверточные фильтры к входу. Слой применяет операцию свертки к входу путем перемещения фильтров вдоль входа вертикально и горизонтально и вычисления скалярного произведения весов и входа, и затем добавления срока смещения.

Создание

Синтаксис

layer = convolution2dLayer(filterSize,numFilters)
layer = convolution2dLayer(filterSize,numFilters,Name,Value)

Описание

layer = convolution2dLayer(filterSize,numFilters) создает 2D сверточный слой и устанавливает FilterSize и NumFilters свойства.

пример

layer = convolution2dLayer(filterSize,numFilters,Name,Value) устанавливает дополнительный Stride, DilationFactor, NumChannels, Параметры и инициализация, изучите уровень и регуляризацию и Name свойства с помощью пар "имя-значение". Чтобы задать входное дополнение, используйте 'Padding' аргумент пары "имя-значение". Например, convolution2dLayer(11,96,'Stride',4,'Padding',1) создает 2D сверточный слой с 96 фильтрами размера [11 11], шаг [4 4], и нулевое дополнение размера 1 вдоль всех ребер слоя вводится. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Входные параметры

развернуть все

Аргументы в виде пар имя-значение

Используйте разделенные от запятой аргументы пары "имя-значение", чтобы задать размер нулевого дополнения, чтобы добавить вдоль ребер входа слоя или установить Stride, DilationFactor, NumChannels, Параметры и инициализация, изучите уровень и регуляризацию и Name свойства. Заключите имена в одинарные кавычки.

Пример: convolution2dLayer(3,16,'Padding','same') создает 2D сверточный слой с 16 фильтрами размера [3 3] и 'same' дополнение. В учебное время программное обеспечение вычисляет и устанавливает размер нулевого дополнения так, чтобы слой выход имел тот же размер как вход.

Введите дополнение ребра, заданное как разделенная запятой пара, состоящая из 'Padding' и одно из этих значений:

  • 'same' — Добавьте дополнение размера, вычисленного программным обеспечением при обучении или время прогноза так, чтобы выход имел тот же размер как вход, когда шаг равняется 1. Если шаг больше, чем 1, то выходным размером является ceil(inputSize/stride), где inputSize высота или ширина входа и stride шаг в соответствующей размерности. Программное обеспечение добавляет тот же объем дополнения к верху и низу, и налево и право, если это возможно. Если дополнение, которое должно быть добавлено вертикально, имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение в нижнюю часть. Если дополнение, которое должно быть добавлено горизонтально, имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение направо.

  • Неотрицательный целочисленный p — Добавьте дополнение размера p ко всем ребрам входа.

  • Векторный [a b] из неотрицательных целых чисел — Добавляют дополнение размера a к верху и низу входа и дополнению размера b налево и право.

  • Векторный [t b l r] из неотрицательных целых чисел — Добавляют дополнение размера t к верхней части, b к нижней части, l налево, и r справа от входа.

Пример: 'Padding',1 добавляют одна строка дополнения к верху и низу и один столбец дополнения налево и права на вход.

Пример: 'Padding','same' добавляет дополнение так, чтобы выход имел тот же размер как вход (если шаг равняется 1).

Свойства

развернуть все

Свертка

Высота и ширина фильтров, заданных как векторный [h w] из двух положительных целых чисел, где h высота и w ширина. FilterSize задает размер локальных областей, с которыми нейроны соединяются во входе.

При создании слоя можно задать FilterSize как скаляр, чтобы использовать то же значение в высоте и ширине.

Пример: [5 5] задает фильтры с высотой 5 и шириной 5.

Количество фильтров, заданных как положительное целое число. Этот номер соответствует количеству нейронов в сверточном слое, которые соединяются с той же областью во входе. Этот параметр определяет количество каналов (карты функции) в выходе сверточного слоя.

Пример: 96

Размер шага для того, чтобы пересечь вход вертикально и горизонтально, заданный как векторный [a b] из двух положительных целых чисел, где a вертикальный размер шага и b горизонтальный размер шага. При создании слоя можно задать Stride как скаляр, чтобы использовать то же значение в обоих размерах шага.

Пример: [2 3] задает вертикальный размер шага 2 и горизонтальный размер шага 3.

Фактор для расширенной свертки (также известный atrous свертка), заданный как векторный [h w] из двух положительных целых чисел, где h вертикальное расширение и w горизонтальное расширение. При создании слоя можно задать DilationFactor как скаляр, чтобы использовать то же значение и в горизонтальных и в вертикальных расширениях.

Используйте расширенные свертки, чтобы увеличить восприимчивое поле (область входа, который слой видит) слоя, не увеличивая число параметров или расчета.

Слой расширяет фильтры путем вставки нулей между каждым элементом фильтра. Фактор расширения определяет размер шага для выборки входа или эквивалентно фактора повышающей дискретизации фильтра. Это соответствует эффективному размеру фильтра (Filter Size – 1).* Dilation Factor + 1. Например, 3х3 фильтр с фактором расширения [2 2] эквивалентно фильтру 5 на 5 с нулями между элементами.

Пример: [2 3]

Размер дополнения, чтобы применяться к входным границам, заданным как векторный [t b l r] из четырех неотрицательных целых чисел, где t дополнение, применился к верхней части, b дополнение, применился к нижней части, l дополнение, примененное налево, и r дополнение, примененное направо.

Когда вы создадите слой, используйте 'Padding' аргумент пары "имя-значение", чтобы задать дополнительный размер.

Пример: [1 1 2 2] добавляют одна строка дополнения к верху и низу и два столбца дополнения налево и права на вход.

Метод, чтобы определить дополнительный размер, заданный как 'manual' или 'same'.

Программное обеспечение автоматически устанавливает значение PaddingMode на основе 'Padding' значение вы задаете при создании слоя.

  • Если вы устанавливаете 'Padding' опция к скаляру или вектору неотрицательных целых чисел, затем программное обеспечение автоматически устанавливает PaddingMode к 'manual'.

  • Если вы устанавливаете 'Padding' опция к 'same', затем программное обеспечение автоматически устанавливает PaddingMode к 'same' и вычисляет размер дополнения в учебное время так, чтобы выход имел тот же размер как вход, когда шаг равняется 1. Если шаг больше, чем 1, то выходным размером является ceil(inputSize/stride), где inputSize высота или ширина входа и stride шаг в соответствующей размерности. Программное обеспечение добавляет тот же объем дополнения к верху и низу, и налево и право, если это возможно. Если дополнение, которое должно быть добавлено вертикально, имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение в нижнюю часть. Если дополнение, которое должно быть добавлено горизонтально, имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение направо.

Примечание

Padding свойство будет удалено в будущем релизе. Используйте PaddingSize вместо этого. При создании слоя используйте 'Padding' аргумент пары "имя-значение", чтобы задать дополнительный размер.

Размер дополнения, чтобы применяться к входному граничит вертикально и горизонтально, заданный как векторный [a b] из двух неотрицательных целых чисел, где a дополнение, применился к верху и низу входных данных и b дополнение, применился к левому и правому.

Пример: [1 1] добавляют одна строка дополнения к верху и низу и один столбец дополнения налево и права на вход.

Количество каналов для каждого фильтра, заданного как 'auto' или положительное целое число.

Этот параметр всегда равен количеству каналов входа к сверточному слою. Например, если вход является цветным изображением, то количество каналов для входа равняется 3. Если количество фильтров для сверточного слоя до текущего слоя равняется 16, то количество каналов для текущего слоя равняется 16.

Если NumChannels 'auto', затем программное обеспечение определяет количество каналов в учебное время.

Пример: 256

Параметры и инициализация

Функция, чтобы инициализировать веса, заданные как одно из следующего:

  • 'glorot' – Инициализируйте веса с инициализатором Glorot [4] (также известный как инициализатор Ксавьера). Инициализатор Glorot независимо выборки от равномерного распределения с нулевым средним значением и отклонением 2/(numIn + numOut), где numIn = FilterSize(1)*FilterSize(2)*NumChannels и numOut = FilterSize(1)*FilterSize(2)*NumFilters.

  • 'he' – Инициализируйте веса с Ним инициализатор [5]. Он выборки инициализатора от нормального распределения с нулевым средним значением и отклонением 2/numIn, где numIn = FilterSize(1)*FilterSize(2)*NumChannels.

  • 'narrow-normal' – Инициализируйте веса путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • 'zeros' – Инициализируйте веса с нулями.

  • 'ones' – Инициализируйте веса с единицами.

  • Указатель на функцию – Инициализирует веса с пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму weights = func(sz), где sz размер весов. Для примера смотрите, Задают Пользовательскую Функцию Инициализации Веса.

Слой только инициализирует веса когда Weights свойство пусто.

Типы данных: char | string | function_handle

Функция, чтобы инициализировать смещение, заданное как одно из следующего:

  • 'zeros' – Инициализируйте смещение с нулями.

  • 'ones' – Инициализируйте смещение с единицами.

  • 'narrow-normal' – Инициализируйте смещение путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • Указатель на функцию – Инициализирует смещение с пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму bias = func(sz), где sz размер смещения.

Слой только инициализирует смещение когда Bias свойство пусто.

Типы данных: char | string | function_handle

Веса слоя для сверточного слоя, заданного как числовой массив.

Веса слоя являются learnable параметрами. Можно задать начальное значение для весов непосредственно с помощью Weights свойство слоя. При обучении сети, если Weights свойство слоя непусто, затем trainNetwork использует Weights свойство как начальное значение. Если Weights свойство пусто, затем trainNetwork использует инициализатор, заданный WeightsInitializer свойство слоя.

В учебное время, Weights FilterSize(1)- FilterSize(2)- NumChannels- NumFilters массив.

Типы данных: single | double

Слой смещает для сверточного слоя, заданного как числовой массив.

Смещения слоя являются learnable параметрами. При обучении сети, если Bias непусто, затем trainNetwork использует Bias свойство как начальное значение. Если Bias пусто, затем trainNetwork использует инициализатор, заданный BiasInitializer.

В учебное время, Bias 1 1 NumFilters массив.

Типы данных: single | double

Изучите уровень и регуляризацию

Фактор темпа обучения для весов, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный темп обучения, чтобы определить темп обучения для весов в этом слое. Например, если WeightLearnRateFactor 2, затем темп обучения для весов в этом слое является дважды текущим глобальным темпом обучения. Программное обеспечение определяет глобальный темп обучения на основе настроек, заданных с trainingOptions функция.

Пример 2

Фактор темпа обучения для смещений, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный темп обучения, чтобы определить темп обучения для смещений в этом слое. Например, если BiasLearnRateFactor 2, затем темп обучения для смещений в слое является дважды текущим глобальным темпом обучения. Программное обеспечение определяет глобальный темп обучения на основе настроек, заданных с trainingOptions функция.

Пример 2

Фактор регуляризации L2 для весов, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить регуляризацию L2 для весов в этом слое. Например, если WeightL2Factor 2, затем регуляризация L2 для весов в этом слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование trainingOptions функция.

Пример 2

Фактор регуляризации L2 для смещений, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить регуляризацию L2 для смещений в этом слое. Например, если BiasL2Factor 2, затем регуляризация L2 для смещений в этом слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование trainingOptions функция.

Пример 2

Слой

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте сверточный слой с 96 фильтрами, каждого с высотой и шириной 11. Используйте шаг (размер шага) 4 в горизонтальных и вертикальных направлениях.

layer = convolution2dLayer(11,96,'Stride',4)
layer = 
  Convolution2DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [11 11]
       NumChannels: 'auto'
        NumFilters: 96
            Stride: [4 4]
    DilationFactor: [1 1]
       PaddingMode: 'manual'
       PaddingSize: [0 0 0 0]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Включайте сверточный слой в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  7x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex
Скрипт Open Live Script

Чтобы задать веса и функции инициализатора смещения, используйте WeightsInitializer и BiasInitializer свойства соответственно. Чтобы задать веса и смещения непосредственно, используйте Weights и Bias свойства соответственно.

Задайте функции инициализации

Создайте сверточный слой с 32 фильтрами, каждого с высотой и шириной 5 и задайте инициализатор весов, чтобы быть Им инициализатор.

filterSize = 5;
numFilters = 32;
layer = convolution2dLayer(filterSize,numFilters, ...
    'WeightsInitializer','he')
layer = 
  Convolution2DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5]
       NumChannels: 'auto'
        NumFilters: 32
            Stride: [1 1]
    DilationFactor: [1 1]
       PaddingMode: 'manual'
       PaddingSize: [0 0 0 0]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Обратите внимание на то, что Weights и Bias свойства пусты. В учебное время программное обеспечение инициализирует эти свойства с помощью заданных функций инициализации.

Задайте пользовательские функции инициализации

Чтобы задать вашу собственную функцию инициализации для весов и смещений, установите WeightsInitializer и BiasInitializer свойства к указателю на функцию. Для этих свойств задайте указатели на функцию, которые берут размер весов и смещений как ввод и вывод инициализированное значение.

Создайте сверточный слой с 32 фильтрами, каждого с высотой и шириной 5 и задайте инициализаторы, которые производят веса и смещения от Распределения Гаусса со стандартным отклонением 0,0001.

filterSize = 5;
numFilters = 32;

layer = convolution2dLayer(filterSize,numFilters, ...
    'WeightsInitializer', @(sz) rand(sz) * 0.0001, ...
    'BiasInitializer', @(sz) rand(sz) * 0.0001)
layer = 
  Convolution2DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5]
       NumChannels: 'auto'
        NumFilters: 32
            Stride: [1 1]
    DilationFactor: [1 1]
       PaddingMode: 'manual'
       PaddingSize: [0 0 0 0]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Снова, Weights и Bias свойства пусты. В учебное время программное обеспечение инициализирует эти свойства с помощью заданных функций инициализации.

Задайте веса и сместите непосредственно

Создайте полносвязный слой с выходным размером 10 и установите веса и смещение к W и b в файле MAT Conv2dWeights.mat соответственно.

filterSize = 5;
numFilters = 32;
load Conv2dWeights

layer = convolution2dLayer(filterSize,numFilters, ...
    'Weights',W, ...
    'Bias',b)
layer = 
  Convolution2DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5]
       NumChannels: 3
        NumFilters: 32
            Stride: [1 1]
    DilationFactor: [1 1]
       PaddingMode: 'manual'
       PaddingSize: [0 0 0 0]

   Learnable Parameters
           Weights: [5x5x3x32 double]
              Bias: [1x1x32 double]

  Show all properties

Здесь, Weights и Bias свойства содержат заданные значения. В учебное время, если эти свойства непусты, то программное обеспечение использует заданные значения в качестве начальных весов и смещений. В этом случае программное обеспечение не использует функции инициализатора.

Скрипт Open Live Script

Предположим, что размер входа 28 28 1. Создайте сверточный слой с 16 фильтрами, каждого с высотой 6 и шириной 4. Установите горизонтальный и вертикальный шаг на 4.

Убедитесь, что свертка покрывает вход полностью. Для свертки, чтобы полностью покрыть вход, и горизонталь и вертикальные выходные размерности должны быть целыми числами. Для горизонтальной выходной размерности, чтобы быть целым числом, одна строка нулевого дополнения требуется на верху и низе изображения: (28 – 6 + 2 * 1)/4 + 1 = 7. Для вертикальной выходной размерности, чтобы быть целым числом, не требуется никакое нулевое дополнение: (28 – 4 + 2 * 0)/4 + 1 = 7.

Создайте сверточный слой.

layer = convolution2dLayer([6 4],16,'Stride',4,'Padding',[1 0])
layer = 
  Convolution2DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [6 4]
       NumChannels: 'auto'
        NumFilters: 16
            Stride: [4 4]
    DilationFactor: [1 1]
       PaddingMode: 'manual'
       PaddingSize: [1 1 0 0]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Больше о

развернуть все

Вопросы совместимости

развернуть все

Поведение изменяется в R2019a

Ссылки

[1] LeCun, Y., Б. Бозер, Дж. С. Денкер, Д. Хендерсон, Р. Э. Говард, В. Хаббард и Л. Д. Джекель. "Рукописное Распознавание Цифры с Сетью Обратной связи". В Усовершенствованиях в Нейронных Системах обработки информации 2 (Д. Турецкий, редактор). Сан-Франциско: Морган Кофманн, 1990.

[2] LeCun, Y., Л. Боттоу, И. Бенхио и П. Хэффнер. ''Основанное на градиенте Изучение Примененного Распознавание Документа''. Продолжения IEEE. Издание 86, Номер 11, 1998, стр 2278–2324.

[3] Мерфи, K. P. Машинное обучение: вероятностная перспектива. Кембридж, MA: нажатие MIT, 2012.

[4] Glorot, Ксавьер и Иосуа Бенхио. "Изучая трудность учебных глубоких нейронных сетей feedforward". В Продолжениях тринадцатой международной конференции по вопросам искусственного интеллекта и статистики, стр 249-256. 2010.

[5] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. "Копаясь глубоко в выпрямителях: Превосходная производительность человеческого уровня на imagenet классификации". В Продолжениях международной конференции IEEE по вопросам компьютерного зрения, стр 1026-1034. 2015.

Расширенные возможности

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Смотрите также

| | | | |

Темы

Введенный в R2016a

[1]  Кредит изображений: арифметика Свертки (Лицензия)

Документация Deep Learning Toolbox
Поддержка
Для просмотра документации необходимо авторизоваться на сайте