convolution3dLayer

3-D сверточный слой

Описание

3-D сверточный слой применяет скользящие кубовидные фильтры свертки к 3D входу. Слой применяет операцию свертки к входу путем перемещения фильтров вдоль входа вертикально, горизонтально, и вдоль глубины, вычисления скалярного произведения весов и входа, и затем добавления срока смещения.

Создание

Синтаксис

layer = convolution3dLayer(filterSize,numFilters)
layer = convolution3dLayer(filterSize,numFilters,Name,Value)

Описание

layer = convolution3dLayer(filterSize,numFilters) создает 3-D сверточный слой и устанавливает свойства FilterSize и NumFilters.

пример

layer = convolution3dLayer(filterSize,numFilters,Name,Value) устанавливает дополнительный Stride, DilationFactor, NumChannels, Параметры и Инициализацию, Изучите Уровень и Регуляризацию и свойства Name с помощью пар "имя-значение". Чтобы задать входное дополнение, используйте аргумент пары "имя-значение" 'Padding'. Например, convolution3dLayer(11,96,'Stride',4,'Padding',1) создает 3-D сверточный слой с 96 фильтрами размера [11 11 11], шаг [4 4 4] и нулевое дополнение размера 1 вдоль всех ребер входа слоя. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Входные параметры

развернуть все

Аргументы в виде пар имя-значение

Используйте разделенные от запятой аргументы пары "имя-значение", чтобы задать размер нулевого дополнения, чтобы добавить вдоль ребер входа слоя или установить Stride, DilationFactor, NumChannels, Параметры и Инициализацию, Изучить Уровень и Регуляризацию и свойства Name. Заключите имена в одинарные кавычки.

Пример: convolution3dLayer(3,16,'Padding','same') создает 3-D сверточный слой с 16 фильтрами размера дополнение 'same' и [3 3 3]. В учебное время программное обеспечение вычисляет и устанавливает размер нулевого дополнения так, чтобы слой вывод имел тот же размер как вход.

Введите дополнение ребра, заданное как пара, разделенная запятой, состоящая из 'Padding' и одно из этих значений:

  • 'same' — Добавьте дополнение размера, вычисленного программным обеспечением при обучении или время прогноза так, чтобы вывод имел тот же размер как вход, когда шаг равняется 1. Если шаг больше, чем 1, то выходным размером является ceil(inputSize/stride), где inputSize является высотой, шириной, или глубина входа и stride является шагом в соответствующей размерности. Программное обеспечение добавляет тот же объем дополнения к верху и низу, налево и праву, и к передней и задней части, если это возможно. Если дополнение в данной размерности имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение во вход как постдополнение. Другими словами, программное обеспечение добавляет дополнительное вертикальное дополнение в нижнюю часть, дополнительное горизонтальное дополнение направо и дополнительное дополнение глубины к задней части входа.

  • Неотрицательный целочисленный p — Добавляет дополнение размера p ко всем ребрам входа.

  • Трехэлементный векторный [a b c] неотрицательных целых чисел — Добавляет дополнение размера a к верху и низу, дополнению размера b налево и право и дополнение размера c к передней и задней части входа.

  • 2 3 матричный [t l f;b r k] неотрицательных целых чисел — Добавляет дополнение размера t к верхней части, b к нижней части, l налево, r направо, f к передней стороне и k к задней части входа. Другими словами, верхняя строка задает предварительное дополнение, и вторая строка задает постдополнение в трех измерениях.

Пример: 'Padding',1 добавляет одну строку дополнения к верху и низу, одному столбцу дополнения налево и права и одной плоскости дополнения к передней и задней части входа.

Пример: 'Padding','same' добавляет дополнение так, чтобы вывод имел тот же размер как вход (если шаг равняется 1).

Свойства

развернуть все

Свертка

Высота, ширина и глубина фильтров, заданных как векторный [h w d] трех положительных целых чисел, где h является высотой, w, являются шириной, и d является глубиной. FilterSize задает размер локальных областей, с которыми нейроны соединяются во входе.

При создании слоя можно задать FilterSize как скаляр, чтобы использовать то же значение для высоты, ширины и глубины.

Пример: [5 5 5] задает фильтры с высотой, шириной и глубиной 5.

Количество фильтров, заданных как положительное целое число. Этот номер соответствует количеству нейронов в сверточном слое, которые соединяются с той же областью во входе. Этот параметр определяет количество каналов (карты функции) в выводе сверточного слоя.

Пример: 96

Размер шага для того, чтобы пересечь вход в трех измерениях, заданных как векторный [a b c] трех положительных целых чисел, где a является вертикальным размером шага, b, является горизонтальным размером шага, и c является размером шага вдоль глубины. При создании слоя можно задать Stride как скаляр, чтобы использовать то же значение для размеров шага во всех трех направлениях.

Пример: [2 3 1] задает вертикальный размер шага 2, горизонтальный размер шага 3 и размер шага вдоль глубины 1.

Фактором для расширенной свертки (также известный atrous свертка), заданный как векторный [h w d] трех положительных целых чисел, где h является вертикальным расширением, w, является горизонтальное расширение, и d является расширением вдоль глубины. При создании слоя можно задать DilationFactor как скаляр, чтобы использовать то же значение для расширения во всех трех направлениях.

Используйте расширенные свертки, чтобы увеличить восприимчивое поле (область входа, который слой видит) слоя, не увеличивая число параметров или вычисления.

Слой расширяет фильтры путем вставки нулей между каждым элементом фильтра. Фактор расширения определяет размер шага для выборки входа или эквивалентно фактора повышающей дискретизации фильтра. Это соответствует эффективному размеру фильтра (Filter Size – 1).* Dilation Factor + 1. Например, 3 3х3 фильтром с фактором расширения [2 2 2] эквивалентны 5 фильтром 5 на 5 с нулями между элементами.

Пример: [2 3 1] расширяет фильтр вертикально по фактору 2, горизонтально фактором 3, и вдоль глубины фактором 1.

Размер дополнения, чтобы применяться к входным границам, заданным, когда 2 3, матричный [t l f;b r k] неотрицательных целых чисел, где t и b являются дополнением, применился к верху и низу в вертикальном направлении, l и r являются дополнением, применился к левому и правому в горизонтальном направлении, и f и k являются дополнением, применился к передней и задней части вдоль глубины. Другими словами, верхняя строка задает предварительное дополнение, и вторая строка задает постдополнение в трех измерениях.

Когда вы создадите слой, используйте аргумент пары "имя-значение" 'Padding', чтобы задать дополнительный размер.

Пример: [1 2 4;1 2 4] добавляет одну строку дополнения к верху и низу, двум столбцам дополнения налево и права и четырех плоскостей дополнения к передней и задней части входа.

Метод, чтобы определить дополнительный размер, заданный как 'manual' или 'same'.

Программное обеспечение автоматически устанавливает значение PaddingMode на основе 'Дополнительного' значения, которое вы задаете при создании слоя.

  • Если вы устанавливаете опцию 'Padding' на скаляр или вектор неотрицательных целых чисел, то программное обеспечение автоматически устанавливает PaddingMode на 'manual'.

  • Если вы устанавливаете опцию 'Padding' на 'same', то программное обеспечение автоматически устанавливает PaddingMode на 'same' и вычисляет размер дополнения в учебное время так, чтобы вывод имел тот же размер как вход, когда шаг равняется 1. Если шаг больше, чем 1, то выходным размером является ceil(inputSize/stride), где inputSize является высотой, шириной, или глубина входа и stride является шагом в соответствующей размерности. Программное обеспечение добавляет тот же объем дополнения к верху и низу, налево и праву, и к передней и задней части, если это возможно. Если дополнение в данной размерности имеет нечетное значение, то программное обеспечение добавляет дополнительное дополнение во вход как постдополнение. Другими словами, программное обеспечение добавляет дополнительное вертикальное дополнение в нижнюю часть, дополнительное горизонтальное дополнение направо и дополнительное дополнение глубины к задней части входа.

Количество каналов для каждого фильтра, заданного как 'auto' или положительное целое число.

Этот параметр всегда равен количеству каналов входа к сверточному слою. Например, если вход является цветным изображением, то количество каналов для входа равняется 3. Если количество фильтров для сверточного слоя до текущего слоя равняется 16, то количество каналов для текущего слоя равняется 16.

Если NumChannels является 'auto', то программное обеспечение определяет количество каналов в учебное время.

Пример: 256

Параметры и инициализация

Функция, чтобы инициализировать веса, заданные как одно из следующего:

  • 'glorot' – Инициализируйте веса с инициализатором Glorot [1] (также известный как инициализатор Ксавьера). Инициализатор Glorot независимо выборки от равномерного распределения с нулевым средним значением и отклонением 2/(numIn + numOut), где numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels и numOut = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumFilters.

  • 'he' – Инициализируйте веса с Ним инициализатор [2]. Он выборки инициализатора от нормального распределения с нулевым средним значением и отклонением 2/numIn, где numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels.

  • 'narrow-normal' – Инициализируйте веса путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • нули Инициализируйте веса с нулями.

  • единицы Инициализируйте веса с единицами.

  • Указатель на функцию – Инициализирует веса с пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму weights = func(sz), где sz является размером весов. Для примера смотрите, Задают Пользовательскую Функцию Инициализации Веса.

Слой только инициализирует веса, когда свойство Weights пусто.

Типы данных: char | string | function_handle

Функция, чтобы инициализировать смещение, заданное как одно из следующего:

  • нули Инициализируйте смещение с нулями.

  • единицы Инициализируйте смещение с единицами.

  • 'narrow-normal' – Инициализируйте смещение путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • Указатель на функцию – Инициализирует смещение с пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму bias = func(sz), где sz является размером смещения.

Слой только инициализирует смещение, когда свойство Bias пусто.

Типы данных: char | string | function_handle

Веса слоя для сверточного слоя, заданного как числовой массив.

Веса слоя являются learnable параметрами. Можно задать начальное значение для весов непосредственно с помощью свойства Weights слоя. При обучении сети, если свойство Weights слоя непусто, то trainNetwork использует свойство Weights в качестве начального значения. Если свойство Weights пусто, то trainNetwork использует инициализатор, заданный свойством WeightsInitializer слоя.

В учебное время Weights является FilterSize(1)-by-FilterSize(2)-by-FilterSize(3)-by-NumChannels-by-NumFilters массив.

Типы данных: single | double

Слой смещает для сверточного слоя, заданного как числовой массив.

Смещения слоя являются learnable параметрами. При обучении сети, если Bias непуст, то trainNetwork использует свойство Bias в качестве начального значения. Если Bias пуст, то trainNetwork использует инициализатор, заданный BiasInitializer.

В учебное время Bias является 1 1 1 NumFilters массивом.

Типы данных: single | double

Изучите уровень и регуляризацию

Фактор темпа обучения для весов, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный темп обучения, чтобы определить темп обучения для весов в этом слое. Например, если WeightLearnRateFactor равняется 2, то темп обучения для весов в этом слое является дважды текущим глобальным темпом обучения. Программное обеспечение определяет глобальный темп обучения на основе настроек, заданных с функцией trainingOptions.

Пример 2

Фактор темпа обучения для смещений, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный темп обучения, чтобы определить темп обучения для смещений в этом слое. Например, если BiasLearnRateFactor равняется 2, то темп обучения для смещений в слое является дважды текущим глобальным темпом обучения. Программное обеспечение определяет глобальный темп обучения на основе настроек, заданных с функцией trainingOptions.

Пример 2

Фактор регуляризации L2 для весов, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить регуляризацию L2 для весов в этом слое. Например, если WeightL2Factor равняется 2, то регуляризация L2 для весов в этом слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование функции trainingOptions.

Пример 2

Фактор регуляризации L2 для смещений, заданных как неотрицательный скаляр.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить регуляризацию L2 для смещений в этом слое. Например, если BiasL2Factor равняется 2, то регуляризация L2 для смещений в этом слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование функции trainingOptions.

Пример 2

Слой

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем, и Name установлен в '', то программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один вывод только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один вывод только.

Типы данных: cell

Примеры

свернуть все

Создайте 3-D слой свертки с 16 фильтрами, каждого с высотой, шириной и глубиной 5. Используйте шаг (размер шага) 4 во всех трех направлениях.

layer = convolution3dLayer(5,16,'Stride',4)
layer = 
  Convolution3DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5 5]
       NumChannels: 'auto'
        NumFilters: 16
            Stride: [4 4 4]
    DilationFactor: [1 1 1]
       PaddingMode: 'manual'
       PaddingSize: [2x3 double]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Включайте 3-D слой свертки в массив Layer.

layers = [ ...
    image3dInputLayer([28 28 28 3])
    convolution3dLayer(5,16,'Stride',4)
    reluLayer
    maxPooling3dLayer(2,'Stride',4)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  7x1 Layer array with layers:

     1   ''   3-D Image Input         28x28x28x3 images with 'zerocenter' normalization
     2   ''   Convolution             16 5x5x5 convolutions with stride [4  4  4] and padding [0  0  0; 0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   3-D Max Pooling         2x2x2 max pooling with stride [4  4  4] and padding [0  0  0; 0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex

Чтобы задать веса и функции инициализатора смещения, используйте свойства WeightsInitializer и BiasInitializer соответственно. Чтобы задать веса и смещения непосредственно, используйте свойства Weights и Bias соответственно.

Задайте функции инициализации

Создайте 3-D сверточный слой с 32 фильтрами, каждого с высотой, шириной и глубиной 5. Задайте инициализатор весов, чтобы быть Им инициализатор.

filterSize = 5;
numFilters = 32;
layer = convolution3dLayer(filterSize,numFilters, ...
    'WeightsInitializer','he')
layer = 
  Convolution3DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5 5]
       NumChannels: 'auto'
        NumFilters: 32
            Stride: [1 1 1]
    DilationFactor: [1 1 1]
       PaddingMode: 'manual'
       PaddingSize: [2x3 double]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Обратите внимание на то, что свойства Weights и Bias пусты. В учебное время программное обеспечение инициализирует эти свойства с помощью заданных функций инициализации.

Задайте пользовательские функции инициализации

Чтобы задать вашу собственную функцию инициализации для весов и смещений, установите свойства WeightsInitializer и BiasInitializer на указатель на функцию. Для этих свойств задайте указатели на функцию, которые берут размер весов и смещений как ввод и вывод инициализированное значение.

Создайте сверточный слой с 32 фильтрами, каждого с высотой, шириной и глубиной 5. Задайте инициализаторы, которые выбирают веса и смещения от Распределения Гаусса со стандартным отклонением 0,0001.

filterSize = 5;
numFilters = 32;

layer = convolution3dLayer(filterSize,numFilters, ...
    'WeightsInitializer', @(sz) rand(sz) * 0.0001, ...
    'BiasInitializer', @(sz) rand(sz) * 0.0001)
layer = 
  Convolution3DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5 5]
       NumChannels: 'auto'
        NumFilters: 32
            Stride: [1 1 1]
    DilationFactor: [1 1 1]
       PaddingMode: 'manual'
       PaddingSize: [2x3 double]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Снова, свойства Weights и Bias пусты. В учебное время программное обеспечение инициализирует эти свойства с помощью заданных функций инициализации.

Задайте веса и сместите непосредственно

Создайте 3-D сверточный слой, совместимый с цветными изображениями. Установите веса и смещение к W и b в файле MAT Conv3dWeights.mat соответственно.

filterSize = 5;
numFilters = 32;
load Conv3dWeights

layer = convolution3dLayer(filterSize,numFilters, ...
    'Weights',W, ...
    'Bias',b)
layer = 
  Convolution3DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [5 5 5]
       NumChannels: 3
        NumFilters: 32
            Stride: [1 1 1]
    DilationFactor: [1 1 1]
       PaddingMode: 'manual'
       PaddingSize: [2x3 double]

   Learnable Parameters
           Weights: [5-D double]
              Bias: [1x1x1x32 double]

  Show all properties

Здесь, свойства Weights и Bias содержат заданные значения. В учебное время, если эти свойства непусты, то программное обеспечение использует заданные значения в качестве начальных весов и смещений. В этом случае программное обеспечение не использует функции инициализатора.

Предположим, что размер входа 28 28 28 1. Создайте 3-D сверточный слой с 16 фильтрами, каждого с высотой 6, шириной 4 и глубиной 5. Установите шаг во всех размерностях к 4.

Убедитесь, что свертка покрывает вход полностью. Для свертки, чтобы полностью покрыть вход, выходные размерности должны быть целыми числами. Когда нет никакого расширения, i-th, выходная размерность вычисляется как (imageSize (i) - filterSize (i) + дополняющий (i)) / шаг (i) + 1.

  • Для горизонтальной выходной размерности, чтобы быть целым числом, требуются две строки нулевого дополнения: (28 – 6 + 2)/4 + 1 = 7. Распределите дополнение симметрично путем добавления одной строки дополнения вверху и внизу изображения.

  • Для вертикальной выходной размерности, чтобы быть целым числом, не требуется никакое нулевое дополнение: (28 – 4 + 0)/4 + 1 = 7.

  • Поскольку глубина вывела размерность, чтобы быть целым числом, одна плоскость нулевого дополнения требуется: (28 – 5 + 1)/4 + 1 = 7. Необходимо распределить дополнение асимметрично на передней и задней части изображения. Этот пример добавляет одну плоскость нулевого дополнения к задней части изображения.

Создайте сверточный слой. Задайте 'Дополнение' как 2 3 матрица. Первая строка задает предварительное дополнение, и вторая строка задает постдополнение в трех измерениях.

layer = convolution3dLayer([6 4 5],16,'Stride',4,'Padding',[1 0 0;1 0 1])
layer = 
  Convolution3DLayer with properties:

              Name: ''

   Hyperparameters
        FilterSize: [6 4 5]
       NumChannels: 'auto'
        NumFilters: 16
            Stride: [4 4 4]
    DilationFactor: [1 1 1]
       PaddingMode: 'manual'
       PaddingSize: [2x3 double]

   Learnable Parameters
           Weights: []
              Bias: []

  Show all properties

Больше о

развернуть все

Ссылки

[1] Glorot, Ксавьер и Иосуа Бенхио. "Понимая трудность учебных глубоких feedforward нейронных сетей". В Продолжениях тринадцатой международной конференции по вопросам искусственного интеллекта и статистики, стр 249-256. 2010.

[2] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. "Копаясь глубоко в выпрямителях: Превосходная производительность человеческого уровня на imagenet классификации". В Продолжениях международной конференции IEEE по вопросам компьютерного зрения, стр 1026-1034. 2015.

Введенный в R2019a