setL2Factor

Установите коэффициент регуляризации L2 слоя настраиваемого параметра

Свернуть все на странице

Синтаксис

layer = setL2Factor(layer,parameterName,factor)
layerUpdated = setL2Factor(layer,parameterPath,factor)
dlnetUpdated = setL2Factor(dlnet,layerName,parameterName,factor)
dlnetUpdated = setL2Factor(dlnet,parameterPath,factor)

Описание

пример

layer = setL2Factor(layer,parameterName,factor) устанавливает коэффициент регуляризации L2 параметра с именем parameterName в layer на factor.

Для встроенных слоев можно задать коэффициент регуляризации L2 непосредственно с помощью соответствующего свойства. Для примера, для convolution2dLayer слой, синтаксис layer = setL2Factor(layer,'Weights',factor) эквивалентно layer.WeightL2Factor = factor.

layerUpdated = setL2Factor(layer,parameterPath,factor) устанавливает коэффициент регуляризации L2 параметра, заданный путем parameterPath. Используйте этот синтаксис, когда параметр находится в dlnetwork объект в пользовательском слое.

dlnetUpdated = setL2Factor(dlnet,layerName,parameterName,factor) устанавливает коэффициент регуляризации L2 параметра с именем parameterName в слое с именем layerName для заданного dlnetwork объект.

dlnetUpdated = setL2Factor(dlnet,parameterPath,factor) устанавливает коэффициент регуляризации L2 параметра, заданный путем parameterPath. Используйте этот синтаксис, когда параметр находится во вложенном слое.

Примеры

свернуть все

Открыть Live Script

Установите и получите L2 коэффициент регуляризации настраиваемого параметра слоя.

Задайте пользовательский слой PReLU. Чтобы создать этот слой, сохраните файл preluLayer.m в текущей папке.

Создайте массив слоев, включая пользовательский слой preluLayer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    batchNormalizationLayer
    preluLayer(20,'prelu')
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer];

Установите L2 коэффициент регуляризации 'Alpha' настраиваемый параметр preluLayer к 2. 

layers(4) = setL2Factor(layers(4),'Alpha',2);

Просмотрите обновленный коэффициент регуляризации L2.

factor = getL2Factor(layers(4),'Alpha')
factor = 2
Открыть Live Script

Установите и получите L2 коэффициент регуляризации настраиваемого параметра вложенного слоя.

Создайте слой остаточных блоков с помощью пользовательского слоя residualBlockLayer присоединенный к этому примеру как вспомогательный файл. Чтобы получить доступ к этому файлу, откройте этот пример как Live Script.

numFilters = 64;
layer = residualBlockLayer(numFilters)
layer = 
  residualBlockLayer with properties:

       Name: ''

   Learnable Parameters
    Network: [1x1 dlnetwork]

  Show all properties

Просмотрите слои вложенной сети.

layer.Network.Layers
ans = 
  7x1 Layer array with layers:

     1   'conv1'   Convolution           64 3x3 convolutions with stride [1  1] and padding 'same'
     2   'gn1'     Group Normalization   Group normalization
     3   'relu1'   ReLU                  ReLU
     4   'conv2'   Convolution           64 3x3 convolutions with stride [1  1] and padding 'same'
     5   'gn2'     Group Normalization   Group normalization
     6   'add'     Addition              Element-wise addition of 2 inputs
     7   'relu2'   ReLU                  ReLU

Установите L2 коэффициент регуляризации настраиваемого параметра 'Weights' слоя 'conv1' чтобы 2 использовать setL2Factor функция.

factor = 2;
layer = setL2Factor(layer,'Network/conv1/Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(layer,'Network/conv1/Weights')
factor = 2
Открыть Live Script

Установите и получите L2 коэффициент регуляризации настраиваемого параметра dlnetwork объект.

Создайте dlnetwork объект.

layers = [
    imageInputLayer([28 28 1],'Normalization','none','Name','in')
    convolution2dLayer(5,20,'Name','conv')
    batchNormalizationLayer('Name','bn')
    reluLayer('Name','relu')
    fullyConnectedLayer(10,'Name','fc')
    softmaxLayer('Name','sm')];

lgraph = layerGraph(layers);

dlnet = dlnetwork(lgraph);

Установите L2 коэффициент регуляризации 'Weights' настраиваемый параметр слоя свертки к 2 с помощью setL2Factor функция.

factor = 2;
dlnet = setL2Factor(dlnet,'conv','Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(dlnet,'conv','Weights')
factor = 2
Открыть Live Script

Установите и получите L2 коэффициент регуляризации настраиваемого параметра вложенного слоя в dlnetwork объект.

Создайте dlnetwork объект, содержащий пользовательский слой residualBlockLayer присоединенный к этому примеру как вспомогательный файл. Чтобы получить доступ к этому файлу, откройте этот пример как Live Script.

inputSize = [224 224 3];
numFilters = 32;
numClasses = 5;

layers = [
    imageInputLayer(inputSize,'Normalization','none','Name','in')
    convolution2dLayer(7,numFilters,'Stride',2,'Padding','same','Name','conv')
    groupNormalizationLayer('all-channels','Name','gn')
    reluLayer('Name','relu')
    maxPooling2dLayer(3,'Stride',2,'Name','max')
    residualBlockLayer(numFilters,'Name','res1')
    residualBlockLayer(numFilters,'Name','res2')
    residualBlockLayer(2*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res3')
    residualBlockLayer(2*numFilters,'Name','res4')
    residualBlockLayer(4*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res5')
    residualBlockLayer(4*numFilters,'Name','res6')
    globalAveragePooling2dLayer('Name','gap')
    fullyConnectedLayer(numClasses,'Name','fc')
    softmaxLayer('Name','sm')];

dlnet = dlnetwork(layers);

The Learnables свойство dlnetwork объект является таблицей, которая содержит настраиваемые параметры сети. Таблица включает параметры вложенных слоев в отдельные строки. Просмотрите настраиваемые параметры слоя "res1".

learnables = dlnet.Learnables;
idx = learnables.Layer == "res1";
learnables(idx,:)
ans=8×3 table
    Layer            Parameter                  Value       
    ______    _______________________    ___________________

    "res1"    "Network/conv1/Weights"    {3x3x32x32 dlarray}
    "res1"    "Network/conv1/Bias"       {1x1x32    dlarray}
    "res1"    "Network/gn1/Offset"       {1x1x32    dlarray}
    "res1"    "Network/gn1/Scale"        {1x1x32    dlarray}
    "res1"    "Network/conv2/Weights"    {3x3x32x32 dlarray}
    "res1"    "Network/conv2/Bias"       {1x1x32    dlarray}
    "res1"    "Network/gn2/Offset"       {1x1x32    dlarray}
    "res1"    "Network/gn2/Scale"        {1x1x32    dlarray}

Для слоя "res1", установите L2 коэффициент регуляризации настраиваемого параметра 'Weights' слоя 'conv1' чтобы 2 использовать setL2Factor функция.

factor = 2;
dlnet = setL2Factor(dlnet,'res1/Network/conv1/Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(dlnet,'res1/Network/conv1/Weights')
factor = 2

Входные параметры

свернуть все

Входной слой, заданный как скалярное Layer объект.

Имя параметра, заданное как вектор символов или строковый скаляр.

L2 регуляризационный коэффициент для параметра, заданный как неотрицательный скаляр.

Программа умножает этот коэффициент на глобальный коэффициент регуляризации L2, чтобы определить коэффициент регуляризации L2 для заданного параметра. Для примера, если factor равен 2, тогда L2 регуляризация для заданного параметра в два раза превышает глобальный коэффициент регуляризации L2. Можно задать глобальный коэффициент регуляризации L2 с помощью trainingOptions функция.

Пример: 2

Путь к параметру во вложенном слое, заданный как строковый скаляр или вектор символов. Вложенный слой является пользовательским слоем, который сам определяет график слоев как настраиваемый параметр.

Если вход в setL2Factor является вложенным слоем, тогда путь параметра имеет вид "propertyName/layerName/parameterName", где:

  • propertyName - имя свойства, содержащего dlnetwork объект

  • layerName - имя слоя в dlnetwork объект

  • parameterName - имя параметра;

Если существует несколько уровней вложенных слоев, задайте каждый уровень с помощью формы "propertyName1/layerName1/.../propertyNameN/layerNameN/parameterName", где propertyName1 и layerName1 соответствуют слою во входе в setL2Factor function, и последующие части соответствуют более глубоким уровням.

Пример: Для входа слоя в setL2Factor, путь "Network/conv1/Weights" задает "Weights" параметр слоя с именем "conv1" в dlnetwork объект, заданный layer.Network.

Если вход в setL2Factor является dlnetwork объект и требуемый параметр находится во вложенном слое, тогда путь параметра имеет вид "layerName1/propertyName/layerName/parameterName", где:

  • layerName1 - имя слоя в вход dlnetwork объект

  • propertyName - свойство слоя, содержащего dlnetwork объект

  • layerName - имя слоя в dlnetwork объект

  • parameterName - имя параметра;

Если существует несколько уровней вложенных слоев, задайте каждый уровень с помощью формы "layerName1/propertyName1/.../layerNameN/propertyNameN/layerName/parameterName", где layerName1 и propertyName1 соответствуют слою во входе в setL2Factor function, и последующие части соответствуют более глубоким уровням.

Пример: Для dlnetwork вход в setL2Factor, путь "res1/Network/conv1/Weights" задает "Weights" параметр слоя с именем "conv1" в dlnetwork объект, заданный layer.Network, где layer слой с именем "res1" в вход сети dlnet.

Типы данных: char | string

Сеть для пользовательских циклов обучения, заданная как dlnetwork объект.

Имя слоя, заданное как строковый скаляр или вектор символов.

Типы данных: char | string

Выходные аргументы

свернуть все

Обновленный слой, возвращенный как Layer.

Обновленная сеть, возвращается как dlnetwork.

См. также

| | | |

Темы

Введенный в R2017b

Документация по Deep Learning Toolbox

Поддержка

Для просмотра документации необходимо авторизоваться на сайте