getL2Factor

Коэффициент регуляризации L2 слоя настраиваемого параметра

Описание

пример

factor = getL2Factor(layer,parameterName) возвращает L2 коэффициент регуляризации параметра с именем parameterName в layer.

Для встроенных слоев можно получить L2 коэффициент регуляризации непосредственно с помощью соответствующего свойства. Для примера, для convolution2dLayer слой, синтаксис factor = getL2Factor(layer,'Weights') эквивалентно factor = layer.WeightL2Factor.

пример

factor = getL2Factor(layer,parameterPath) возвращает L2 коэффициент регуляризации параметра, заданный путем parameterPath. Используйте этот синтаксис, когда параметр находится в dlnetwork объект в пользовательском слое.

пример

factor = getL2Factor(dlnet,layerName,parameterName) возвращает L2 коэффициент регуляризации параметра с именем parameterName в слое с именем layerName для заданного dlnetwork объект.

пример

factor = getL2Factor(dlnet,parameterPath) возвращает L2 коэффициент регуляризации параметра, заданный путем parameterPath. Используйте этот синтаксис, когда параметр находится во вложенном слое.

Примеры

свернуть все

Установите и получите L2 коэффициент регуляризации настраиваемого параметра слоя.

Задайте пользовательский слой PReLU. Чтобы создать этот слой, сохраните файл preluLayer.m в текущей папке.

Создайте массив слоев, включая пользовательский слой preluLayer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    batchNormalizationLayer
    preluLayer(20,'prelu')
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer];

Установите L2 коэффициент регуляризации 'Alpha' настраиваемый параметр preluLayer к 2.

layers(4) = setL2Factor(layers(4),'Alpha',2);

Просмотрите обновленный коэффициент регуляризации L2.

factor = getL2Factor(layers(4),'Alpha')
factor = 2

Установите и получите L2 коэффициент регуляризации настраиваемого параметра вложенного слоя.

Создайте слой остаточных блоков с помощью пользовательского слоя residualBlockLayer присоединенный к этому примеру как вспомогательный файл. Чтобы получить доступ к этому файлу, откройте этот пример как Live Script.

numFilters = 64;
layer = residualBlockLayer(numFilters)
layer = 
  residualBlockLayer with properties:

       Name: ''

   Learnable Parameters
    Network: [1x1 dlnetwork]

  Show all properties

Просмотрите слои вложенной сети.

layer.Network.Layers
ans = 
  7x1 Layer array with layers:

     1   'conv1'   Convolution           64 3x3 convolutions with stride [1  1] and padding 'same'
     2   'gn1'     Group Normalization   Group normalization
     3   'relu1'   ReLU                  ReLU
     4   'conv2'   Convolution           64 3x3 convolutions with stride [1  1] and padding 'same'
     5   'gn2'     Group Normalization   Group normalization
     6   'add'     Addition              Element-wise addition of 2 inputs
     7   'relu2'   ReLU                  ReLU

Установите L2 коэффициент регуляризации настраиваемого параметра 'Weights' слоя 'conv1' чтобы 2 использовать setL2Factor функция.

factor = 2;
layer = setL2Factor(layer,'Network/conv1/Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(layer,'Network/conv1/Weights')
factor = 2

Установите и получите L2 коэффициент регуляризации настраиваемого параметра dlnetwork объект.

Создайте dlnetwork объект.

layers = [
    imageInputLayer([28 28 1],'Normalization','none','Name','in')
    convolution2dLayer(5,20,'Name','conv')
    batchNormalizationLayer('Name','bn')
    reluLayer('Name','relu')
    fullyConnectedLayer(10,'Name','fc')
    softmaxLayer('Name','sm')];

lgraph = layerGraph(layers);

dlnet = dlnetwork(lgraph);

Установите L2 коэффициент регуляризации 'Weights' настраиваемый параметр слоя свертки к 2 с помощью setL2Factor функция.

factor = 2;
dlnet = setL2Factor(dlnet,'conv','Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(dlnet,'conv','Weights')
factor = 2

Установите и получите L2 коэффициент регуляризации настраиваемого параметра вложенного слоя в dlnetwork объект.

Создайте dlnetwork объект, содержащий пользовательский слой residualBlockLayer присоединенный к этому примеру как вспомогательный файл. Чтобы получить доступ к этому файлу, откройте этот пример как Live Script.

inputSize = [224 224 3];
numFilters = 32;
numClasses = 5;

layers = [
    imageInputLayer(inputSize,'Normalization','none','Name','in')
    convolution2dLayer(7,numFilters,'Stride',2,'Padding','same','Name','conv')
    groupNormalizationLayer('all-channels','Name','gn')
    reluLayer('Name','relu')
    maxPooling2dLayer(3,'Stride',2,'Name','max')
    residualBlockLayer(numFilters,'Name','res1')
    residualBlockLayer(numFilters,'Name','res2')
    residualBlockLayer(2*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res3')
    residualBlockLayer(2*numFilters,'Name','res4')
    residualBlockLayer(4*numFilters,'Stride',2,'IncludeSkipConvolution',true,'Name','res5')
    residualBlockLayer(4*numFilters,'Name','res6')
    globalAveragePooling2dLayer('Name','gap')
    fullyConnectedLayer(numClasses,'Name','fc')
    softmaxLayer('Name','sm')];

dlnet = dlnetwork(layers);

The Learnables свойство dlnetwork объект является таблицей, которая содержит настраиваемые параметры сети. Таблица включает параметры вложенных слоев в отдельные строки. Просмотрите настраиваемые параметры слоя "res1".

learnables = dlnet.Learnables;
idx = learnables.Layer == "res1";
learnables(idx,:)
ans=8×3 table
    Layer            Parameter                  Value       
    ______    _______________________    ___________________

    "res1"    "Network/conv1/Weights"    {3x3x32x32 dlarray}
    "res1"    "Network/conv1/Bias"       {1x1x32    dlarray}
    "res1"    "Network/gn1/Offset"       {1x1x32    dlarray}
    "res1"    "Network/gn1/Scale"        {1x1x32    dlarray}
    "res1"    "Network/conv2/Weights"    {3x3x32x32 dlarray}
    "res1"    "Network/conv2/Bias"       {1x1x32    dlarray}
    "res1"    "Network/gn2/Offset"       {1x1x32    dlarray}
    "res1"    "Network/gn2/Scale"        {1x1x32    dlarray}

Для слоя "res1", установите L2 коэффициент регуляризации настраиваемого параметра 'Weights' слоя 'conv1' чтобы 2 использовать setL2Factor функция.

factor = 2;
dlnet = setL2Factor(dlnet,'res1/Network/conv1/Weights',factor);

Получите обновленный коэффициент регуляризации L2 с помощью getL2Factor функция.

factor = getL2Factor(dlnet,'res1/Network/conv1/Weights')
factor = 2

Входные параметры

свернуть все

Входной слой, заданный как скалярное Layer объект.

Имя параметра, заданное как вектор символов или строковый скаляр.

Путь к параметру во вложенном слое, заданный как строковый скаляр или вектор символов. Вложенный слой является пользовательским слоем, который сам определяет график слоев как настраиваемый параметр.

Если вход в getL2Factor является вложенным слоем, тогда путь параметра имеет вид "propertyName/layerName/parameterName", где:

  • propertyName - имя свойства, содержащего dlnetwork объект

  • layerName - имя слоя в dlnetwork объект

  • parameterName - имя параметра;

Если существует несколько уровней вложенных слоев, задайте каждый уровень с помощью формы "propertyName1/layerName1/.../propertyNameN/layerNameN/parameterName", где propertyName1 и layerName1 соответствуют слою во входе в getL2Factor function, и последующие части соответствуют более глубоким уровням.

Пример: Для входа слоя в getL2Factor, путь "Network/conv1/Weights" задает "Weights" параметр слоя с именем "conv1" в dlnetwork объект, заданный layer.Network.

Если вход в getL2Factor является dlnetwork объект и требуемый параметр находится во вложенном слое, тогда путь параметра имеет вид "layerName1/propertyName/layerName/parameterName", где:

  • layerName1 - имя слоя в вход dlnetwork объект

  • propertyName - свойство слоя, содержащего dlnetwork объект

  • layerName - имя слоя в dlnetwork объект

  • parameterName - имя параметра;

Если существует несколько уровней вложенных слоев, задайте каждый уровень с помощью формы "layerName1/propertyName1/.../layerNameN/propertyNameN/layerName/parameterName", где layerName1 и propertyName1 соответствуют слою во входе в getL2Factor function, и последующие части соответствуют более глубоким уровням.

Пример: Для dlnetwork вход в getL2Factor, путь "res1/Network/conv1/Weights" задает "Weights" параметр слоя с именем "conv1" в dlnetwork объект, заданный layer.Network, где layer слой с именем "res1" в вход сети dlnet.

Типы данных: char | string

Сеть для пользовательских циклов обучения, заданная как dlnetwork объект.

Имя слоя, заданное как строковый скаляр или вектор символов.

Типы данных: char | string

Выходные аргументы

свернуть все

L2 регуляризационный коэффициент для параметра, возвращенный как неотрицательный скаляр.

Программа умножает этот коэффициент на глобальный коэффициент регуляризации L2, чтобы определить L2 регуляризацию для заданного параметра. Для примера, если factor равен 2, тогда L2 регуляризация для заданного параметра в два раза превышает текущую глобальную регуляризацию L2. Программное обеспечение определяет глобальную регуляризацию L2 на основе настроек, заданных в trainingOptions функция.

Введенный в R2017b
Для просмотра документации необходимо авторизоваться на сайте