Документация

Слой с Настраиваемыми параметрами шаблоном

Скопируйте слой с настраиваемых параметров шаблоном в новый файл в MATLAB. Этот шаблон описывает структуру слоя с настраиваемыми параметрами и включает функции, которые определяют поведение слоя.

classdef myLayer < nnet.layer.Layer % & nnet.layer.Formattable (Optional) 

    properties
        % (Optional) Layer properties.

        % Layer properties go here.
    end

    properties (Learnable)
        % (Optional) Layer learnable parameters.

        % Layer learnable parameters go here.
    end
    
    methods
        function layer = myLayer()
            % (Optional) Create a myLayer.
            % This function must have the same name as the class.

            % Layer constructor function goes here.
        end
        
        function [Z1, …, Zm] = predict(layer, X1, …, Xn)
            % Forward input data through the layer at prediction time and
            % output the result.
            %
            % Inputs:
            %         layer       - Layer to forward propagate through
            %         X1, ..., Xn - Input data
            % Outputs:
            %         Z1, ..., Zm - Outputs of layer forward function
            
            % Layer forward function for prediction goes here.
        end

        function [Z1, …, Zm, memory] = forward(layer, X1, …, Xn)
            % (Optional) Forward input data through the layer at training
            % time and output the result and a memory value.
            %
            % Inputs:
            %         layer       - Layer to forward propagate through
            %         X1, ..., Xn - Input data
            % Outputs:
            %         Z1, ..., Zm - Outputs of layer forward function
            %         memory      - Memory value for custom backward propagation

            % Layer forward function for training goes here.
        end

        function [dLdX1, …, dLdXn, dLdW1, …, dLdWk] = ...
                backward(layer, X1, …, Xn, Z1, …, Zm, dLdZ1, …, dLdZm, memory)
            % (Optional) Backward propagate the derivative of the loss  
            % function through the layer.
            %
            % Inputs:
            %         layer             - Layer to backward propagate through
            %         X1, ..., Xn       - Input data
            %         Z1, ..., Zm       - Outputs of layer forward function            
            %         dLdZ1, ..., dLdZm - Gradients propagated from the next layers
            %         memory            - Memory value from forward function
            % Outputs:
            %         dLdX1, ..., dLdXn - Derivatives of the loss with respect to the
            %                             inputs
            %         dLdW1, ..., dLdWk - Derivatives of the loss with respect to each
            %                             learnable parameter
            
            % Layer backward function goes here.
        end
    end
end

Назовите слой

Сначала дайте слою имени. В первой линии файла класса замените существующее имя myLayer с weightedAdditionLayer.

classdef weightedAdditionLayer < nnet.layer.Layer
    ...
end

Далее переименуйте myLayer функция конструктора (первая функция в methods section) так, чтобы оно имело то же имя что и слой.

    methods
        function layer = weightedAdditionLayer()           
            ...
        end

        ...
     end

Объявление свойств и настраиваемых параметров

Объявление свойств слоя в properties и объявить настраиваемые параметры путем их перечисления в properties (Learnable) раздел.

По умолчанию пользовательские промежуточные слои имеют эти свойства.

Если слой не имеет других свойств, можно опустить properties раздел.

Взвешенный слой сложения не требует никаких дополнительных свойств, поэтому можно удалить properties раздел.

Взвешенный слой сложения имеет только один настраиваемый параметр, веса. Объявите этот настраиваемый параметр в properties (Learnable) и вызовите параметр Weights.

    properties (Learnable)
        % Layer learnable parameters
            
        % Scaling coefficients
        Weights
    end

Создайте функцию конструктора

Создайте функцию, которая создает слой и инициализирует свойства слоя. Задайте любые переменные, необходимые для создания слоя в качестве входов для функции конструктора.

Функция конструктора взвешенного слоя сложения требует двух входов: количества входов слоя и имени слоя. Это количество входов в слой задает размер настраиваемого параметра Weights. Задайте два входных параметров с именем numInputs и name в weightedAdditionLayer функция. Добавьте комментарий к верхней части функции, которая объясняет синтаксис функции.

        function layer = weightedAdditionLayer(numInputs,name)
            % layer = weightedAdditionLayer(numInputs,name) creates a
            % weighted addition layer and specifies the number of inputs
            % and the layer name.
            
            ...
        end

            % Set number of inputs.
            layer.NumInputs = numInputs;

            % Set layer name.
            layer.Name = name;

            % Set layer description.
            layer.Description = "Weighted addition of " + numInputs + ...
                " inputs";

            % Initialize layer weights
            layer.Weights = rand(1,numInputs);

        function layer = weightedAdditionLayer(numInputs,name) 
            % layer = weightedAdditionLayer(numInputs,name) creates a
            % weighted addition layer and specifies the number of inputs
            % and the layer name.

            % Set number of inputs.
            layer.NumInputs = numInputs;

            % Set layer name.
            layer.Name = name;

            % Set layer description.
            layer.Description = "Weighted addition of " + numInputs +  ... 
                " inputs";
        
            % Initialize layer weights.
            layer.Weights = rand(1,numInputs); 
        end

Создайте функции переадресации

Создайте передовые функции слоя для использования во времени предсказания и времени обучения.

Создайте функцию с именем predict который распространяет данные вперед через слой во время предсказания и выводит результат.

Синтаксис для predict является [Z1,…,Zm] = predict(layer,X1,…,Xn), где X1,…,Xn являются ли n входы и Z1,…,Zm слоя являются ли m выходы слоя. Значения n и m должен соответствовать NumInputs и NumOutputs свойства слоя.

Поскольку взвешенный слой сложения имеет только один выход и переменное количество входов, синтаксис для predict для взвешенного слоя сложения Z = predict(layer,varargin), где varargin{i} соответствует Xi для положительных целых чисел i меньше или равно NumInputs.

По умолчанию слой использует predict как прямая функция во время обучения. Чтобы использовать другую прямую функцию во время обучения или сохранить значение, необходимое для обратной функции, вы также должны создать функцию с именем forward.

Размерности входов зависят от типа данных и выхода связанных слоев:

Для слоев, которые выводят последовательности, слои могут выводить последовательности любой длины или выводить данные без временной размерности. Обратите внимание, что при обучении сети, которая выводит последовательности, используя trainNetwork function, длины входа и выхода последовательностей должны совпадать.

The forward функция распространяет данные вперед через слой во время обучения, а также выводит значение памяти.

Синтаксис для forward является [Z1,…,Zm,memory] = forward(layer,X1,…,Xn), где X1,…,Xn являются ли n входы слоя, Z1,…,Zm являются ли m выходы слоя и memory - память слоя.

Прямая функция взвешенного слоя сложения является

где X⁽¹⁾,..., X⁽ⁿ⁾ соответствуют входы слоя и _W1,..._, Wn являются весами слоя.

Реализуйте прямую функцию в predict. В predict, а выход Z соответствует $$f(X^{(1)},\dots ,X^{(n)})$$. Взвешенный слой сложения не требует памяти или другой прямой функции для обучения, поэтому можно удалить forward функция из файла класса. Добавьте комментарий к верхней части функции, которая объясняет синтаксисы функции.

        function Z = predict(layer, varargin)
            % Z = predict(layer, X1, ..., Xn) forwards the input data X1,
            % ..., Xn through the layer and outputs the result Z.
            
            X = varargin;
            W = layer.Weights;
            
            % Initialize output
            X1 = X{1};
            sz = size(X1);
            Z = zeros(sz,'like',X1);
            
            % Weighted addition
            for i = 1:layer.NumInputs
                Z = Z + W(i)*X{i};
            end
        end

Потому что predict функция использует только функции, которые поддержка dlarray объекты, определяющие backward функция опциональна. Список функций, поддерживающих dlarray объекты, см. Список функций с поддержкой dlarray.

Завершенный слой

Просмотрите заполненный файл класса слоя.

classdef weightedAdditionLayer < nnet.layer.Layer
    % Example custom weighted addition layer.

    properties (Learnable)
        % Layer learnable parameters
            
        % Scaling coefficients
        Weights
    end
    
    methods
        function layer = weightedAdditionLayer(numInputs,name) 
            % layer = weightedAdditionLayer(numInputs,name) creates a
            % weighted addition layer and specifies the number of inputs
            % and the layer name.

            % Set number of inputs.
            layer.NumInputs = numInputs;

            % Set layer name.
            layer.Name = name;

            % Set layer description.
            layer.Description = "Weighted addition of " + numInputs +  ... 
                " inputs";
        
            % Initialize layer weights.
            layer.Weights = rand(1,numInputs); 
        end
        
        function Z = predict(layer, varargin)
            % Z = predict(layer, X1, ..., Xn) forwards the input data X1,
            % ..., Xn through the layer and outputs the result Z.
            
            X = varargin;
            W = layer.Weights;
            
            % Initialize output
            X1 = X{1};
            sz = size(X1);
            Z = zeros(sz,'like',X1);
            
            % Weighted addition
            for i = 1:layer.NumInputs
                Z = Z + W(i)*X{i};
            end
        end
    end
end

Совместимость с GPU

Если функции слоя forward полностью поддерживают dlarray объекты, тогда слой совместим с графическим процессором. В противном случае, чтобы быть совместимым с графический процессор, функции слоя должны поддерживать входы и выходные выходы возврата типа gpuArray (Parallel Computing Toolbox).

Многие встроенные функции MATLAB поддерживают gpuArray (Parallel Computing Toolbox) и dlarray входные параметры. Список функций, поддерживающих dlarray объекты, см. Список функций с поддержкой dlarray. Список функций, которые выполняются на графическом процессоре, см. в разделе Запуск функций MATLAB на графическом процессоре (Parallel Computing Toolbox). Для использования графический процессор для глубокого обучения необходимо иметь также поддерживаемое графический процессор. Для получения информации о поддерживаемых устройствах смотрите Поддержку GPU by Release (Parallel Computing Toolbox). Для получения дополнительной информации о работе с графическими процессорами в MATLAB, смотрите GPU Computing в MATLAB (Parallel Computing Toolbox).

В этом примере функции MATLAB, используемые в predict все dlarray поддержки объекты, поэтому слой совместим с графическим процессором.

Проверяйте валидность слоя с несколькими входами

Проверьте валидность слоя пользовательского слоя weightedAdditionLayer.

Задайте пользовательский взвешенный слой сложения. Чтобы создать этот слой, сохраните файл weightedAdditionLayer.m в текущей папке.

Создайте образец слоя и проверьте его валидность с помощью checkLayer. Задайте допустимые входные размеры, чтобы быть типичными размерами одного наблюдения для каждого входа в слой. Слой ожидает 4-D входов массива, где первые три размерности соответствуют высоте, ширине и количеству каналов предыдущего выхода слоя, а четвертая размерность соответствует наблюдениям.

Задайте типовой размер входа наблюдения и набора 'ObservationDimension' по 4.

layer = weightedAdditionLayer(2,'add');
validInputSize = {[24 24 20],[24 24 20]};
checkLayer(layer,validInputSize,'ObservationDimension',4)

Running nnet.checklayer.TestLayerWithoutBackward
.......... .......
Done nnet.checklayer.TestLayerWithoutBackward
__________

Test Summary:
	 17 Passed, 0 Failed, 0 Incomplete, 0 Skipped.
	 Time elapsed: 0.55735 seconds.

Здесь функция не обнаруживает никаких проблем со слоем.

Использование пользовательского слоя сложения взвешенных компонентов в сети

Можно использовать пользовательский слой так же, как и любой другой слой в Deep Learning Toolbox. В этом разделе показов, как создать и обучить сеть для классификации цифр с помощью взвешенного слоя сложения, созданного ранее.

Загрузите пример обучающих данных.

[XTrain,YTrain] = digitTrain4DArrayData;

Задайте пользовательский взвешенный слой сложения. Чтобы создать этот слой, сохраните файл weightedAdditionLayer.m в текущей папке.

Создайте график слоев, включая пользовательский слой weightedAdditionLayer.

layers = [
    imageInputLayer([28 28 1],'Name','in')
    convolution2dLayer(5,20,'Name','conv1')
    reluLayer('Name','relu1')
    convolution2dLayer(3,20,'Padding',1,'Name','conv2')
    reluLayer('Name','relu2')
    convolution2dLayer(3,20,'Padding',1,'Name','conv3')
    reluLayer('Name','relu3')
    weightedAdditionLayer(2,'add')
    fullyConnectedLayer(10,'Name','fc')
    softmaxLayer('Name','softmax')
    classificationLayer('Name','classoutput')];

lgraph = layerGraph(layers);
lgraph = connectLayers(lgraph, 'relu1', 'add/in2');

Установите опции обучения и обучите сеть.

options = trainingOptions('adam','MaxEpochs',10);
net = trainNetwork(XTrain,YTrain,lgraph,options);

Training on single CPU.
Initializing input data normalization.
|========================================================================================|
|  Epoch  |  Iteration  |  Time Elapsed  |  Mini-batch  |  Mini-batch  |  Base Learning  |
|         |             |   (hh:mm:ss)   |   Accuracy   |     Loss     |      Rate       |
|========================================================================================|
|       1 |           1 |       00:00:00 |       12.50% |       2.2951 |          0.0010 |
|       2 |          50 |       00:00:07 |       72.66% |       0.7877 |          0.0010 |
|       3 |         100 |       00:00:12 |       89.84% |       0.2982 |          0.0010 |
|       4 |         150 |       00:00:18 |       94.53% |       0.1569 |          0.0010 |
|       6 |         200 |       00:00:24 |       99.22% |       0.0376 |          0.0010 |
|       7 |         250 |       00:00:29 |       99.22% |       0.0393 |          0.0010 |
|       8 |         300 |       00:00:35 |       99.22% |       0.0186 |          0.0010 |
|       9 |         350 |       00:00:41 |      100.00% |       0.0101 |          0.0010 |
|      10 |         390 |       00:00:45 |      100.00% |       0.0072 |          0.0010 |
|========================================================================================|

Просмотрите веса, выученные взвешенным слоем сложения.

net.Layers(8).Weights

ans = 1x2 single row vector

    1.0227    1.0001

Оцените эффективность сети, предсказав новые данные и вычислив точность.

[XTest,YTest] = digitTest4DArrayData;
YPred = classify(net,XTest);
accuracy = sum(YTest==YPred)/numel(YTest)

accuracy = 0.9894