Если Deep Learning Toolbox™ не обеспечивает слой, вы требуете для своей классификации или проблемы регрессии, то можно задать собственный слой с помощью этого примера в качестве руководства. Для списка встроенных слоев смотрите Список слоев глубокого обучения.
Чтобы задать пользовательский слой глубокого обучения, можно использовать шаблон, обеспеченный в этом примере, который берет вас через следующие шаги:
Назовите слой — Дают слою имя так, чтобы можно было использовать его в MATLAB®.
Объявите, что свойства слоя — Задают свойства слоя включая настраиваемые параметры и параметры состояния.
Создайте (дополнительную) функцию конструктора — Задают, как создать слой и инициализировать его свойства. Если вы не задаете функцию конструктора, то при создании, программное обеспечение инициализирует Name
Описание
, и Type
свойства с []
и определяет номер вводов и выводов слоя к 1.
Создайте прямые функции — Задают, как данные передают вперед через слой (прямое распространение) во время предсказания и в учебное время.
Создайте (дополнительную) функцию состояния сброса — Задают, как сбросить параметры состояния.
Создайте обратную (дополнительную) функцию — Задают производные потери относительно входных данных и настраиваемых параметров (обратное распространение). Если вы не задаете обратную функцию, то прямые функции должны поддержать dlarray
объекты.
В этом примере показано, как создать взвешенный слой сложения, который является слоем с несколькими входными параметрами и настраиваемым параметром, и используйте его в сверточной нейронной сети. Взвешенный слой сложения масштабирует и добавляет входные параметры из нескольких поэлементных слоев нейронной сети.
Скопируйте промежуточный шаблон слоя в новый файл в MATLAB. Этот шаблон обрисовывает в общих чертах структуру промежуточного определения класса слоя. Это обрисовывает в общих чертах:
Дополнительный properties
блоки для свойств слоя, настраиваемых параметров и параметров состояния.
Функция конструктора слоя.
predict
функционируйте и дополнительный forward
функция.
Дополнительный resetState
функция для слоев со свойствами состояний.
Дополнительный backward
функция.
classdef myLayer < nnet.layer.Layer % & nnet.layer.Formattable (Optional) properties % (Optional) Layer properties. % Declare layer properties here. end properties (Learnable) % (Optional) Layer learnable parameters. % Declare learnable parameters here. end properties (State) % (Optional) Layer state parameters. % Declare state parameters here. end properties (Learnable, State) % (Optional) Nested dlnetwork objects with both learnable % parameters and state. % Declare nested networks with learnable and state parameters here. end methods function layer = myLayer() % (Optional) Create a myLayer. % This function must have the same name as the class. % Define layer constructor function here. end function [Z,state] = predict(layer,X) % Forward input data through the layer at prediction time and % output the result and updated state. % % Inputs: % layer - Layer to forward propagate through % X - Input data % Outputs: % Z - Output of layer forward function % state - (Optional) Updated layer state. % % - For layers with multiple inputs, replace X with X1,...,XN, % where N is the number of inputs. % - For layers with multiple outputs, replace Z with % Z1,...,ZM, where M is the number of outputs. % - For layers with multiple state parameters, replace state % with state1,...,stateK, where K is the number of state % parameters. % Define layer predict function here. end function [Z,state,memory] = forward(layer,X) % (Optional) Forward input data through the layer at training % time and output the result, updated state, and a memory % value. % % Inputs: % layer - Layer to forward propagate through % X - Layer input data % Outputs: % Z - Output of layer forward function % state - (Optional) Updated layer state % memory - (Optional) Memory value for custom backward % function % % - For layers with multiple inputs, replace X with X1,...,XN, % where N is the number of inputs. % - For layers with multiple outputs, replace Z with % Z1,...,ZM, where M is the number of outputs. % - For layers with multiple state parameters, replace state % with state1,...,stateK, where K is the number of state % parameters. % Define layer forward function here. end function layer = resetState(layer) % (Optional) Reset layer state. % Define reset state function here. end function [dLdX,dLdW,dLdSin] = backward(layer,X,Z,dLdZ,dLdSout,memory) % (Optional) Backward propagate the derivative of the loss % function through the layer. % % Inputs: % layer - Layer to backward propagate through % X - Layer input data % Z - Layer output data % dLdZ - Derivative of loss with respect to layer % output % dLdSout - (Optional) Derivative of loss with respect % to state output % memory - Memory value from forward function % Outputs: % dLdX - Derivative of loss with respect to layer input % dLdW - (Optional) Derivative of loss with respect to % learnable parameter % dLdSin - (Optional) Derivative of loss with respect to % state input % % - For layers with state parameters, the backward syntax must % include both dLdSout and dLdSin, or neither. % - For layers with multiple inputs, replace X and dLdX with % X1,...,XN and dLdX1,...,dLdXN, respectively, where N is % the number of inputs. % - For layers with multiple outputs, replace Z and dlZ with % Z1,...,ZM and dLdZ,...,dLdZM, respectively, where M is the % number of outputs. % - For layers with multiple learnable parameters, replace % dLdW with dLdW1,...,dLdWP, where P is the number of % learnable parameters. % - For layers with multiple state parameters, replace dLdSin % and dLdSout with dLdSin1,...,dLdSinK and % dLdSout1,...dldSoutK, respectively, where K is the number % of state parameters. % Define layer backward function here. end end end
Во-первых, дайте слою имя. В первой линии файла класса замените существующее имя myLayer
с weightedAdditionLayer
.
classdef weightedAdditionLayer < nnet.layer.Layer % & nnet.layer.Formattable (Optional) ... end
Если вы не задаете обратную функцию, то функции слоя, по умолчанию, получают, восстановил после форматирования
dlarray
объекты, как введено. Указывать, что слой получает, отформатировало
dlarray
объекты, как введено и также выходные параметры отформатировали dlarray
объекты, также наследуйтесь nnet.layer.Formattable
класс при определении пользовательского слоя.
Слой не требует formattable входных параметров, поэтому удаляет дополнительный nnet.layer.Formattable
суперкласс.
classdef weightedAdditionLayer < nnet.layer.Layer ... end
Затем переименуйте myLayer
функция конструктора (первая функция в methods
разделите) так, чтобы это имело то же имя как слой.
methods function layer = weightedAdditionLayer() ... end ... end
Сохраните файл класса слоя в новом файле с именем weightedAdditionLayer.m
. Имя файла должно совпадать с именем слоя. Чтобы использовать слой, необходимо сохранить файл в текущей папке или в папке на пути MATLAB.
Объявите свойства слоя в properties
разделите и объявите настраиваемые параметры путем листинга их в properties (Learnable)
раздел.
По умолчанию пользовательские промежуточные слои имеют эти свойства. Не объявляйте эти свойства в properties
раздел.
Свойство | Описание |
---|---|
Name | Имя слоя в виде вектора символов или строкового скаляра. Для Layer вход массивов, trainNetwork , assembleNetwork , layerGraph , и dlnetwork функции автоматически присваивают имена к слоям с Name установите на '' . |
Description | Однострочное описание слоя в виде строкового скаляра или вектора символов. Это описание появляется, когда слой отображен в Если вы не задаете описание слоя, то программное обеспечение отображает имя класса слоя. |
Type | Тип слоя в виде вектора символов или строкового скаляра. Значение Если вы не задаете тип слоя, то программное обеспечение отображает имя класса слоя. |
NumInputs | Количество входных параметров слоя в виде положительного целого числа. Если вы не задаете это значение, то программное обеспечение автоматически устанавливает NumInputs к количеству имен в InputNames . Значение по умолчанию равняется 1. |
InputNames | Введите имена слоя в виде массива ячеек из символьных векторов. Если вы не задаете это значение и NumInputs больше 1, затем программное обеспечение автоматически устанавливает InputNames к {'in1',...,'inN'} , где N равно NumInputs . Значением по умолчанию является {'in'} . |
NumOutputs | Количество выходных параметров слоя в виде положительного целого числа. Если вы не задаете это значение, то программное обеспечение автоматически устанавливает NumOutputs к количеству имен в OutputNames . Значение по умолчанию равняется 1. |
OutputNames | Выведите имена слоя в виде массива ячеек из символьных векторов. Если вы не задаете это значение и NumOutputs больше 1, затем программное обеспечение автоматически устанавливает OutputNames к {'out1',...,'outM'} , где M равно NumOutputs . Значением по умолчанию является {'out'} . |
Если слой не имеет никаких других свойств, то можно не использовать properties
раздел.
Совет
Если вы создаете слой с несколькими входными параметрами, то необходимо установить любого NumInputs
или InputNames
свойства в конструкторе слоя. Если вы создаете слой с несколькими выходными параметрами, то необходимо установить любого NumOutputs
или OutputNames
свойства в конструкторе слоя.
Взвешенный слой сложения не требует никаких дополнительных свойств, таким образом, можно удалить properties
раздел.
Взвешенный слой сложения имеет только один настраиваемый параметр, веса. Объявите этот настраиваемый параметр в properties (Learnable)
разделите и вызовите параметр Weights
.
properties (Learnable)
% Layer learnable parameters
% Scaling coefficients
Weights
end
Создайте функцию, которая создает слой и инициализирует свойства слоя. Задайте любые переменные, требуемые создать слой как входные параметры к функции конструктора.
Взвешенная функция конструктора слоя сложения требует двух входных параметров: количество входных параметров к слою и имени слоя. Это количество входных параметров к слою задает размер настраиваемого параметра Weights
. Задайте два входных параметра под названием numInputs
и name
в weightedAdditionLayer
функция. Добавьте комментарий в верхнюю часть функции, которая объясняет синтаксис функции.
function layer = weightedAdditionLayer(numInputs,name) % layer = weightedAdditionLayer(numInputs,name) creates a % weighted addition layer and specifies the number of inputs % and the layer name. ... end
Инициализируйте свойства слоя, включая настраиваемые параметры, в функции конструктора. Замените комментарий % Layer constructor function goes here
с кодом, который инициализирует свойства слоя.
Установите NumInputs
свойство к входному параметру numInputs
.
% Set number of inputs.
layer.NumInputs = numInputs;
Установите Name
свойство к входному параметру name
.
% Set layer name.
layer.Name = name;
Дайте слою однострочное описание путем установки Description
свойство слоя. Установите описание описывать тип слоя и его размера.
% Set layer description. layer.Description = "Weighted addition of " + numInputs + ... " inputs";
Взвешенный слой сложения умножает каждый вход слоя на соответствующий коэффициент в Weights
и добавляет получившиеся значения вместе. Инициализируйте настраиваемый параметр Weights
быть случайным вектором из размера 1 numInputs
. Weights
свойство расположенного на слое объекта, таким образом, необходимо присвоить вектор layer.Weights
.
% Initialize layer weights
layer.Weights = rand(1,numInputs);
Просмотрите завершенную функцию конструктора.
function layer = weightedAdditionLayer(numInputs,name)
% layer = weightedAdditionLayer(numInputs,name) creates a
% weighted addition layer and specifies the number of inputs
% and the layer name.
% Set number of inputs.
layer.NumInputs = numInputs;
% Set layer name.
layer.Name = name;
% Set layer description.
layer.Description = "Weighted addition of " + numInputs + ...
" inputs";
% Initialize layer weights.
layer.Weights = rand(1,numInputs);
end
С этой функцией конструктора, команда weightedAdditionLayer(3,'add')
создает взвешенный слой сложения с тремя входными параметрами и именем 'add'
.
Создайте слой вперед функции, чтобы использовать во время предсказания и учебное время.
Создайте функцию с именем predict
это распространяет данные вперед через слой во время предсказания и выводит результат.
predict
синтаксис функций зависит от типа слоя.
Z = predict(layer,X)
вперед входные данные X
через слой и выходные параметры результат Z
, где layer
имеет один вход, один выход.
[Z,state] = predict(layer,X)
также выводит обновленный параметр состояния state
, где layer
имеет один параметр состояния.
Можно настроить синтаксисы для слоев с несколькими входными параметрами, несколькими выходными параметрами или несколькими параметрами состояния:
Для слоев с несколькими входными параметрами замените X
с X1,...,XN
, где N
количество входных параметров. NumInputs
свойство должно совпадать с N
.
Для слоев с несколькими выходными параметрами замените Z
с Z1,...,ZM
, где M
количество выходных параметров. NumOutputs
свойство должно совпадать с M
.
Для слоев с несколькими параметрами состояния замените state
с state1,...,stateK
, где K
количество параметров состояния.
Совет
Если количество входных параметров к слою может варьироваться, то используйте varargin
вместо X1,…,XN
. В этом случае, varargin
массив ячеек входных параметров, где varargin{i}
соответствует Xi
.
Если количество выходных параметров может варьироваться, то используйте varargout
вместо Z1,…,ZN
. В этом случае, varargout
массив ячеек выходных параметров, где varargout{j}
соответствует Zj
.
Совет
Если пользовательский слой имеет dlnetwork
объект для настраиваемого параметра, затем в predict
функция пользовательского слоя, используйте predict
функция для dlnetwork
. Используя dlnetwork
объект predict
функция гарантирует, что программное обеспечение использует правильные операции слоя для предсказания.
Поскольку взвешенный слой сложения имеет только один выход и переменное количество входных параметров, синтаксиса для predict
для взвешенного сложения слоем является Z = predict(layer,varargin)
, где varargin{i}
соответствует Xi
для положительных целых чисел i
меньше чем или равный NumInputs
.
По умолчанию слой использует predict
как прямая функция в учебное время. Использовать различную прямую функцию в учебное время или сохранить значение потребовали для обратной функции, необходимо также создать функцию с именем forward
.
Размерности входных параметров зависят от типа данных и выхода связанных слоев:
Вход слоя | Введите размер | Размерность наблюдения |
---|---|---|
Характеристические векторы | c-by-N, где c соответствует количеству каналов и N, является количеством наблюдений. | 2 |
2D изображения | h-by-w-by-c-by-N, где h, w и c соответствуют высоте, ширине, и количеству каналов изображений, соответственно, и N, является количеством наблюдений. | 4 |
3-D изображения | h-by-w-by-d-by-c-by-N, где h, w, d и c соответствуют высоте, ширине, глубине, и количеству каналов 3-D изображений, соответственно, и N, является количеством наблюдений. | 5 |
Векторные последовательности | c-by-N-by-S, где c является количеством функций последовательностей, N, является количеством наблюдений, и S является длиной последовательности. | 2 |
2D последовательности изображений | h-by-w-by-c-by-N-by-S, где h, w и c соответствуют высоте, ширине и количеству каналов изображений, соответственно, N, является количеством наблюдений, и S является длиной последовательности. | 4 |
3-D последовательности изображений | h-by-w-by-d-by-c-by-N-by-S, где h, w, d и c соответствуют высоте, ширине, глубине и количеству каналов 3-D изображений, соответственно, N, является количеством наблюдений, и S является длиной последовательности. | 5 |
Для слоев, которые выводят последовательности, слои могут вывести последовательности любой длины или выходных данных без измерения времени. Обратите внимание на то, что при обучении сети, что выходные последовательности с помощью trainNetwork
функция, длины последовательностей ввода и вывода должны соответствовать.
forward
функция распространяет данные вперед через слой в учебное время и также выводит значение памяти.
forward
синтаксис функций зависит от типа слоя:
Z = forward(layer,X)
вперед входные данные X
через слой и выходные параметры результат Z
, где layer
имеет один вход, один выход.
[Z,state] = forward(layer,X)
также выводит обновленный параметр состояния state
, где layer
имеет один параметр состояния.
[__,memory] = forward(layer,X)
также возвращает значение памяти для пользовательского backward
функция с помощью любого из предыдущих синтаксисов. Если слой имеет обоих пользовательский forward
функционируйте и пользовательский backward
функция, затем прямая функция должна возвратить значение памяти.
Можно настроить синтаксисы для слоев с несколькими входными параметрами, несколькими выходными параметрами или несколькими параметрами состояния:
Для слоев с несколькими входными параметрами замените X
с X1,...,XN
, где N
количество входных параметров. NumInputs
свойство должно совпадать с N
.
Для слоев с несколькими выходными параметрами замените Z
с Z1,...,ZM
, где M
количество выходных параметров. NumOutputs
свойство должно совпадать с M
.
Для слоев с несколькими параметрами состояния замените state
с state1,...,stateK
, где K
количество параметров состояния.
Совет
Если количество входных параметров к слою может варьироваться, то используйте varargin
вместо X1,…,XN
. В этом случае, varargin
массив ячеек входных параметров, где varargin{i}
соответствует Xi
.
Если количество выходных параметров может варьироваться, то используйте varargout
вместо Z1,…,ZN
. В этом случае, varargout
массив ячеек выходных параметров, где varargout{j}
соответствует Zj
.
Совет
Если пользовательский слой имеет dlnetwork
объект для настраиваемого параметра, затем в forward
функция пользовательского слоя, используйте forward
функция dlnetwork
объект. Используя dlnetwork
объект forward
функция гарантирует, что программное обеспечение использует правильные операции слоя для обучения.
Прямая функция взвешенного слоя сложения
где X(1)X(n) соответствуйте входным параметрам слоя и W1, …, Wn веса слоя.
Реализуйте прямую функцию в predict
. В predict
, выход Z
соответствует . Взвешенный слой сложения не требует памяти или различной прямой функции для обучения, таким образом, можно удалить forward
функция из файла класса. Добавьте комментарий в верхнюю часть функции, которая объясняет синтаксисы функции.
Совет
Если вы предварительно выделяете массивы с помощью функций такой как zeros
, затем необходимо гарантировать, что типы данных этих массивов сопоставимы с входными параметрами функции слоя. Чтобы создать массив нулей совпадающего типа данных как другой массив, используйте "like"
опция zeros
. Например, чтобы инициализировать массив нулей размера sz
с совпадающим типом данных как массив X
, используйте Z = zeros(sz,"like",X)
.
function Z = predict(layer, varargin)
% Z = predict(layer, X1, ..., Xn) forwards the input data X1,
% ..., Xn through the layer and outputs the result Z.
X = varargin;
W = layer.Weights;
% Initialize output
X1 = X{1};
sz = size(X1);
Z = zeros(sz,'like',X1);
% Weighted addition
for i = 1:layer.NumInputs
Z = Z + W(i)*X{i};
end
end
Поскольку predict
функционируйте только использует функции та поддержка dlarray
объекты, задавая backward
функция является дополнительной. Для списка функций та поддержка dlarray
объекты, см. Список Функций с Поддержкой dlarray.
Просмотрите завершенный файл класса слоя.
classdef weightedAdditionLayer < nnet.layer.Layer % Example custom weighted addition layer. properties (Learnable) % Layer learnable parameters % Scaling coefficients Weights end methods function layer = weightedAdditionLayer(numInputs,name) % layer = weightedAdditionLayer(numInputs,name) creates a % weighted addition layer and specifies the number of inputs % and the layer name. % Set number of inputs. layer.NumInputs = numInputs; % Set layer name. layer.Name = name; % Set layer description. layer.Description = "Weighted addition of " + numInputs + ... " inputs"; % Initialize layer weights. layer.Weights = rand(1,numInputs); end function Z = predict(layer, varargin) % Z = predict(layer, X1, ..., Xn) forwards the input data X1, % ..., Xn through the layer and outputs the result Z. X = varargin; W = layer.Weights; % Initialize output X1 = X{1}; sz = size(X1); Z = zeros(sz,'like',X1); % Weighted addition for i = 1:layer.NumInputs Z = Z + W(i)*X{i}; end end end end
Если слой вперед функции полностью поддерживает dlarray
объекты, затем слоем является совместимый графический процессор. В противном случае, чтобы быть совместимым графическим процессором, функции слоя должны поддержать входные параметры и возвратить выходные параметры типа gpuArray
(Parallel Computing Toolbox).
Много поддержки встроенных функций MATLAB gpuArray
(Parallel Computing Toolbox) и dlarray
входные параметры. Для списка функций та поддержка dlarray
объекты, см. Список Функций с Поддержкой dlarray. Для списка функций, которые выполняются на графическом процессоре, смотрите функции MATLAB Запуска на графическом процессоре (Parallel Computing Toolbox). Чтобы использовать графический процессор для глубокого обучения, у вас должно также быть поддерживаемое устройство графического процессора. Для получения информации о поддерживаемых устройствах смотрите Поддержку графического процессора Релизом (Parallel Computing Toolbox). Для получения дополнительной информации о работе с графическими процессорами в MATLAB смотрите, что графический процессор Вычисляет в MATLAB (Parallel Computing Toolbox).
В этом примере функции MATLAB используются в predict
вся поддержка dlarray
объекты, таким образом, слоем является совместимый графический процессор.
Проверяйте валидность слоя пользовательского слоя weightedAdditionLayer
.
Задайте пользовательский взвешенный слой сложения. Чтобы создать этот слой, сохраните файл weightedAdditionLayer.m
в текущей папке.
Создайте экземпляр слоя и проверяйте его валидность с помощью checkLayer
. Задайте допустимые входные размеры, чтобы быть типичными размерами одного наблюдения для каждого входа к слою. Слой ожидает 4-D входные параметры массивов, где первые три измерения соответствуют высоте, ширине и количеству каналов предыдущего слоя выход, и четвертая размерность соответствует наблюдениям.
Задайте типичный размер входа наблюдения и установите 'ObservationDimension'
к 4.
layer = weightedAdditionLayer(2,'add'); validInputSize = {[24 24 20],[24 24 20]}; checkLayer(layer,validInputSize,'ObservationDimension',4)
Running nnet.checklayer.TestLayerWithoutBackward .......... ....... Done nnet.checklayer.TestLayerWithoutBackward __________ Test Summary: 17 Passed, 0 Failed, 0 Incomplete, 0 Skipped. Time elapsed: 0.55735 seconds.
Здесь, функция не обнаруживает проблем со слоем.
Можно использовать пользовательский слой таким же образом в качестве любого другого слоя в Deep Learning Toolbox. Этот раздел показывает, как создать и обучить сеть для классификации цифр с помощью взвешенного слоя сложения, который вы создали ранее.
Загрузите обучающие данные в качестве примера.
[XTrain,YTrain] = digitTrain4DArrayData;
Задайте пользовательский взвешенный слой сложения. Чтобы создать этот слой, сохраните файл weightedAdditionLayer.m
в текущей папке.
Создайте график слоев включая пользовательский слой weightedAdditionLayer
.
layers = [ imageInputLayer([28 28 1],'Name','in') convolution2dLayer(5,20,'Name','conv1') reluLayer('Name','relu1') convolution2dLayer(3,20,'Padding',1,'Name','conv2') reluLayer('Name','relu2') convolution2dLayer(3,20,'Padding',1,'Name','conv3') reluLayer('Name','relu3') weightedAdditionLayer(2,'add') fullyConnectedLayer(10,'Name','fc') softmaxLayer('Name','softmax') classificationLayer('Name','classoutput')]; lgraph = layerGraph(layers); lgraph = connectLayers(lgraph, 'relu1', 'add/in2');
Установите опции обучения и обучите сеть.
options = trainingOptions('adam','MaxEpochs',10); net = trainNetwork(XTrain,YTrain,lgraph,options);
Training on single CPU. Initializing input data normalization. |========================================================================================| | Epoch | Iteration | Time Elapsed | Mini-batch | Mini-batch | Base Learning | | | | (hh:mm:ss) | Accuracy | Loss | Rate | |========================================================================================| | 1 | 1 | 00:00:00 | 12.50% | 2.2951 | 0.0010 | | 2 | 50 | 00:00:06 | 72.66% | 0.7880 | 0.0010 | | 3 | 100 | 00:00:12 | 89.84% | 0.3001 | 0.0010 | | 4 | 150 | 00:00:19 | 94.53% | 0.1555 | 0.0010 | | 6 | 200 | 00:00:25 | 99.22% | 0.0385 | 0.0010 | | 7 | 250 | 00:00:30 | 99.22% | 0.0361 | 0.0010 | | 8 | 300 | 00:00:36 | 100.00% | 0.0112 | 0.0010 | | 9 | 350 | 00:00:42 | 99.22% | 0.0249 | 0.0010 | | 10 | 390 | 00:00:46 | 100.00% | 0.0045 | 0.0010 | |========================================================================================| Training finished: Max epochs completed.
Просмотрите веса, изученные взвешенным слоем сложения.
net.Layers(8).Weights
ans = 1x2 single row vector
1.0223 1.0005
Оцените производительность сети путем предсказания на новых данных и вычисления точности.
[XTest,YTest] = digitTest4DArrayData; YPred = classify(net,XTest); accuracy = sum(YTest==YPred)/numel(YTest)
accuracy = 0.9878
functionLayer
| checkLayer
| setLearnRateFactor
| setL2Factor
| getLearnRateFactor
| getL2Factor
| findPlaceholderLayers
| replaceLayer
| assembleNetwork
| PlaceholderLayer