Документация

Автоматическая инициализация обучаемых dlnetwork Объекты для обучения

Можно создать пользовательский слой и позволить программному обеспечению автоматически инициализировать настраиваемые параметры любого вложенного dlnetwork объекты после того, как родительская сеть будет полностью построена. Автоматическая инициализация вложенной сети означает, что вам не нужно отслеживать размер и форму входов, переданных каждому пользовательскому слою, содержащему вложенный dlnetwork

Чтобы воспользоваться преимуществами автоматической инициализации, необходимо указать, что функция конструктора создает неинициализированное dlnetwork объект. Создание неинициализированного dlnetwork объект, установите Initialize name-value опции к false. Вам не нужно задавать слой входа, поэтому не нужно задавать размер входа для слоя.

function layer = myLayer
    
    % Initialize layer properties.
    ...

    % Define network.
    layers = [
        % Network layers go here.
        ];

    layer.Network = dlnetwork(lgraph,'Initialize',false);
end

Когда родительская сеть инициализируется, настраиваемые параметры любого вложенного dlnetwork объекты инициализируются одновременно. Размер настраиваемых параметров зависит от размера входных данных пользовательского слоя. Программа распространяет данные через вложенную сеть и автоматически инициализирует параметры в соответствии с размерами распространения и свойствами инициализации слоев вложенной сети.

Если родительская сеть обучена с помощью trainNetwork функцию, затем все вложенные dlnetwork объекты инициализируются при вызове trainNetwork. Если родительская сеть является dlnetwork, затем все вложенные dlnetwork объекты инициализируются при построении родительской сети (если она является родительской dlnetwork инициализируется при конструкции) или когда вы используете initialize функция с родительской сетью (если родительский элемент dlnetwork не инициализирован при конструкции).

Кроме того, вместо отсрочки инициализации вложенной сети можно создать пользовательский слой с уже инициализированной вложенной сетью. Это означает, что вложенная сеть инициализируется перед родительской сетью Это требует ручного определения размера любых входов для вложенной сети. Вы можете сделать это либо при помощи входных слоев, либо путем предоставления примера входов dlnetwork функция конструктора. Потому что вы должны задать размеры любых входов в dlnetwork объект может потребоваться задать входные размеры при создании слоя. Для помощи с определением размера входов слоя можно использовать analyzeNetwork и проверяйте размер активаций предыдущих слоев.

Функции предсказания и передачи

Некоторые слои ведут себя по-разному во время обучения и во время предсказания. Для примера слой отсева выполняет отсев только во время обучения и не имеет эффекта во время предсказания. Слой использует одну из двух функций, чтобы выполнить прямой проход: predict или forward. Если прямой проход находится во времени предсказания, то слой использует predict функция. Если прямой проход находится во времени обучения, то слой использует forward функция. Если вы не требуете двух разных функций для времени предсказания и времени обучения, то можно опустить forward функция. В этом случае слой использует predict во время обучения.

При реализации predict и forward функций пользовательского слоя, чтобы гарантировать, что слои в dlnetwork объект ведет себя правильно, используйте predict и forward функции для dlnetwork объекты, соответственно.

Пользовательские слои с обучаемыми dlnetwork объекты не поддерживают пользовательские обратные функции.

Вы все еще должны назначить значение выходному аргументу памяти forward функция.

Этот пример кода показывает, как использовать predict и forward функции с dlnetwork вход.

function Z = predict(layer,X)

    % Convert input data to formatted dlarray.
    X = dlarray(X,'SSCB');

    % Predict using network.
    dlnet = layer.Network;
    Z = predict(dlnet,X);
            
    % Strip dimension labels.
    Z = stripdims(Z);
end

function [Z,memory] = forward(layer,X)

    % Convert input data to formatted dlarray.
    X = dlarray(X,'SSCB');

    % Forward pass using network.
    dlnet = layer.Network;
    Z = forward(dlnet,X);
            
    % Strip dimension labels.
    Z = stripdims(Z);

    memory = [];
end

Если на dlnetwork объект не ведет себя по-разному во время обучения и предсказания, тогда можно опускать прямую функцию. В этом случае программное обеспечение использует predict функция во время обучения.

Поддерживаемые слои

Пользовательские слои поддерживают dlnetwork объекты, которые не требуют обновления состояния. Это означает, что dlnetwork объект не должен содержать слои, которые имеют состояние, например, слои нормализации партии . и LSTM.

В этом списке показаны встроенные слои, которые полностью поддерживают состав сети.

Совместимость с GPU

Если функции слоя forward полностью поддерживают dlarray объекты, тогда слой совместим с графическим процессором. В противном случае, чтобы быть совместимым с графический процессор, функции слоя должны поддерживать входы и выходные выходы возврата типа gpuArray (Parallel Computing Toolbox).

Многие MATLAB^® поддержка встроенных функций gpuArray (Parallel Computing Toolbox) и dlarray входные параметры. Список функций, поддерживающих dlarray объекты, см. Список функций с поддержкой dlarray. Список функций, которые выполняются на графическом процессоре, см. в разделе Запуск функций MATLAB на графическом процессоре (Parallel Computing Toolbox). Для использования графический процессор для глубокого обучения необходимо иметь также поддерживаемое графический процессор. Для получения информации о поддерживаемых устройствах смотрите Поддержку GPU by Release (Parallel Computing Toolbox). Для получения дополнительной информации о работе с графическими процессорами в MATLAB, смотрите GPU Computing в MATLAB (Parallel Computing Toolbox).