Документация

Инициализации слоя по умолчанию

Эта таблица показывает инициализации по умолчанию для настраиваемых параметров для каждого слоя и обеспечивает ссылки, которые показывают, как инициализировать настраиваемые параметры для функций модели при помощи той же инициализации.

Размеры настраиваемого параметра

При инициализации настраиваемых параметров для функций модели необходимо задать параметры правильного размера. Размер настраиваемых параметров зависит от типа операции глубокого обучения.

Инициализация Glorot

Glorot (также известный как Ксавьера) инициализатор [1] демонстрационные веса от равномерного распределения с границами $$\left[-\sqrt{\frac{6}{N_o+N_i}},\sqrt{\frac{6}{N_o+N_i}}\right]$$, где значения _No и _Ni зависят от типа операции глубокого обучения.

Чтобы инициализировать настраиваемые параметры с помощью инициализатора Glorot легко, можно задать пользовательскую функцию. Функциональный initializeGlorot берет в качестве входа размер настраиваемых параметров sz и значения _No и _Ni (numOut и numIn, соответственно), и возвращает произведенные веса как dlarray объект с базовым типом 'single'.

function weights = initializeGlorot(sz,numOut,numIn)

Z = 2*rand(sz,'single') - 1;
bound = sqrt(6 / (numIn + numOut));

weights = bound * Z;
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numOut = prod(filterSize) * numFilters;
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeGlorot(sz,numOut,numIn);

Он инициализация

Он инициализатор [2] демонстрационные веса от нормального распределения с нулевым средним значением и отклонением $$\frac{2}{N_i}$$, где значение _Ni зависит от типа операции глубокого обучения.

Чтобы инициализировать настраиваемые параметры с помощью Него инициализатор легко, можно задать пользовательскую функцию. Функциональный initializeHe берет в качестве входа размер настраиваемых параметров sz, и значение _Ni, и возвращает произведенные веса как dlarray объект с базовым типом 'single'.

function weights = initializeHe(sz,numIn)

weights = randn(sz,'single') * sqrt(2/numIn);
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeHe(sz,numIn);

Гауссова инициализация

Гауссовы демонстрационные веса инициализатора от нормального распределения.

Чтобы инициализировать настраиваемые параметры с помощью Гауссова инициализатора легко, можно задать пользовательскую функцию. Функциональный initializeGaussian берет в качестве входа размер настраиваемых параметров sz, среднее значение распределения mu, и стандартное отклонение распределения sigma, и возвращает произведенные веса как dlarray объект с базовым типом 'single'.

function weights = initializeGaussian(sz,mu,sigma)

weights = randn(sz,'single')*sigma + mu;
weights = dlarray(weights);

end

embeddingDimension = 300;
vocabularySize = 5000;
mu = 0;
sigma = 0.01;

sz = [embeddingDimension vocabularySize];

parameters.emb.Weights = initializeGaussian(sz,mu,sigma);

Универсальная инициализация

Универсальные демонстрационные веса инициализатора от равномерного распределения.

Чтобы инициализировать настраиваемые параметры с помощью универсального инициализатора легко, можно задать пользовательскую функцию. Функциональный initializeUniform берет в качестве входа размер настраиваемых параметров sz, и распределение связало bound, и возвращает произведенные веса как dlarray объект с базовым типом 'single'.

function parameter = initializeUniform(sz,bound)

Z = 2*rand(sz,'single') - 1;
parameter = bound * Z;
parameter = dlarray(parameter);

end

sz = [100 100];
bound = 0.1;

parameters.attentionn.Weights = initializeUniform(sz,bound);

Ортогональная инициализация

Ортогональный инициализатор возвращает ортогональный матричный Q, данный разложением QR Z = QR, откуда Z производится модульного нормального распределения, и размер Z совпадает с размером настраиваемого параметра.

Чтобы инициализировать настраиваемые параметры с помощью ортогонального инициализатора легко, можно задать пользовательскую функцию. Функциональный initializeOrthogonal берет в качестве входа размер настраиваемых параметров sz, и возвращает ортогональную матрицу как dlarray объект с базовым типом 'single'.

function parameter = initializeOrthogonal(sz)

Z = randn(sz,'single');
[Q,R] = qr(Z,0);

D = diag(R);
Q = Q * diag(D ./ abs(D));

parameter = dlarray(Q);

end

numHiddenUnits = 100;

sz = [4*numHiddenUnits numHiddenUnits];

parameters.lstm.RecurrentWeights = initializeOrthogonal(sz);

Модуль забывает инициализацию логического элемента

Модуль забывает, что инициализатор логического элемента инициализирует смещение для операции LSTM, таким образом, что забыть компонент логического элемента смещений является единицами, и остающиеся записи являются нулями.

Чтобы инициализировать настраиваемые параметры с помощью ортогонального инициализатора легко, можно задать пользовательскую функцию. Функциональный initializeUnitForgetGate берет в качестве входа количество скрытых модулей в операции LSTM и возвращает смещение как dlarray объект с базовым типом 'single'.

function bias = initializeUnitForgetGate(numHiddenUnits)

bias = zeros(4*numHiddenUnits,1,'single');

idx = numHiddenUnits+1:2*numHiddenUnits;
bias(idx) = 1;

bias = dlarray(bias);

end

numHiddenUnits = 100;

parameters.lstm.Bias = initializeUnitForgetGate(numHiddenUnits,'single');

Инициализация единиц

Чтобы инициализировать настраиваемые параметры единицами легко, можно задать пользовательскую функцию. Функциональный initializeOnes берет в качестве входа размер настраиваемых параметров sz, и возвращает параметры как dlarray объект с базовым типом 'single'.

function parameter = initializeOnes(sz)

parameter = ones(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Scale = initializeOnes(sz);

Нулевая инициализация

Чтобы инициализировать настраиваемые параметры нулями легко, можно задать пользовательскую функцию. Функциональный initializeZeros берет в качестве входа размер настраиваемых параметров sz, и возвращает параметры как dlarray объект с базовым типом 'single'.

function parameter = initializeZeros(sz)

parameter = zeros(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Offset = initializeZeros(sz);

Хранение настраиваемых параметров

Рекомендуется сохранить настраиваемые параметры для данной функции модели в отдельном объекте, такие как struct, таблица или массив ячеек. Для примера, показывающего, как инициализировать настраиваемые параметры как struct, смотрите, Обучат сеть Используя Функцию Модели.

parameters = dlupdate(@gather,parameters);

parameters = dlupdate(@gpuArray,parameters);