Документация

Инициализации слоев по умолчанию

В этой таблице показаны инициализации по умолчанию для обучаемых параметров для каждого уровня, а также ссылки, показывающие, как инициализировать обучаемые параметры для функций модели с помощью одной и той же инициализации.

Размеры обучаемых параметров

При инициализации обучаемых параметров для функций модели необходимо указать параметры правильного размера. Размер обучаемых параметров зависит от типа операции глубокого обучения.

Инициализация Glorot

Инициализатор Глорота (также известный как Ксавье) [1] отсчитывает веса из равномерного распределения с границами $$[-\sqrt{\frac{\mathrm{}}{{}_{}6No{}_{+}}}\sqrt{\frac{\mathrm{}}{{\mathrm{Ni}}_{,}{}_{}}}6No$$+ Ni], где _{значения} No и Ni зависят от типа операции глубокого обучения.

Чтобы легко инициализировать обучаемые параметры с помощью инициализатора Glorot, можно определить пользовательскую функцию. Функция initializeGlorot принимает в качестве входных данных размер обучаемых параметров sz и значения _No и _Ni (numOut и numIn, соответственно) и возвращает дискретизированные веса в виде dlarray объект с базовым типом 'single'.

function weights = initializeGlorot(sz,numOut,numIn)

Z = 2*rand(sz,'single') - 1;
bound = sqrt(6 / (numIn + numOut));

weights = bound * Z;
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numOut = prod(filterSize) * numFilters;
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeGlorot(sz,numOut,numIn);

Инициализация

Инициализатор He [2] отсчитывает веса из нормального распределения с нулевым средним и дисперсионным $$\frac{\mathrm{}}{{}_{\mathrm{2Ni}}}$$, где значение _Ni зависит от типа операции глубокого обучения.

Чтобы легко инициализировать обучаемые параметры с помощью инициализатора He, можно определить пользовательскую функцию. Функция initializeHe принимает в качестве входных данных размер обучаемых параметров szи значение _Ni, и возвращает дискретизированные веса как dlarray объект с базовым типом 'single'.

function weights = initializeHe(sz,numIn)

weights = randn(sz,'single') * sqrt(2/numIn);
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeHe(sz,numIn);

Гауссова инициализация

Гауссов инициализатор отсчитывает веса из нормального распределения.

Чтобы легко инициализировать обучаемые параметры с помощью гауссова инициализатора, можно определить пользовательскую функцию. Функция initializeGaussian принимает в качестве входных данных размер обучаемых параметров sz, среднее значение распределения muи стандартное отклонение распределения sigmaи возвращает дискретизированные веса в виде dlarray объект с базовым типом 'single'.

function weights = initializeGaussian(sz,mu,sigma)

weights = randn(sz,'single')*sigma + mu;
weights = dlarray(weights);

end

embeddingDimension = 300;
vocabularySize = 5000;
mu = 0;
sigma = 0.01;

sz = [embeddingDimension vocabularySize];

parameters.emb.Weights = initializeGaussian(sz,mu,sigma);

Единообразная инициализация

Однородный инициализатор отсчитывает веса из однородного распределения.

Чтобы легко инициализировать обучаемые параметры с помощью унифицированного инициализатора, можно определить пользовательскую функцию. Функция initializeUniform принимает в качестве входных данных размер обучаемых параметров sz, и границы распределения boundи возвращает дискретизированные веса в виде dlarray объект с базовым типом 'single'.

function parameter = initializeUniform(sz,bound)

Z = 2*rand(sz,'single') - 1;
parameter = bound * Z;
parameter = dlarray(parameter);

end

sz = [100 100];
bound = 0.1;

parameters.attentionn.Weights = initializeUniform(sz,bound);

Ортогональная инициализация

Ортогональный инициализатор возвращает ортогональную матрицу Q, заданную QR разложением Z = QR, где Z дискретизируется из единичного нормального распределения, и размер Z соответствует размеру обучаемого параметра.

Чтобы легко инициализировать обучаемые параметры с помощью ортогонального инициализатора, можно определить пользовательскую функцию. Функция initializeOrthogonal принимает в качестве входных данных размер обучаемых параметров szи возвращает ортогональную матрицу в виде dlarray объект с базовым типом 'single'.

function parameter = initializeOrthogonal(sz)

Z = randn(sz,'single');
[Q,R] = qr(Z,0);

D = diag(R);
Q = Q * diag(D ./ abs(D));

parameter = dlarray(Q);

end

numHiddenUnits = 100;

sz = [4*numHiddenUnits numHiddenUnits];

parameters.lstm.RecurrentWeights = initializeOrthogonal(sz);

Инициализация литника Unit Forget

Инициализатор вентиля «unit forget» инициализирует смещение для операции LSTM таким образом, что компонент вентиля «forget» смещений равен единицам, а остальные записи являются нулями.

Чтобы легко инициализировать обучаемые параметры с помощью ортогонального инициализатора, можно определить пользовательскую функцию. Функция initializeUnitForgetGate принимает в качестве входных данных количество скрытых единиц в операции LSTM и возвращает смещение в виде dlarray объект с базовым типом 'single'.

function bias = initializeUnitForgetGate(numHiddenUnits)

bias = zeros(4*numHiddenUnits,1,'single');

idx = numHiddenUnits+1:2*numHiddenUnits;
bias(idx) = 1;

bias = dlarray(bias);

end

numHiddenUnits = 100;

parameters.lstm.Bias = initializeUnitForgetGate(numHiddenUnits,'single');

Инициализация единиц

Чтобы легко инициализировать обучаемые параметры с их помощью, можно определить пользовательскую функцию. Функция initializeOnes принимает в качестве входных данных размер обучаемых параметров szи возвращает параметры в виде dlarray объект с базовым типом 'single'.

function parameter = initializeOnes(sz)

parameter = ones(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Scale = initializeOnes(sz);

Инициализация нулей

Чтобы легко инициализировать обучаемые параметры с нулями, можно определить пользовательскую функцию. Функция initializeZeros принимает в качестве входных данных размер обучаемых параметров szи возвращает параметры в виде dlarray объект с базовым типом 'single'.

function parameter = initializeZeros(sz)

parameter = zeros(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Offset = initializeZeros(sz);

Хранение обучаемых параметров

Рекомендуется сохранять обучаемые параметры для данной функции модели в одном объекте, таком как структура, таблица или массив ячеек. Пример инициализации обучаемых параметров в виде структуры см. в разделе Подготовка сети с использованием функции модели.

parameters = dlupdate(@gather,parameters);

parameters = dlupdate(@gpuArray,parameters);