Документация

Инициализация слоя по умолчанию

Эта таблица показывает инициализацию по умолчанию для настраиваемых параметров для каждого слоя и предоставляет ссылки, которые показывают, как инициализировать настраиваемые параметры для функций модели с помощью той же инициализации.

Настраиваемые параметры

При инициализации настраиваемых параметров для функций модели необходимо задать параметры правильного размера. Размер настраиваемых параметров зависит от типа операции глубокого обучения.

Инициализация Глорота

Инициализатор Глорота (также известный как Xavier) [1] отсчитывает веса из равномерного распределения с границами $$\left[-\sqrt{\frac{6}{N_o+N_i}},\sqrt{\frac{6}{N_o+N_i}}\right]$$, где значения _No и _Ni зависят от типа операции глубокого обучения.

Чтобы легко инициализировать настраиваемые параметры с помощью инициализатора Glorot, можно задать пользовательскую функцию. Функция initializeGlorot принимает за вход размер настраиваемых параметров sz и значения _No и _Ni (numOut и numIn, соответственно) и возвращает дискретизированные веса как dlarray объект с базовым типом 'single'.

function weights = initializeGlorot(sz,numOut,numIn)

Z = 2*rand(sz,'single') - 1;
bound = sqrt(6 / (numIn + numOut));

weights = bound * Z;
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numOut = prod(filterSize) * numFilters;
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeGlorot(sz,numOut,numIn);

Его инициализация

Инициализатор He [2] отсчитывает веса из нормального распределения с нулем среднего и отклонением $$\frac{2}{N_i}$$, где _Ni значения зависит от типа операции глубокого обучения.

Чтобы легко инициализировать настраиваемые параметры с помощью инициализатора He, можно задать пользовательскую функцию. Функция initializeHe принимает за вход размер настраиваемых параметров sz, и значение _Ni, и возвращает дискретизированные веса как dlarray объект с базовым типом 'single'.

function weights = initializeHe(sz,numIn)

weights = randn(sz,'single') * sqrt(2/numIn);
weights = dlarray(weights);

end

filterSize = [5 5];
numChannels = 3;
numFilters = 128;

sz = [filterSize numChannels numFilters];
numIn = prod(filterSize) * numFilters;

parameters.conv.Weights = initializeHe(sz,numIn);

Гауссова инициализация

Гауссов инициализатор отбирает веса из нормального распределения.

Чтобы легко инициализировать настраиваемые параметры с помощью Гауссова инициализатора, можно задать пользовательскую функцию. Функция initializeGaussian принимает за вход размер настраиваемых параметров sz, среднее распределение muи стандартное отклонение распределения sigma, и возвращает дискретизированные веса как dlarray объект с базовым типом 'single'.

function weights = initializeGaussian(sz,mu,sigma)

weights = randn(sz,'single')*sigma + mu;
weights = dlarray(weights);

end

embeddingDimension = 300;
vocabularySize = 5000;
mu = 0;
sigma = 0.01;

sz = [embeddingDimension vocabularySize];

parameters.emb.Weights = initializeGaussian(sz,mu,sigma);

Равномерная инициализация

Равномерный инициализатор отбирает веса из равномерного распределения.

Чтобы легко инициализировать настраиваемые параметры с помощью равномерного инициализатора, можно задать пользовательскую функцию. Функция initializeUniform принимает за вход размер настраиваемых параметров sz, и граница распределения bound, и возвращает дискретизированные веса как dlarray объект с базовым типом 'single'.

function parameter = initializeUniform(sz,bound)

Z = 2*rand(sz,'single') - 1;
parameter = bound * Z;
parameter = dlarray(parameter);

end

sz = [100 100];
bound = 0.1;

parameters.attentionn.Weights = initializeUniform(sz,bound);

Ортогональная инициализация

Ортогональный инициализатор возвращает ортогональную матрицу Q заданную QR-разложением Z = QR, где Z дискретизируется из модуля нормального распределения, и размер Z совпадает с размером настраиваемого параметра.

Чтобы легко инициализировать настраиваемые параметры с помощью ортогонального инициализатора, можно задать пользовательскую функцию. Функция initializeOrthogonal принимает за вход размер настраиваемых параметров sz, и возвращает ортогональную матрицу как dlarray объект с базовым типом 'single'.

function parameter = initializeOrthogonal(sz)

Z = randn(sz,'single');
[Q,R] = qr(Z,0);

D = diag(R);
Q = Q * diag(D ./ abs(D));

parameter = dlarray(Q);

end

numHiddenUnits = 100;

sz = [4*numHiddenUnits numHiddenUnits];

parameters.lstm.RecurrentWeights = initializeOrthogonal(sz);

Модуль Забудь Gate Initialization

Инициализатор затвора забывания модуля инициализирует смещение для операции LSTM таким образом, чтобы компонент затвора забывания смещений был одним, а остальные значения - нулями.

Чтобы легко инициализировать настраиваемые параметры с помощью ортогонального инициализатора, можно задать пользовательскую функцию. Функция initializeUnitForgetGate принимает за вход количество скрытых модулей в операции LSTM и возвращает смещение как dlarray объект с базовым типом 'single'.

function bias = initializeUnitForgetGate(numHiddenUnits)

bias = zeros(4*numHiddenUnits,1,'single');

idx = numHiddenUnits+1:2*numHiddenUnits;
bias(idx) = 1;

bias = dlarray(bias);

end

numHiddenUnits = 100;

parameters.lstm.Bias = initializeUnitForgetGate(numHiddenUnits,'single');

Инициализация таковых

Чтобы легко инициализировать настраиваемые параметры с таковые, можно задать пользовательскую функцию. Функция initializeOnes принимает за вход размер настраиваемых параметров sz, и возвращает параметры как dlarray объект с базовым типом 'single'.

function parameter = initializeOnes(sz)

parameter = ones(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Scale = initializeOnes(sz);

Инициализация нулей

Чтобы легко инициализировать настраиваемые параметры с нулями, можно задать пользовательскую функцию. Функция initializeZeros принимает за вход размер настраиваемых параметров sz, и возвращает параметры как dlarray объект с базовым типом 'single'.

function parameter = initializeZeros(sz)

parameter = zeros(sz,'single');
parameter = dlarray(parameter);

end

numChannels = 128;

sz = [numChannels 1];

parameters.bn.Offset = initializeZeros(sz);

Хранение настраиваемых параметров

Рекомендуется хранить настраиваемые параметры для заданной функции модели в одном объекте, такой как struct, таблица или массив ячеек. Для примера, показывающего, как инициализировать настраиваемые параметры как struct, смотрите Обучите сеть Используя Функцию Модели.

parameters = dlupdate(@gather,parameters);

parameters = dlupdate(@gpuArray,parameters);