lstm

Долгая краткосрочная память

Синтаксис

dlY = lstm(dlX,H0,C0,weights,recurrentWeights,bias)

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias)

[___] = lstm(___,'DataFormat',FMT)

Описание

Операция долгой краткосрочной памяти (LSTM) позволяет сети изучать долгосрочные зависимости между временными шагами в данных о последовательности и временных рядах.

Примечание

Эта функция применяет операцию LSTM глубокого обучения к dlarray данные. Если вы хотите применить операцию LSTM в layerGraph объект или Layer массив, используйте следующий слой:

lstmLayer

пример

dlY = lstm(dlX,H0,C0,weights,recurrentWeights,bias) применяет вычисление долгой краткосрочной памяти (LSTM) к входу dlX использование начальной буквы скрытый H0 состояния, состояние первичной клетки C0, и параметры weights, recurrentWeights, и bias. Вход dlX должен быть отформатированный dlarray. Выход dlY отформатированный dlarray с тем же форматом размерности как dlX, за исключением любого 'S' размерности.

lstm функционируйте обновляет ячейку и скрытые состояния с помощью гиперболической функции тангенса (tanh) как функция активации состояния. lstm функционируйте использует сигмоидальную функцию, данную $σ (x) = {(1 + e^{- x})}^{- 1}$ как функция активации логического элемента.

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias) также возвращает скрытое состояние и состояние ячейки после операции LSTM.

[___] = lstm(___,'DataFormat',FMT) также задает формат размерности FMT когда dlX не отформатированный dlarray. Выход dlY бесформатный dlarray с той же размерностью заказывают как dlX, за исключением любого 'S' размерности.

Примеры

свернуть все

Примените операцию LSTM, чтобы упорядочить данные

Скрипт Open Live Script

Выполните операцию LSTM с помощью трех скрытых модулей.

Создайте входные данные о последовательности как 32 наблюдения с 10 каналами и длиной последовательности 64

numFeatures = 10;
numObservations = 32;
sequenceLength = 64;

X = randn(numFeatures,numObservations,sequenceLength);
dlX = dlarray(X,'CBT');

Создайте скрытую начальную букву и состояния ячейки с тремя скрытыми модулями. Используйте ту же начальную букву скрытое состояние и состояние ячейки для всех наблюдений.

numHiddenUnits = 3;
H0 = zeros(numHiddenUnits,1);
C0 = zeros(numHiddenUnits,1);

Создайте настраиваемые параметры для операции LSTM.

weights = dlarray(randn(4*numHiddenUnits,numFeatures),'CU');
recurrentWeights = dlarray(randn(4*numHiddenUnits,numHiddenUnits),'CU');
bias = dlarray(randn(4*numHiddenUnits,1),'C');

Выполните вычисление LSTM

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias);

Просмотрите размер и размерности dlY.

size(dlY)

ans = 1×3

     3    32    64

dlY.dims

ans = 
'CBT'

Просмотрите размер hiddenState и cellState.

size(hiddenState)

ans = 1×2

     3    32

size(cellState)

ans = 1×2

     3    32

Проверяйте что выход hiddenState совпадает с последним временным шагом выхода dlY.

if extractdata(dlY(:,:,end)) == hiddenState
   disp("The hidden state and the last time step are equal.");
else 
   disp("The hidden state and the last time step are not equal.")
end

The hidden state and the last time step are equal.

Можно использовать скрытое состояние и состояние ячейки, чтобы отслеживать состояние операции LSTM и ввести далее последовательные данные.

Входные параметры

свернуть все

`dlX` — Входные данные
`dlarray` | числовой массив

Входные данные в виде отформатированного dlarray, бесформатный dlarray, или числовой массив. Когда dlX не отформатированный dlarray, необходимо задать формат этикетки размерности с помощью 'DataFormat',FMT. Если dlX числовой массив, по крайней мере один из H0, C0, weights, recurrentWeights, или bias должен быть dlarray.

dlX должен содержать размерность последовательности, пометил 'T'. Если dlX имеет любые пространственные размерности, пометил 'S', они сглажены в 'C' размерность канала. Если dlX не имеет размерности канала, затем каждый добавляется. Если dlX имеет любые незаданные размерности, пометил 'U', они должны быть одиночным элементом.