lstm

Долгая краткосрочная память

Синтаксис

dlY = lstm(dlX,H0,C0,weights,recurrentWeights,bias)

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias)

[___] = lstm(___,'DataFormat',FMT)

Описание

Операция долгой краткосрочной памяти (LSTM) позволяет сети изучать долгосрочные зависимости между временными шагами во временных рядах и данными последовательности.

Примечание

Эта функция применяет операцию LSTM глубокого обучения к dlarray данные. Если необходимо применить операцию LSTM в layerGraph объект или Layer массив, используйте следующий слой:

lstmLayer

пример

dlY = lstm(dlX,H0,C0,weights,recurrentWeights,bias) применяет расчет долгой краткосрочной памяти (LSTM) к входным dlX использование начального скрытого состояния H0, начальное состояние камеры C0, и параметры weights, recurrentWeights, и bias. Область входа dlX является форматированным dlarray с метками размерностей. Область выхода dlY является форматированным dlarray с теми же метками размерностей, что и dlX, за исключением любых 'S' размерности.

The lstm функция обновляет камеру и скрытые состояния, используя гиперболическую тангенциальную функцию (tanh) в качестве функции активации состояния. The lstm функция использует сигмоидную функцию, заданную как $σ (x) = {(1 + e^{- x})}^{- 1}$ как функцию активации ворот.

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias) также возвращает скрытое состояние и состояние камеры после операции LSTM.

[___] = lstm(___,'DataFormat',FMT) также задает формат размерности FMT когда dlX не является форматированным dlarray. Область выхода dlY является неформатированным dlarray с тем же порядком размерностей, что и dlX, за исключением любых 'S' размерности.

Примеры

свернуть все

Применение операции LSTM к данным последовательности

Открыть Live Script

Выполните операцию LSTM с использованием трёх скрытых модулей.

Создайте входные данные последовательности как 32 наблюдения с 10 каналами и длиной последовательности 64

numFeatures = 10;
numObservations = 32;
sequenceLength = 64;

X = randn(numFeatures,numObservations,sequenceLength);
dlX = dlarray(X,'CBT');

Создайте начальное скрытое состояние и состояния камер с тремя скрытыми модулями. Используйте одно и то же начальное скрытое состояние и состояние камеры для всех наблюдений.

numHiddenUnits = 3;
H0 = zeros(numHiddenUnits,1);
C0 = zeros(numHiddenUnits,1);

Создайте настраиваемые параметры для операции LSTM.

weights = dlarray(randn(4*numHiddenUnits,numFeatures),'CU');
recurrentWeights = dlarray(randn(4*numHiddenUnits,numHiddenUnits),'CU');
bias = dlarray(randn(4*numHiddenUnits,1),'C');

Выполните расчет LSTM

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias);

Просмотрите размер и размерности dlY.

size(dlY)

ans = 1×3

     3    32    64

dlY.dims

ans = 
'CBT'

Просмотрите размер hiddenState и cellState.

size(hiddenState)

ans = 1×2

     3    32

size(cellState)

ans = 1×2

     3    32

Проверяйте, что выходной hiddenState совпадает с последним временным шагом выхода dlY.

if extractdata(dlY(:,:,end)) == hiddenState
   disp("The hidden state and the last time step are equal.");
else 
   disp("The hidden state and the last time step are not equal.")
end

The hidden state and the last time step are equal.

Можно использовать скрытое состояние и состояние камеры, чтобы отслеживать состояние операции LSTM и вводить дополнительные последовательные данные.

Входные параметры

свернуть все

`dlX` - Входные данные
`dlarray` | числовой массив

Входные данные, заданные как dlarray с метками размерностей или без них или числовым массивом. Когда dlX не является форматированным dlarrayнеобходимо задать формат метки размерности с помощью 'DataFormat',FMT. Если dlX является числовым массивом, по крайней мере, один из H0, C0, weights, recurrentWeights, или bias должен быть dlarray.

dlX должен содержать размерность последовательности, помеченный 'T'. Если dlX имеет любые пространственные размерности, помеченные 'S', они сплющены в 'C' размерность канала. Если dlX не имеет размерности канала, затем добавляется один. Если dlX имеет какие-либо неопределенные размерности, помеченные 'U'Они должны быть одиночками.