lstm

Долговременная кратковременная память

Синтаксис

dlY = lstm (dlX,H0,C0,weights,recurrentWeights,bias)

[dlY, hiddState, cellState] = lstm (dlX,H0,C0,weights,recurrentWeights,bias)

[___] = lstm (___, «формат данных», FMT)

Описание

Длительная кратковременная память (LSTM) позволяет сети узнать долгосрочные зависимости между временными шагами во временных рядах и данными последовательности.

Примечание

Эта функция применяет операцию глубокого обучения LSTM к dlarray данные. Если требуется применить операцию LSTM в layerGraph объект или Layer используйте следующий слой:

lstmLayer

пример

dlY = lstm(dlX,H0,C0,weights,recurrentWeights,bias) применяет расчет долговременной памяти (LSTM) к входу dlX с использованием начального скрытого состояния H0, начальное состояние ячейки C0, и параметры weights, recurrentWeights, и bias. Вход dlX является отформатированным dlarray с метками размеров. Продукция dlY является отформатированным dlarray с теми же метками размеров, что и dlX, за исключением любого 'S' размеры.

lstm функция обновляет ячейку и скрытые состояния, используя гиперболическую касательную функцию (tanh) в качестве функции активации состояния. lstm функция использует в ${^{}}^{}$ качестве функции активации затвора сигмоидную функцию, заданную (x) = (1 + e − x) − 1.

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias) также возвращает скрытое состояние и состояние соты после операции LSTM.

[___] = lstm(___,'DataFormat',FMT) также задает формат размера FMT когда dlX не является отформатированным dlarray. Продукция dlY является неформатированным dlarray с тем же порядком размеров, что и dlX, за исключением любого 'S' размеры.

Примеры

свернуть все

Применение операции LSTM к данным последовательности

Открыть сценарий в реальном времени

Выполните операцию LSTM с использованием трех скрытых блоков.

Создание входных данных последовательности в виде 32 наблюдений с 10 каналами и длиной последовательности 64

numFeatures = 10;
numObservations = 32;
sequenceLength = 64;

X = randn(numFeatures,numObservations,sequenceLength);
dlX = dlarray(X,'CBT');

Создайте начальное скрытое состояние и состояние ячейки с тремя скрытыми единицами измерения. Используйте одно и то же исходное скрытое состояние и состояние ячейки для всех наблюдений.

numHiddenUnits = 3;
H0 = zeros(numHiddenUnits,1);
C0 = zeros(numHiddenUnits,1);

Создайте обучаемые параметры для операции LSTM.

weights = dlarray(randn(4*numHiddenUnits,numFeatures),'CU');
recurrentWeights = dlarray(randn(4*numHiddenUnits,numHiddenUnits),'CU');
bias = dlarray(randn(4*numHiddenUnits,1),'C');

Выполнение расчета LSTM

[dlY,hiddenState,cellState] = lstm(dlX,H0,C0,weights,recurrentWeights,bias);

Просмотр размера и размеров dlY.

size(dlY)

ans = 1×3

     3    32    64

dlY.dims

ans = 
'CBT'

Просмотр размера hiddenState и cellState.

size(hiddenState)

ans = 1×2

     3    32

size(cellState)

ans = 1×2

     3    32

Проверьте, что выходные данные hiddenState совпадает с последним временным шагом вывода dlY.

if extractdata(dlY(:,:,end)) == hiddenState
   disp("The hidden state and the last time step are equal.");
else 
   disp("The hidden state and the last time step are not equal.")
end

The hidden state and the last time step are equal.

Скрытое состояние и состояние ячейки можно использовать для отслеживания состояния операции LSTM и ввода дополнительных последовательных данных.

Входные аргументы

свернуть все

`dlX` - Входные данные
`dlarray` | числовой массив

Входные данные, указанные как dlarray с метками размеров или без них или числовым массивом. Когда dlX не является отформатированным dlarray, необходимо указать формат метки размера с помощью 'DataFormat',FMT. Если dlX - числовой массив, по крайней мере, один из H0, C0, weights, recurrentWeights, или bias должно быть dlarray.

dlX должен содержать измерение последовательности с меткой 'T'. Если dlX имеет любые пространственные размеры, помеченные 'S', они сплющены в 'C' размер канала. Если dlX не имеет размера канала, то добавляется один. Если dlX имеет неуказанные размеры с меткой 'U'Они должны быть одиночными.