Слой встраивания слов для нейронных сетей для глубокого обучения
Слой встраивания слов сопоставляет индексы слов с векторами.
Используйте слой встраивания слов в сети глубокого обучения с длительной краткосрочной памятью (LSTM). Сеть LSTM является типом рекуррентной нейронной сети (RNN), который может изучать долгосрочные зависимости между временными шагами данных последовательности. Слой встраивания слов сопоставляет последовательность индексов слов с векторами встраивания и изучает встраивание слов во время обучения.
Этот слой требует Deep Learning Toolbox™.
создает слой встраивания слов и задает размерность встраивания и размер словаря.layer
= wordEmbeddingLayer(dimension
,numWords
)
[1] Глорот, Ксавьер и Йошуа Бенгио. «Понимание сложности обучения нейронных сетей с глубоким Feedforward». В работе тринадцатой Международной конференции по искусственному интеллекту и статистике, 249-356. Сардиния, Италия: AISTATS, 2010.
[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. «Delving Deep Into Rectifiers: Overpassing Human-Level Performance on ImageNet Classification». В работе Международной конференции IEEE по компьютерному зрению 2015 года, 1026-1034. Вашингтон, округ Колумбия: IEEE Компьютерное Зрение Society, 2015.
[3] Saxe, Andrew M., James L. McClelland, and Surya Ganguli. «Точные решения нелинейной динамики обучения в глубоких линейных нейронных сетях» .arXiv preprint arXiv:1312.6120 (2013).
doc2sequence
| fastTextWordEmbedding
| tokenizedDocument
| trainWordEmbedding
| word2vec
| wordEncoding
| lstmLayer
(Deep Learning Toolbox) | sequenceInputLayer
(Deep Learning Toolbox) | trainNetwork
(Deep Learning Toolbox)