Слой встраивания Word для нейронных сетей для глубокого обучения
Слой встраивания слова сопоставляет словари с векторами.
Используйте слой встраивания слова в сети долгой краткосрочной памяти (LSTM) глубокого обучения. Сеть LSTM является типом рекуррентной нейронной сети (RNN), которая может изучить долгосрочные зависимости между временными шагами данных о последовательности. Слой встраивания слова сопоставляет последовательность словарей к встраиванию векторов и изучает встраивание слова во время обучения.
Этот слой требует Deep Learning Toolbox™.
создает слой встраивания слова и задает размерность встраивания и размер словаря.layer
= wordEmbeddingLayer(dimension
,numWords
)
[1] Glorot, Ксавьер и Иосуа Бенхио. "Изучая трудность учебных глубоких нейронных сетей прямого распространения". В Продолжениях тринадцатой международной конференции по вопросам искусственного интеллекта и статистики, стр 249-256. 2010.
[2] Он, Kaiming, Сянюй Чжан, Шаоцин Жэнь и Цзянь Сунь. "Копаясь глубоко в выпрямителях: Превосходная эффективность человеческого уровня на imagenet классификации". В Продолжениях международной конференции IEEE по вопросам компьютерного зрения, стр 1026-1034. 2015.
[3] Saxe, Эндрю М., Джеймс Л. Макклеллэнд и Сурья Гэнгули. "Точные решения нелинейной динамики изучения в глубоких линейных нейронных сетях". arXiv предварительно распечатывают arXiv:1312.6120 (2013).
doc2sequence
| fastTextWordEmbedding
| tokenizedDocument
| trainWordEmbedding
| word2vec
| wordEncoding
| lstmLayer
(Deep Learning Toolbox) | sequenceInputLayer
(Deep Learning Toolbox) | trainNetwork
(Deep Learning Toolbox)