Моделирование и прогнозирование

Разработка прогнозных моделей с использованием тематических моделей и встраиваемых слов

Для поиска кластеров и извлечения элементов из наборов данных из многомерного текста можно использовать методы и модели машинного обучения, такие как LSA, LDA и встраивание слов. Можно комбинировать элементы, созданные с помощью Toolbox™ Text Analytics, с элементами из других источников данных. С помощью этих функций можно создавать модели машинного обучения, использующие преимущества текстовых, цифровых и других типов данных.

Функции

развернуть все

Подсчет слов и N-граммов

`bagOfWords`	Модель сумки слов
`bagOfNgrams`	Модель мешка n-граммов
`addDocument`	Добавление документов в модель «мешок слов» или «мешок n-грамм»
`removeDocument`	Удалить документы из модели мешка слов или мешка n граммов
`removeInfrequentWords`	Удалить слова с низкими счетчиками из модели сумки слов
`removeInfrequentNgrams`	Удаление редко встречающихся n-грамм из модели мешков n-грамм
`removeWords`	Удалить выбранные слова из документов или модели мешка слов
`removeNgrams`	Удалить n-грамм из модели мешков n-грамм
`removeEmptyDocuments`	Удаление пустых документов из маркированного массива документов, модели мешка слов или модели мешка n грамм
`topkwords`	Наиболее важные слова в сумке слов модели или темы LDA
`topkngrams`	Наиболее часто n-грамм
`encode`	Кодировать документы как матрицу числа слов или n-граммов
`tfidf`	Матрица Term Frequency-Inverse Document Frequency (tf-idf)
`join`	Объединение нескольких моделей мешков слов или мешков n граммов

Анализ настроений

`vaderSentimentScores`	Оценки настроений с помощью алгоритма VADER
`ratioSentimentScores`	Оценки настроений с правилом соотношения

Встраивание и кодирование Word

`fastTextWordEmbedding`	Предварительно обученное вложение текстового слова
`wordEncoding`	Модель кодирования слов для сопоставления слов с индексами и обратно
`doc2sequence`	Преобразование документов в последовательности для глубокого обучения
`wordEmbeddingLayer`	Уровень внедрения Word для сетей глубокого обучения
`word2vec`	Сопоставить слово с вектором встраивания
`word2ind`	Сопоставить слово с индексом кодирования
`vec2word`	Отображение вектора встраивания в слово
`ind2word`	Сопоставить индекс кодировки со словом
`isVocabularyWord`	Проверка, является ли слово элементом встраивания или кодирования слов
`readWordEmbedding`	Чтение слова встраивания из файла
`trainWordEmbedding`	Встраивание обучающего слова
`writeWordEmbedding`	Запись файла встраивания слов
`wordEmbedding`	Встраиваемая модель Word для отображения слов на векторы и обратно

Уплотнение и сходство документов

`extractSummary`	Извлечение сводки из документов
`rakeKeywords`	Извлечь ключевые слова с помощью RAKE
`textrankKeywords`	Извлечение ключевых слов с помощью TextRank
`bleuEvaluationScore`	Оценка трансляции или уплотнения с оценкой подобия BLEU
`rougeEvaluationScore`	Оценка перевода или уплотнения с оценкой сходства ROUGE
`bm25Similarity`	Сходство документа с алгоритмом BM25
`cosineSimilarity`	Сходство документа с косинусным сходством
`textrankScores`	Оценка документа с помощью алгоритма TextRank
`lexrankScores`	Оценка документов с помощью алгоритма LexRank
`mmrScores`	Оценка документов с помощью алгоритма максимальной предельной релевантности (MMR)

Тематическое моделирование и уменьшение размеров

`fitlda`	Подгонка скрытой модели распределения Дирихле (LDA)
`fitlsa`	Подгонка модели LSA
`resume`	Возобновить установку модели LDA
`logp`	Документирование вероятностей и достоверности соответствия модели LDA
`predict`	Прогнозирование основных тем документов LDA
`transform`	Преобразование документов в пространство нижних размеров
`ldaModel`	Латентная модель распределения Дирихле (LDA)
`lsaModel`	Модель латентного семантического анализа (LSA)

Визуализация

`wordcloud`	Создание таблицы облака слов из текста, модели мешка слов, модели мешка n граммов или модели LDA
`textscatter`	2-D график разброса текста
`textscatter3`	3-D график разброса текста

Темы

Классификация и моделирование

Создание простой функции предварительной обработки

В этом примере показано, как создать функцию очистки и предварительной обработки текстовых данных для анализа.

Создание простой текстовой модели для классификации

В этом примере показано, как обучить простой классификатор текста подсчетам частоты слов с помощью модели мешка слов.

Анализ текстовых данных с помощью многословных фраз

В этом примере показано, как анализировать текст, используя n-граммовые счетчики частоты.

Анализ текстовых данных с использованием тематических моделей

В этом примере показано, как использовать модель темы LDA для анализа текстовых данных.

Выбор количества тем для модели LDA

В этом примере показано, как выбрать подходящее количество тем для скрытой модели распределения Дирихле (LDA).

Сравнение решателей LDA

В этом примере показано, как сравнивать латентные решатели распределения Дирихле (LDA), сравнивая доброту подгонки и время, затрачиваемое на подгонку модели.

Анализ настроений и извлечение ключевых слов

Анализ настроений в тексте

В этом примере показано, как использовать алгоритм Valence Aware Dictionary and Sentement Reasoner (VADER) для анализа настроений.

Создать лексикон для конкретных областей

В этом примере показано, как создать лексикон для анализа настроений с использованием 10-K и 10-Q финансовых отчетов.

Подготовка классификатора настроений

В этом примере показано, как обучить классификатор анализу настроений с помощью аннотированного списка положительных и отрицательных чувств и предварительно подготовленного встраивания слов.

Извлечь ключевые слова из текстовых данных с помощью RAKE

В этом примере показано, как извлечь ключевые слова из текстовых данных с помощью функции быстрого автоматического извлечения ключевых слов (RAKE).

Извлечение ключевых слов из текстовых данных с помощью TextRank

В этом примере показано извлечение ключевых слов из текстовых данных с помощью TextRank.

Глубокое обучение

Классификация текстовых данных с помощью глубокого обучения

В этом примере показано, как классифицировать текстовые данные с помощью сети LSTM.

Классификация текстовых данных с использованием сверточной нейронной сети

В этом примере показано, как классифицировать текстовые данные с помощью сверточной нейронной сети.

Классификация недостающих данных текста с помощью глубокого обучения

В этом примере показано, как классифицировать текстовые данные из памяти с помощью сети глубокого обучения с использованием преобразованного хранилища данных.

Преобразование последовательности в последовательность с использованием внимания

В этом примере показано, как преобразовывать десятичные строки в римские цифры с помощью повторяющейся модели кодера-декодера последовательности.

Классификация текста Multilabel с использованием глубокого обучения

В этом примере показано, как классифицировать текстовые данные с несколькими независимыми метками.

Создание текста с помощью глубокого обучения (панель инструментов глубокого обучения)

В этом примере показано, как обучить сеть долговременной памяти глубокого обучения (LSTM) генерировать текст.

Гордость и предубеждение и MATLAB

В этом примере показано, как обучить сеть LSTM глубокому обучению создавать текст с использованием вставок символов.

Создание текста «слово за словом» с помощью глубокого обучения

В этом примере показано, как обучить сеть LSTM глубокому обучению создавать текст слово за словом.

Классификация текстовых данных с помощью настраиваемого цикла обучения

В этом примере показано, как классифицировать текстовые данные с помощью сети BiLSTM с глубоким обучением и двунаправленной долговременной памятью (BiLSTM) с пользовательским обучающим циклом.

Создание текста с помощью автокодеров

В этом примере показано, как создавать текстовые данные с помощью автокодеров.

Определение функции модели кодировщика текста

В этом примере показано, как определить функцию модели текстового кодера.

Определение функции модели декодера текста

В этом примере показано, как определить функцию модели текстового декодера.