Создание массива маркированных документов.

textData = [
    "the quick brown fox jumped over the lazy dog"
    "the fast brown fox jumped over the lazy dog"
    "the lazy dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(textData)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    9 tokens: the fast brown fox jumped over the lazy dog
    8 tokens: the lazy dog sat there and did nothing
    6 tokens: the other animals sat there watching

Рассчитайте сходство между ними с помощью cosineSimilarity функция. Выходной сигнал является разреженной матрицей.

similarities = cosineSimilarity(documents);

Визуализация сходства между документами на тепловой карте.

figure
heatmap(similarities);
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы, близкие к одному, указывают на сильное сходство. Оценки, близкие к нулю, указывают на слабое сходство.

Создайте массив входных документов.

str = [
    "the quick brown fox jumped over the lazy dog"
    "the fast fox jumped over the lazy dog"
    "the dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(str)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    8 tokens: the fast fox jumped over the lazy dog
    7 tokens: the dog sat there and did nothing
    6 tokens: the other animals sat there watching

Создайте массив документов запроса.

str = [
    "a brown fox leaped over the lazy dog"
    "another fox leaped over the dog"];
queries = tokenizedDocument(str)

queries = 
  2x1 tokenizedDocument:

    8 tokens: a brown fox leaped over the lazy dog
    6 tokens: another fox leaped over the dog

Расчет сходства между входными и запросными документами с помощью cosineSimilarity функция. Выходной сигнал является разреженной матрицей.

similarities = cosineSimilarity(documents,queries);

Визуализация сходства документов на тепловой карте.

figure
heatmap(similarities);
xlabel("Query Document")
ylabel("Input Document")
title("Cosine Similarities")

Баллы, близкие к одному, указывают на сильное сходство. Оценки, близкие к нулю, указывают на слабое сходство.

Создание модели пакета слов на основе текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: [1x3527 string]
        NumWords: 3527
    NumDocuments: 154

Рассчитайте сходство между сонетами с помощью cosineSimilarity функция. Выходной сигнал является разреженной матрицей.

similarities = cosineSimilarity(bag);

Визуализация сходства первых пяти документов в тепловой карте.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы, близкие к одному, указывают на сильное сходство. Оценки, близкие к нулю, указывают на слабое сходство.

Для ввода пакета слов, cosineSimilarity функция вычисляет косинусное сходство, используя матрицу tf-idf, полученную из модели. Чтобы вычислить косинусное сходство на векторах подсчета слов непосредственно, введите число слов в cosineSimilarity функция в качестве матрицы.

Создание модели пакета слов на основе текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: [1x3527 string]
        NumWords: 3527
    NumDocuments: 154

Получение матрицы счетчиков слов из модели.

M = bag.Counts;

Вычислите подобие косинусного документа матрицы подсчета слов с помощью cosineSimilarity функция. Выходной сигнал является разреженной матрицей.

similarities = cosineSimilarity(M);

Визуализация сходства первых пяти документов в тепловой карте.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы, близкие к одному, указывают на сильное сходство. Оценки, близкие к нулю, указывают на слабое сходство.