Создайте массив маркируемых документов.

textData = [
    "the quick brown fox jumped over the lazy dog"
    "the fast brown fox jumped over the lazy dog"
    "the lazy dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(textData)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    9 tokens: the fast brown fox jumped over the lazy dog
    8 tokens: the lazy dog sat there and did nothing
    6 tokens: the other animals sat there watching

Вычислите общие черты между ними использующий cosineSimilarity функция. Выход является разреженной матрицей.

similarities = cosineSimilarity(documents);

Визуализируйте общие черты между документами в карте тепла.

figure
heatmap(similarities);
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы близко к каждый указывает на сильное сходство. Баллы близко к нулю указывают на слабое подобие.

Создайте массив входных документов.

str = [
    "the quick brown fox jumped over the lazy dog"
    "the fast fox jumped over the lazy dog"
    "the dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(str)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    8 tokens: the fast fox jumped over the lazy dog
    7 tokens: the dog sat there and did nothing
    6 tokens: the other animals sat there watching

Создайте массив документов запроса.

str = [
    "a brown fox leaped over the lazy dog"
    "another fox leaped over the dog"];
queries = tokenizedDocument(str)

queries = 
  2x1 tokenizedDocument:

    8 tokens: a brown fox leaped over the lazy dog
    6 tokens: another fox leaped over the dog

Вычислите общие черты между входом и запросите документы с помощью cosineSimilarity функция. Выход является разреженной матрицей.

similarities = cosineSimilarity(documents,queries);

Визуализируйте общие черты документов в карте тепла.

figure
heatmap(similarities);
xlabel("Query Document")
ylabel("Input Document")
title("Cosine Similarities")

Баллы близко к каждый указывает на сильное сходство. Баллы близко к нулю указывают на слабое подобие.

Создайте модель сумки слов из текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: ["From"    "fairest"    "creatures"    "we"    ...    ]
        NumWords: 3527
    NumDocuments: 154

Вычислите общие черты между сонетами с помощью cosineSimilarity функция. Выход является разреженной матрицей.

similarities = cosineSimilarity(bag);

Визуализируйте общие черты первых пяти документов в карте тепла.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы близко к каждый указывает на сильное сходство. Баллы близко к нулю указывают на слабое подобие.

Для входа сумки слов, cosineSimilarity функция вычисляет подобие косинуса с помощью tf-idf матрицы, выведенной из модели. Чтобы вычислить общие черты косинуса на векторах для подсчета количества слов непосредственно, введите подсчеты слов к cosineSimilarity функционируйте как матрицу.

Создайте модель сумки слов из текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: ["From"    "fairest"    "creatures"    "we"    ...    ]
        NumWords: 3527
    NumDocuments: 154

Получите матрицу подсчетов слов из модели.

M = bag.Counts;

Вычислите общие черты документа косинуса матрицы для подсчета количества слов использование cosineSimilarity функция. Выход является разреженной матрицей.

similarities = cosineSimilarity(M);

Визуализируйте общие черты первых пяти документов в карте тепла.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Баллы близко к каждый указывает на сильное сходство. Баллы близко к нулю указывают на слабое подобие.