Создайте массив токенизированных документов.

textData = [
    "the quick brown fox jumped over the lazy dog"
    "the fast brown fox jumped over the lazy dog"
    "the lazy dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(textData)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    9 tokens: the fast brown fox jumped over the lazy dog
    8 tokens: the lazy dog sat there and did nothing
    6 tokens: the other animals sat there watching

Вычислим сходство между ними, используя cosineSimilarity функция. Выходы являются разреженной матрицей.

similarities = cosineSimilarity(documents);

Визуализируйте сходство между документами в тепловой карте.

figure
heatmap(similarities);
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Счета, близкие к одному, указывают на сильное сходство. Счета, близкие к нулю, указывают на слабое сходство.

Создайте массив входа документов.

str = [
    "the quick brown fox jumped over the lazy dog"
    "the fast fox jumped over the lazy dog"
    "the dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(str)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    8 tokens: the fast fox jumped over the lazy dog
    7 tokens: the dog sat there and did nothing
    6 tokens: the other animals sat there watching

Создайте массив документов запросов.

str = [
    "a brown fox leaped over the lazy dog"
    "another fox leaped over the dog"];
queries = tokenizedDocument(str)

queries = 
  2x1 tokenizedDocument:

    8 tokens: a brown fox leaped over the lazy dog
    6 tokens: another fox leaped over the dog

Вычислим сходство между входными и документами запросов с помощью cosineSimilarity функция. Выходы являются разреженной матрицей.

similarities = cosineSimilarity(documents,queries);

Визуализируйте сходство документов в тепловой карте.

figure
heatmap(similarities);
xlabel("Query Document")
ylabel("Input Document")
title("Cosine Similarities")

Счета, близкие к одному, указывают на сильное сходство. Счета, близкие к нулю, указывают на слабое сходство.

Создайте модель мешка слов из текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: [1x3527 string]
        NumWords: 3527
    NumDocuments: 154

Вычислите сходство между сонетами, используя cosineSimilarity функция. Выходы являются разреженной матрицей.

similarities = cosineSimilarity(bag);

Визуализируйте сходство первых пяти документов в тепловой карте.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Счета, близкие к одному, указывают на сильное сходство. Счета, близкие к нулю, указывают на слабое сходство.

Для входа мешка слов, cosineSimilarity функция вычисляет подобие косинуса с помощью матрицы tf-idf, выведенной из модели. Чтобы вычислить косинусоидальное сходство векторов счета слов непосредственно, введите слово counts в cosineSimilarity функция как матрица.

Создайте модель мешка слов из текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: [1x3527 string]
        NumWords: 3527
    NumDocuments: 154

Получите матрицу счетчиков слов из модели.

M = bag.Counts;

Вычислим сходство документа косинуса матрицы count слов с помощью cosineSimilarity функция. Выходы являются разреженной матрицей.

similarities = cosineSimilarity(M);

Визуализируйте сходство первых пяти документов в тепловой карте.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("Cosine Similarities")

Счета, близкие к одному, указывают на сильное сходство. Счета, близкие к нулю, указывают на слабое сходство.