Создайте массив маркируемых документов.

textData = [
    "the quick brown fox jumped over the lazy dog"
    "the fast brown fox jumped over the lazy dog"
    "the lazy dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(textData)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    9 tokens: the fast brown fox jumped over the lazy dog
    8 tokens: the lazy dog sat there and did nothing
    6 tokens: the other animals sat there watching

Вычислите общие черты между ними использующий bm25Similarity функция. Выход является разреженной матрицей.

similarities = bm25Similarity(documents);

Визуализируйте общие черты документов в карте тепла.

figure
heatmap(similarities);
xlabel("Document")
ylabel("Document")
title("BM25 Similarities")

Первые три документа имеют самые высокие попарные общие черты, который указывает, что эти документы являются самыми подобными. Последний документ имеет сравнительно низко попарные общие черты с другими документами, который указывает, что этот документ меньше похож на другие документы.

Создайте массив входных документов.

str = [
    "the quick brown fox jumped over the lazy dog"
    "the fast fox jumped over the lazy dog"
    "the dog sat there and did nothing"
    "the other animals sat there watching"];
documents = tokenizedDocument(str)

documents = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    8 tokens: the fast fox jumped over the lazy dog
    7 tokens: the dog sat there and did nothing
    6 tokens: the other animals sat there watching

Создайте массив документов запроса.

str = [
    "a brown fox leaped over the lazy dog"
    "another fox leaped over the dog"];

queries = tokenizedDocument(str)

queries = 
  2x1 tokenizedDocument:

    8 tokens: a brown fox leaped over the lazy dog
    6 tokens: another fox leaped over the dog

Вычислите общие черты между входными документами и запросите документы с помощью bm25Similarity функция. Выход является разреженной матрицей. Счет в similarities(i,j) представляет подобие между documents(i) и queries(j).

similarities = bm25Similarity(documents,queries);

Визуализируйте общие черты документов в карте тепла.

figure
heatmap(similarities);
xlabel("Query Document")
ylabel("Input Document")
title("BM25 Similarities")

В этом случае первый входной документ больше всего похож на первый документ запроса.

Создайте модель сумки слов из текстовых данных в sonnets.csv.

filename = "sonnets.csv";
tbl = readtable(filename,'TextType','string');
textData = tbl.Sonnet;
documents = tokenizedDocument(textData);
bag = bagOfWords(documents)

bag = 
  bagOfWords with properties:

          Counts: [154x3527 double]
      Vocabulary: ["From"    "fairest"    "creatures"    "we"    ...    ]
        NumWords: 3527
    NumDocuments: 154

Вычислите общие черты между сонетами с помощью bm25Similarity функция. Выход является разреженной матрицей.

similarities = bm25Similarity(bag);

Визуализируйте общие черты между первыми пятью документами в карте тепла.

figure
heatmap(similarities(1:5,1:5));
xlabel("Document")
ylabel("Document")
title("BM25 Similarities")

BM25 + алгоритм обращается к ограничению алгоритма BM25: компонент нормализации частоты термина длиной документа правильно ниже не ограничен. В результате этого ограничения длинные документы, которые не совпадают с термином запроса, могут часто выигрываться незаконно BM25 как наличие подобного отношения к более коротким документам, которые не содержат термин запроса.

BM25 + обращается к этому ограничению при помощи поправочного коэффициента длины документа (значение 'DocumentLengthScaling' пара "имя-значение"). Этот фактор препятствует тому, чтобы алгоритм сверхштрафовал длинные документы.

Создайте два массива маркируемых документов.

textData1 = [
    "the quick brown fox jumped over the lazy dog"
    "the fast fox jumped over the lazy dog"
    "the dog sat there and did nothing"
    "the other animals sat there watching"];
documents1 = tokenizedDocument(textData1)

documents1 = 
  4x1 tokenizedDocument:

    9 tokens: the quick brown fox jumped over the lazy dog
    8 tokens: the fast fox jumped over the lazy dog
    7 tokens: the dog sat there and did nothing
    6 tokens: the other animals sat there watching

textData2 = [
    "a brown fox leaped over the lazy dog"
    "another fox leaped over the dog"];
documents2 = tokenizedDocument(textData2)

documents2 = 
  2x1 tokenizedDocument:

    8 tokens: a brown fox leaped over the lazy dog
    6 tokens: another fox leaped over the dog

Чтобы вычислить BM25 + общие черты документа, используйте bm25Similarity функция и набор 'DocumentLengthCorrection' опция к ненулевому значению. В этом случае установите 'DocumentLengthCorrection' опция к 1.

similarities = bm25Similarity(documents1,documents2,'DocumentLengthCorrection',1);

Визуализируйте общие черты документов в карте тепла.

figure
heatmap(similarities);
xlabel("Query")
ylabel("Document")
title("BM25+ Similarities")

Здесь, при сравнении с Подобием в качестве примера Между Документами, баллы показывают больше подобия между входными документами и первым документом запроса.