Создайте массив токенизированных документов и извлеките сводные данные с помощью extractSummary функция.

str = [
    "The fox jumped over the dog."
    "The fast brown fox jumped over the lazy dog."
    "The lazy dog saw a fox jumping."
    "There seem to be animals jumping other animals."
    "There are quick animals and lazy animals"];
documents = tokenizedDocument(str);
summary = extractSummary(documents)

summary = 
  tokenizedDocument:

   10 tokens: The fast brown fox jumped over the lazy dog .

Задайте ссылочные документы как tokenizedDocument массив.

str = [
    "The quick brown animal jumped over the lazy dog."
    "The quick brown fox jumped over the lazy dog."];
references = tokenizedDocument(str);

Вычислите счет BLEU между сводными данными и ссылкой документами с помощью bleuEvaluationScore функция.

score = bleuEvaluationScore(summary,references)

score = 0.7825

Этот счет указывает на довольно хорошее сходство. Счет BLEU, близкая к единице, указывает на сильное сходство.

Создайте массив токенизированных документов и извлеките сводные данные с помощью extractSummary функция.

str = [
    "The fox jumped over the dog."
    "The fast brown fox jumped over the lazy dog."
    "The lazy dog saw a fox jumping."
    "There seem to be animals jumping other animals."
    "There are quick animals and lazy animals"];
documents = tokenizedDocument(str);
summary = extractSummary(documents)

summary = 
  tokenizedDocument:

   10 tokens: The fast brown fox jumped over the lazy dog .

Задайте ссылочные документы как tokenizedDocument массив.

str = [
    "The quick brown animal jumped over the lazy dog."
    "The quick brown fox jumped over the lazy dog."];
references = tokenizedDocument(str);

Рассчитать счет BLEU между документом-кандидатом и ссылочными документами можно используя опции по умолчанию. The bleuEvaluationScore функция по умолчанию использует n-граммы длины от одного до четырех с равными весами.

score = bleuEvaluationScore(summary,references)

score = 0.7825

Учитывая, что итоговый документ отличается только одним словом от одного из справочных документов, этот счет может свидетельствовать о меньшей схожести, чем можно было бы ожидать. Это поведение связано с функцией, использующей n-граммы, которые являются слишком большими для короткой длины документа.

Чтобы решить эту проблему, используйте более короткие n-граммы путем установки 'NgramWeights' опция для более короткого вектора. Снова вычислите счет BLEU, используя только униграммы и биграммы путем установки 'NgramWeights' опция для двухэлементного вектора. Обрабатывайте униграммы и биграммы одинаково, задавая равные веса.

score = bleuEvaluationScore(summary,references,'NgramWeights',[0.5 0.5])

score = 0.8367

Этот счет предполагает лучшее сходство, чем раньше.