Создайте массив маркируемых документов и извлеките сводные данные с помощью extractSummary функция.

str = [
    "The fox jumped over the dog."
    "The fast brown fox jumped over the lazy dog."
    "The lazy dog saw a fox jumping."
    "There seem to be animals jumping other animals."
    "There are quick animals and lazy animals"];
documents = tokenizedDocument(str);
summary = extractSummary(documents)

summary = 
  tokenizedDocument:

   10 tokens: The fast brown fox jumped over the lazy dog .

Задайте справочные документы как tokenizedDocument массив.

str = [
    "The quick brown animal jumped over the lazy dog."
    "The quick brown fox jumped over the lazy dog."];
references = tokenizedDocument(str);

Вычислите BLEU score между сводными данными и справочными документами с помощью bleuEvaluationScore функция.

score = bleuEvaluationScore(summary,references)

score = 0.7825

Этот счет указывает на довольно хорошее подобие. BLEU score близко к каждый указывает на сильное сходство.

Создайте массив маркируемых документов и извлеките сводные данные с помощью extractSummary функция.

str = [
    "The fox jumped over the dog."
    "The fast brown fox jumped over the lazy dog."
    "The lazy dog saw a fox jumping."
    "There seem to be animals jumping other animals."
    "There are quick animals and lazy animals"];
documents = tokenizedDocument(str);
summary = extractSummary(documents)

summary = 
  tokenizedDocument:

   10 tokens: The fast brown fox jumped over the lazy dog .

Задайте справочные документы как tokenizedDocument массив.

str = [
    "The quick brown animal jumped over the lazy dog."
    "The quick brown fox jumped over the lazy dog."];
references = tokenizedDocument(str);

Вычислите BLEU score между документом кандидата и справочными документами с помощью опций по умолчанию. bleuEvaluationScore функция, по умолчанию, использует N-граммы длины один - четыре с равными весами.

score = bleuEvaluationScore(summary,references)

score = 0.7825

Учитывая, что итоговый документ отличается только одним словом к одному из справочных документов, этот счет может предложить более низкое подобие, чем можно ожидать. Это поведение происходит из-за функции с помощью N-грамм, которые являются слишком большими для короткой длины документа.

Чтобы обратиться к этому, используйте более короткие N-граммы путем установки 'NgramWeights' опция к более короткому вектору. Вычислите BLEU score снова с помощью только униграммы и биграммы путем установки 'NgramWeights' опция к двухэлементному вектору. Обработайте униграммы и биграммы одинаково путем определения равных весов.

score = bleuEvaluationScore(summary,references,'NgramWeights',[0.5 0.5])

score = 0.8367

Этот счет предлагает лучшее подобие, чем прежде.