Учитывая n-граммовую длину n, метрика ROUGE-N между документом-кандидатом и одним справочным документом задается посредством

где элементы _ri являются предложениями в справочном документе, $$\text{Count}\text{(}n-грамм\text{ ,}кандидат$$) является числом раз, когда указанное n-грамм встречается в документе-кандидате, и numNgrams ₍ri) является числом n-граммов в указанном справочном предложении ri.

Для наборов нескольких справочных документов метрика ROUGE-N задается

Для использования метрики ROUGE-N установите значение 'ROUGEMethod' опция для 'n-grams'.

Учитывая предложение $$d={}_{\mathrm{[}}w1,{.}_{.}.$$, wm] и предложение s, где _{элементы} si соответствуют словам, $${}_{{}_{\mathrm{подпоследовательность}}}[{}_{{\mathrm{wi1}}_{,}}.$$.., wik] является общей подпоследовательностью d $${}_{{и}_{}^{s,}}{\mathrm{если}}_{\mathrm{}}{}_{}$$wij′∈{s1,..$$.,\mathrm{}sn\}$$для j $${}_{\mathrm{=}}1,.{.}_{.}$$, k и i1​<⋯<ik, где элементы s являются словами предложения, а k - длиной подпоследовательности. $${}_{{}_{\mathrm{}}}{}_{{}_{}}$$Подпоследовательность [wi1,..., wik] является самой длинной общей подпоследовательностью (LCS), если длина подпоследовательности k является максимальной.

При наличии документа-кандидата и единого справочного документа объединение наиболее длинных общих подпоследовательностей определяется

где $$\text{LCS}\text{(}кандидат{,}_{}$$ri) - набор наиболее длинных общих подпоследовательностей в документе-кандидате и предложении ri из справочного документа.

Метрика ROUGE-L является показателем F-score. Чтобы рассчитать его, сначала вычислите показатели отзыва и точности, заданные

Затем метрика ROUGE-L между документом-кандидатом и одним ссылочным документом задается показателем F-score.

где параметр $$\beta$$ управляет относительной важностью точности и отзыва. Поскольку оценка ROUGE предпочитает напоминание, $$\beta$$ обычно устанавливается на высокое значение.

Для наборов нескольких справочных документов метрика ROUGE-L задается

Для использования метрики ROUGE-L установите значение 'ROUGEMethod' опция для 'longest-common-subsequences'.

Учитывая такую весовую функцию f, что f имеет свойство f (x + y) > f (x) + f (y) для любых положительных целых чисел x и y$$\text{,}\text{определите WLCS}(\text{ кандидат,}$$ссылка) как длину самых длинных последовательных совпадений, встречающихся в документе-кандидате, и один справочный документ, набранный весовой функцией F. Для получения дополнительной информации о вычислении этого значения см. [1].

ROUGE-W является метрикой, имеющей показатель F, который требует оценки отзыва и точности, полученные

Метрика ROUGE-W между документом-кандидатом и одним ссылочным документом задается показателем F-score.

где параметр $$\beta$$ управляет относительной важностью точности и отзыва. Поскольку оценка ROUGE предпочитает напоминание, $$\beta$$ обычно устанавливается на высокое значение.

Для нескольких ссылочных документов метрика ROUGE-W задается

Для использования метрики ROUGE-W установите значение 'ROUGEMethod' опция для 'weighted-longest-common-subsequences'.

Скип-биграм - упорядоченная пара слов в предложении, допускающая произвольные промежутки между ними. То есть, учитывая предложение $${}_{\mathrm{ci}}={}_{[\mathrm{}}ci1,{.}_{..},$$ cim] из документа-кандидата, где _{элементы} cij соответствуют словам в предложении, пара $${}_{{\mathrm{слов}}_{\mathrm{}}^{[}}{}_{{\mathrm{cij1}}_{\mathrm{}}^{\prime }},$$ cij2 ′] является скип-биграм $${}_{\mathrm{}}^{}{}_{\mathrm{}}^{}$$ifj1′<j2 ′.

Метрика ROUGE-S является показателем F-score. Чтобы рассчитать его, сначала вычислите показатели отзыва и точности, заданные

где элементы _ri и _ci являются предложениями в ссылочном документе и документе-кандидате соответственно, $$\text{Count}\text{(}skip-bigram\text{ ,}кандидат$$) - количество раз, когда указанная skip-bigram встречается в документе-кандидате, и numSkipBigrams (s) - количество skip-bigrams в предложении s.

Затем метрика ROUGE-S между документом-кандидатом и одним ссылочным документом задается показателем F-score.

Для наборов нескольких справочных документов метрика ROUGE-S задается

Для использования метрики ROUGE-S установите значение 'ROUGEMethod' опция для 'skip-bigrams'.

Чтобы также включить статистику совместного появления однограмм в метрику ROUGE-S, введите количество однограмм в показатели отзыва и точности для ROUGE-S. Это эквивалентно включению маркеров запуска в документы-кандидаты и справочные документы, поскольку

где Count (unigram, кандидат) - количество раз, когда указанная unigram появляется в документе-кандидате, $${и}_{}^{}$$ri + $${\text{и}}^{}$$candidate + обозначают ссылочное предложение и документ-кандидат, дополненный начальными маркерами, соответственно.

Для наборов нескольких справочных документов метрика ROUGE-SU задается

где $${\text{ссылка}}^{}$$+ - ссылочный документ с предложениями, дополненными начальными маркерами.

Для использования метрики ROUGE-SU установите значение 'ROUGEMethod' опция для 'skip-bigrams-and-unigrams'.