Оцените перевод или резюмирование со счетом подобия ROUGE
Ориентированный на отзыв Дублер для Оценки Джистинга (ROUGE) алгоритм выигрыша оценивает подобие между документом кандидата и набором справочных документов. Используйте счет ROUGE, чтобы оценить качество моделей перевода и резюмирования документа.
возвращает счет ROUGE между заданным документом кандидата и справочными документами. Функция, по умолчанию, вычисляет перекрытия униграммы между score
= rougeEvaluationScore(candidate
,references
)candidate
и references
. Это также известно как метрику ROUGE-N с длиной n-граммы 1. Для получения дополнительной информации смотрите Счет ROUGE.
задает дополнительные опции с помощью одной или нескольких пар "имя-значение".score
= rougeEvaluationScore(candidate
,references
,Name,Value
)
Задайте документ кандидата как tokenizedDocument
объект.
str = "the fast brown fox jumped over the lazy dog";
candidate = tokenizedDocument(str)
candidate = tokenizedDocument: 9 tokens: the fast brown fox jumped over the lazy dog
Задайте справочные документы как tokenizedDocument
массив.
str = [ "the quick brown animal jumped over the lazy dog" "the quick brown fox jumped over the lazy dog"]; references = tokenizedDocument(str)
references = 2x1 tokenizedDocument: 9 tokens: the quick brown animal jumped over the lazy dog 9 tokens: the quick brown fox jumped over the lazy dog
Вычислите счет ROUGE между документом кандидата и справочными документами.
score = rougeEvaluationScore(candidate,references)
score = 0.8889
Задайте документ кандидата как tokenizedDocument
объект.
str = "a simple summary document containing some words";
candidate = tokenizedDocument(str)
candidate = tokenizedDocument: 7 tokens: a simple summary document containing some words
Задайте справочные документы как tokenizedDocument
массив.
str = [ "a simple document" "another document with some words"]; references = tokenizedDocument(str)
references = 2x1 tokenizedDocument: 3 tokens: a simple document 5 tokens: another document with some words
Вычислите счет ROUGE между документом кандидата и справочными документами с помощью опций по умолчанию.
score = rougeEvaluationScore(candidate,references)
score = 1
rougeEvaluationScore
функция, по умолчанию, сравнивает униграмму (одно-маркерные) перекрытия между документом кандидата и справочными документами. Поскольку счет ROUGE является основанной на отзыве мерой, если один из справочных документов составлен полностью униграмм, которые появляются в документе кандидата, получившийся счет ROUGE является тем. В этом сценарии, выходе rougeEvaluationScore
функция неинформативна.
Для более значимого результата вычислите счет ROUGE снова использование биграмм путем установки 'NgramLength'
опция к 2
. Получившийся счет меньше один, поскольку каждый справочный документ содержит биграммы, которые не появляются в документе кандидата.
score = rougeEvaluationScore(candidate,references,'NgramLength',2)
score = 0.5000
candidate
— Документ кандидатаtokenizedDocument
скаляр | массив строк | массив ячеек из символьных векторовДокумент кандидата в виде tokenizedDocument
скаляр, массив строк или массив ячеек из символьных векторов. Если candidate
не tokenizedDocument
скаляр, затем это должен быть вектор-строка, представляющий единый документ, где каждым элементом является слово.
references
— Справочные документыtokenizedDocument
массив | массив строк | массив ячеек из символьных векторовСправочные документы в виде tokenizedDocument
массив, массив строк или массив ячеек из символьных векторов. Если references
не tokenizedDocument
массив, затем это должен быть вектор-строка, представляющий единый документ, где каждым элементом является слово. Чтобы оценить против нескольких справочных документов, используйте tokenizedDocument
массив.
Задайте дополнительные разделенные запятой пары Name,Value
аргументы. Name
имя аргумента и Value
соответствующее значение. Name
должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN
.
scores = rougeEvaluationScore(candidate,references,'ROUGEMethod','weighted-subsequences')
задает, чтобы использовать взвешенные подпоследовательности метод ROUGE.'ROUGEMethod'
— Метод ROUGE'n-grams'
(значение по умолчанию) | 'longest-common-subsequences'
| 'weighted-subsequences'
| 'skip-bigrams'
| 'skip-bigrams-and-unigrams'
Метод ROUGE в виде разделенной запятой пары, состоящей из 'ROUGEMethod'
и одно из следующего:
'n-grams'
– Оцените счет ROUGE с помощью перекрытий n-граммы между документом кандидата и справочными документами. Это также известно как метрику ROUGE-N.
'longest-common-subsequences'
– Оцените счет ROUGE с помощью статистики Самой длинной общей подпоследовательности (LCS). Это также известно как метрику ROUGE-L.
'weighted-subsequences'
– Оцените счет ROUGE с помощью, взвесил самую длинную общую статистику подпоследовательности. Этот метод способствует последовательному LCSS. Это также известно как метрику ROUGE-W.
'skip-bigrams'
– Оцените счет ROUGE с помощью биграммы пропуска (любая пара слов в порядке предложения) статистика совместной встречаемости. Это также известно как метрику ROUGE-S.
'skip-bigrams-and-unigrams'
– Оцените счет ROUGE с помощью статистики совместной встречаемости биграммы пропуска и униграммы. Это также известно как метрику ROUGE-SU.
'NgramLength'
— Длина n-граммыДлина n-граммы используется для 'n-grams'
Метод ROUGE (ROUGE-N) в виде разделенной запятой пары, состоящей из 'NgramLength'
и положительное целое число.
Если 'ROUGEMethod'
опцией не является 'n-grams'
, затем 'NgramLength'
опция не оказывает влияния.
Совет
Если самый длинный документ в references
имеет меньше, чем NgramLength
слова, затем получившимся счетом ROUGE является NaN
. Если candidate
имеет меньше, чем NgramLength
слова, затем получившийся счет ROUGE является нулем. Гарантировать это rougeEvaluationScore
возвращает ненулевую музыку к очень коротким документам, установите NgramLength
до положительного целого числа, меньшего, чем длина candidate
и длина самого длинного документа в references
.
Типы данных: single
| double
| int8
| int16
| int32
| int64
| uint8
| uint16
| uint32
| uint64
'SkipDistance'
— Пропустите расстояниеПропустите расстояние, используемое для 'skip-bigrams'
и 'skip-bigrams-and-unigrams'
Методы ROUGE (ROUGE-S и ROUGE-SU) в виде разделенной запятой пары, состоящей из 'SkipDistance'
и положительное целое число.
Если 'ROUGEMethod'
опцией не является 'skip-bigrams'
или 'skip-bigrams-and-unigrams'
, затем 'SkipDistance'
опция не оказывает влияния.
Типы данных: single
| double
| int8
| int16
| int32
| int64
| uint8
| uint16
| uint32
| uint64
score
— Счет ROUGEСчет ROUGE, возвращенный как скалярное значение в области значений [0,1] или NaN
.
Счет ПОМАДЫ близко к нулю указывает на плохое подобие между candidate
и references
. Счет ПОМАДЫ близко к каждый указывает на сильное сходство между candidate
и references
. Если candidate
идентично одному из справочных документов, затем score
1. Если candidate
и references
оба пустые документы, затем получившимся счетом ROUGE является NaN
.
Совет
Если самый длинный документ в references
имеет меньше, чем NgramLength
слова, затем получившимся счетом ROUGE является NaN
. Если candidate
имеет меньше, чем NgramLength
слова, затем получившийся счет ROUGE является нулем. Гарантировать это rougeEvaluationScore
возвращает ненулевую музыку к очень коротким документам, установите NgramLength
до положительного целого числа, меньшего, чем длина candidate
и длина самого длинного документа в references
.
Ориентированный на отзыв Дублер для Оценки Джистинга (ROUGE) алгоритм выигрыша [1] вычисляет подобие между документом кандидата и набором справочных документов. Используйте счет ROUGE, чтобы оценить качество моделей перевода и резюмирования документа.
Учитывая n одна n-грамма длиной, метрику ROUGE-N между документом кандидата и одним справочным документом дают
где элементами ri являются предложения в справочном документе, число раз, заданная n-грамма происходит в документе кандидата, и numNgrams(ri) является количеством N-грамм в заданном ссылочном предложении ri.
Для наборов нескольких справочных документов метрикой ROUGE-N дают
Чтобы использовать метрику ROUGE-N, установите 'ROUGEMethod'
опция к 'n-grams'
.
Учитывая предложение и предложение s, где элементы si соответствуют словам, подпоследовательности общая подпоследовательность d и s если для и , где элементами s являются слова предложения, и k является длиной подпоследовательности. Подпоследовательность самая длинная общая подпоследовательность (LCS), если длина подпоследовательности k максимальна.
Учитывая документ кандидата и один справочный документ объединением самых длинных общих подпоследовательностей дают
где набор самых длинных общих подпоследовательностей в документе кандидата и предложении ri из справочного документа.
Метрика ROUGE-L является мерой F-счета. Чтобы вычислить его, сначала вычислите баллы отзыва и точности, данные
Затем метрика ROUGE-L между документом кандидата и одним справочным документом дана мерой F-счета
где параметр управляет относительной важностью точности и отзыва. Поскольку счет ROUGE способствует отзыву, обычно устанавливается в высокое значение.
Для наборов нескольких справочных документов метрикой ROUGE-L дают
Чтобы использовать метрику ROUGE-L, установите 'ROUGEMethod'
опция к 'longest-common-subsequences'
.
Учитывая функцию взвешивания f, таким образом, что f имеет свойство f(x+y)>f(x)+f(y) для любых положительных целых чисел x и y, задать быть продолжительностью самых долгих последовательных соответствий, с которыми сталкиваются в документе кандидата и одном справочном документе, выигранном функцией взвешивания f. Для получения дополнительной информации о вычислении этого значения, см. [1].
ROUGE-W является метрикой, учитывая меру F-счета, которая требует баллов отзыва и точности, данных
Метрика ROUGE-W между документом кандидата и одним справочным документом дана мерой F-счета
где параметр управляет относительной важностью точности и отзыва. Поскольку счет ROUGE способствует отзыву, обычно устанавливается в высокое значение.
Для нескольких справочных документов метрикой ROUGE-W дают
Чтобы использовать метрику ROUGE-W, установите 'ROUGEMethod'
опция к 'weighted-longest-common-subsequences'
.
Биграмма пропуска является упорядоченной парой слов в предложении, допуская произвольные разрывы между ними. Таким образом, учитывая предложение из документа кандидата, где элементы cij соответствуют словам в предложении, паре слов биграмма пропуска если.
Метрика ROUGE-S является мерой F-счета. Чтобы вычислить его, сначала вычислите баллы отзыва и точности, данные
где элементами ri и ci являются предложения в справочном документе и документе кандидата, соответственно, число раз, заданная биграмма пропуска происходит в документе кандидата, и numSkipBigrams(s) является количеством биграмм пропуска в предложении s.
Затем метрика ROUGE-S между документом кандидата и одним справочным документом дана мерой F-счета
Для наборов нескольких справочных документов метрикой ROUGE-S дают
Чтобы использовать метрику ROUGE-S, установите 'ROUGEMethod'
опция к 'skip-bigrams'
.
Чтобы также включать статистику совместной встречаемости униграммы в метрику ROUGE-S, введите количества униграммы в музыку отзыва и точности к ROUGE-S. Это эквивалентно включению, запускают лексемы в кандидате и справочных документах, с тех пор
где Count(unigram,candidate) является числом раз, заданная униграмма появляется в документе кандидата, и и обозначьте ссылочное предложение и документ кандидата, увеличенный с лексемами запуска, соответственно.
Для наборов нескольких справочных документов метрикой ROUGE-SU дают
где справочный документ с предложениями, увеличенными с лексемами запуска.
Чтобы использовать метрику ROUGE-SU, установите 'ROUGEMethod'
опция к 'skip-bigrams-and-unigrams'
.
[1] Лин, Тис Подбородка. "Помада: пакет для автоматической оценки сводных данных". В тексте Резюмирование Расширяется, стр 74-81. 2004.
bleuEvaluationScore
| bm25Similarity
| cosineSimilarity
| extractSummary
| lexrankScores
| mmrScores
| textrankScores
| tokenizedDocument
У вас есть модифицированная версия этого примера. Вы хотите открыть этот пример со своими редактированиями?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.