ROUGE：自动摘要评估的黄金指标

一句话解释

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一组自动评估文本摘要质量的指标。它通过计算机器生成的摘要与人类撰写的参考摘要之间重叠的词语、短语或最长公共子序列（LCS）来得出分数，分数越高说明生成摘要与参考摘要越接近。

为什么会被关注

在自动摘要、机器翻译、对话系统等文本生成任务中，人工评测成本高且不可复现。ROUGE提供了可重复、可量化的自动化评估手段，帮助研究者快速对比不同模型的性能。

它关注召回率（生成摘要覆盖参考摘要的多少内容），与BLEU（关注精确率）形成互补，成为最广泛使用的NLP文本生成客观评测指标之一，尤其在摘要竞赛（如DUC、TAC）中作为官方标准。

核心逻辑

ROUGE的核心思路是比较生成摘要与参考摘要中共同出现的n-gram（如unigram、bigram）的数量，除以参考摘要中n-gram的总数，得到召回率。常见变体包括ROUGE-N（n-gram重叠）、ROUGE-L（基于最长公共子序列，考虑语句顺序）、ROUGE-W（加权LCS）和ROUGE-S（跳过二元组）。

以ROUGE-1为例：计算生成摘要与参考摘要共有的单字或单词数，除以参考摘要的总词数。所有变体都强调召回率优先，但实际使用中常同时计算精确率和F值来更全面评估。

常见场景

在文本摘要任务中，研究者用ROUGE评估生成的摘要是否覆盖了参考摘要中的关键信息。例如新闻摘要、学术论文摘要的自动评测。

在机器翻译领域，ROUGE有时被用作翻译质量的辅助指标（尤其当译文长度差异大时）。在对话生成、故事生成等任务中，ROUGE也常与BLEU、METEOR等联合使用来多角度评估。

容易混淆的点

ROUGE不是唯一的摘要指标，常与BLEU混淆。BLEU侧重精确率（生成摘要中有多少n-gram在参考中），而ROUGE侧重召回率。简单说：ROUGE看参考里的内容被覆盖了多少，BLEU看生成的词是否靠谱。

ROUGE分数高不一定代表摘要质量好。它只衡量词汇重叠，无法评估语义、连贯性、信息冗余等。例如内容完全照抄参考摘要也能得高分，但实际摘要可能缺乏可读性或冗余。因此常需要结合人工评估。