BERTScore：用大模型思维评估文本生成的精准度

一句话解释

BERTScore是一种自动评估文本生成质量的指标，它用BERT这类预训练模型把文本转换成向量，再通过计算参考文本和生成文本之间向量的相似度来打分，比只看单词是否完全相同的传统指标更聪明。

为什么会被关注

传统指标如BLEU和ROUGE只统计n-gram的字面重合，遇到“汽车”和“轿车”这种同义词就会误判为低分。BERTScore利用上下文语义，能识别意思相近但用词不同的表述，评估结果更接近人工评判。

在机器翻译、摘要生成等任务中，BERTScore与人类评价的相关性普遍优于传统指标，因此被学术界和工业界广泛采用，特别是在需要精细化评估生成质量的场景下，它已成为新论文中的标配指标之一。

核心逻辑

BERTScore的核心步骤分三步：首先用BERT（或其他预训练语言模型）将参考句子和候选句子的每个词编码成上下文嵌入向量；然后计算两者之间所有词对的余弦相似度，得到匹配矩阵；最后通过贪心匹配或最大化求和的方式得到精确率、召回率和F1分数，通常取F1作为最终得分。

它不像BLEU那样需要严格的n-gram对齐，而是允许语义相近但位置不同的词互相匹配。例如“我吃过饭了”和“我已经吃饭”，虽然用词不同，但语义相似度高，BERTScore会给出较高分数。

常见场景

机器翻译评估：译者对比多个翻译引擎输出，用BERTScore快速筛选语义更准确的版本，避免被流畅但含义偏离的译文欺骗。文本摘要：检测摘要是否抓住了原文关键信息，即使措辞不同也能反映语义覆盖程度。

对话系统：评估回复是否与标准答案语义一致，适合开放域对话中答案多样的情况。图像描述生成：检查描述文本与真实描述是否传达相同内容，弥补BLEU对创造性表述的惩罚。

容易混淆的点

BERTScore不是训练模型，而是评估工具，它不直接优化模型参数。另外，它依赖的预训练模型本身有偏见和局限性，如果测试数据与训练数据分布差异大，评分可能不可靠。

与BLEU不同，BERTScore不会因词序不同而扣分，所以需要配合其他指标使用，防止生成流畅但逻辑混乱的句子得分过高。此外，不同版本BERT（如BERT-base vs RoBERTa）的得分绝对值不可跨模型直接比较。