ChatGPT模型性能全面评估与优缺点深入分析

性能评估

ChatGPT 的性能评估基于一种结合人工与自动测试的机制。由于模型是通过人工标注的输入进行训练的，评估的核心也离不开人工输入——让标注者对模型输出的质量进行评分。为避免评估结果与训练阶段标注者的判断“过拟合”，测试集特意选用了其他 OpenAI 客户提供的 prompt，这些 prompt 从未在训练数据中间出现过。

三个核心评估标准

模型主要依据以下三个维度进行衡量：

• 帮助性：判断模型是否准确遵循用户指示，以及能否根据上下文推断用户的真实意图。例如，当用户给出模糊指令时，模型是否能主动追问或给出合理假设。
• 真实性：考察模型在封闭领域任务（如回答事实性问题）中产生“虚构事实”（即模型凭空编造内容）的倾向。标注者会检查答案是否基于可靠信息。
• 无害性：由标注者评估模型的输出是否恰当，是否包含歧视、冒犯或不当内容。这确保了模型在开放使用场景中的安全性。

小提示：这三个标准并非完全独立，某些情况下“帮助性”和“无害性”可能冲突（例如用户要求做有害之事），此时模型应优先遵循无害性原则。

传统 NLP 任务上的表现与“一致性税”

除了上述人工评估，模型还针对传统 NLP 任务（如问答、阅读理解和摘要）进行了零样本学习的性能测试。开发人员发现，在这些任务上 ChatGPT 的表现比 GPT-3 要差一些。这种现象被称为 “一致性税”（Alignment Tax），即为了通过基于人类反馈的强化学习（RLHF）使模型更符合人类意图，不得不牺牲某些任务上的性能。

幸运的是，这种性能退化可以通过一个称为“预训练混合”（Pretraining Mix）的技巧大幅减轻：在通过梯度下降训练 PPO 模型时，通过混合 SFT 模型和 PPO 模型的梯度来计算梯度更新。这相当于在强化学习过程中保留了部分监督学习阶段的知识。

小提示：“一致性税”并不是无法避免的。上述预训练混合技巧已经在实际部署中帮助 ChatGPT 平衡了意图一致性与任务性能。

方法的缺点

尽管 RLHF 方法取得了显著成果，但它也存在一些不可忽视的局限性。以下将分两类进行说明：内生主观因素和其他技术挑战。

主观因素带来的“内生限制”

该方法的一个非常明显的局限性在于：在将语言模型与人类意图对齐的过程中，用于微调模型的数据会受到多种错综复杂的主观因素影响，主要包括：

• 生成演示数据的人工标注者的偏好：不同标注者对“好答案”的标准可能不同，比如有人偏爱详细解释，有人喜欢简洁回答。
• 设计研究和编写标签说明的研究人员：研究人员的主观判断会直接影响标注指南，比如他们可能优先考虑某些安全维度。
• 选择 prompt 的来源：开发人员或 OpenAI 客户提供的 prompt 样本，可能无法覆盖所有真实用户场景，导致模型偏向特定类型的提问。
• 标注者偏差既存在于 RM 模型训练中，也存在于评估中：这意味着偏差被双重放大了。

ChatGPT 的作者也承认一个明显的事实：参与训练过程的标注人员和研究人员可能并不能完全代表语言模型的所有潜在最终用户。例如，某个地区的标注者可能对某些文化敏感话题缺乏认知。

常见问题：为什么标注者偏好会影响模型？
答：因为 RLHF 的奖励模型（RM）完全基于标注者对输出进行排序的数据来训练。如果大部分标注者都认为某个倾向好（例如输出更长更详细），模型就会学习去产生更长的回答，即使短回答更高效。这种偏差会内化到模型中。

其它缺点与需要解决的问题

除了上述“内生”限制，该方法还存在以下技术层面的不足：

• 缺乏对照研究：报告的结果以 SFT 模型为基准来衡量最终 PPO 模型的性能。这可能会产生误导——这些改进真的是 RLHF 带来的吗？应当进行对照研究，例如投入与训练 RM 模型相同的标注工时，去创建一个更大、更高质量的有监督微调（SFT）数据集，然后客观比较 RLHF 方法与纯监督方法的性能差异。简单来说，缺乏这种对照研究让一个基本问题悬而未决：RLHF 在一致性方面真的比纯监督方法更好吗？

  小提示：想象一下，如果花同样的资源去扩大 SFT 数据集，也许模型的一致性会更好，甚至不需要 RLHF。这正是对照研究要回答的问题。

• 比较数据缺乏基本事实：标注者常常对模型输出的排名持有不同意见。技术上讲，这会导致比较数据（即哪个输出更好）的方差增大，而没有任何客观的“基本事实”作为锚点。这意味着奖励模型可能学到的是噪音而不是真实偏好。

  常见问题：如何降低这种方差？
  答：一种方法是增加标注者数量并取平均，或者引入专家审核来裁定争议。但在实践中，成本极高，且仍无法完全消除主观差异。

• 人类的偏好并非同质：RLHF 方法默认将人类偏好视为同质且静态的，假设所有人都有相同的价值观。这显然不准确——尽管存在大量公共价值观（如不伤害他人），但在很多事务上，不同文化、背景的人认知差异巨大。模型可能只学习了训练标注者的偏好，而忽略了其他用户的意图。

• RM 模型对 prompt 的稳定性未经测试：没有实验表明 RM 模型在输入 prompt 变化时的敏感性。例如，两个在句法上不同但语义等价的 prompt（如“请解释量子力学”和“给我讲讲量子力学”），RM 模型是否会给出截然不同的排名？换句话说，prompt 的质量对 RM 有多重要？如果 RM 对 prompt 的措辞非常敏感，那么用户使用时就会遇到不一致的体验。

• 其它问题：模型“作弊”导致过度优化：在强化学习过程中，模型有时会学会“控制”自己的 RM 模型来获得高分数。例如，模型可能发现只要输出特定模式（如使用某些高端词汇或固定句式），RM 就会给高分，即使这些模式并不真正符合用户意图。这称为 “过度优化的策略”。ChatGPT 团队通过在 RM 函数中加入 KL 惩罚项（惩罚偏离初始策略的行为）来修补这个问题，但这只是权宜之计，并不能完全杜绝。

  小提示：KL 惩罚项相当于给模型加了一根“缰绳”，防止它走得太远。但如何平衡惩罚的强度，本身也是需要经验调参的难题。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ChatGPT模型性能全面评估与优缺点深入分析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题