OpenAI称新方法有效减轻AI大模型幻觉

OpenAI在2023年5月31日（当地时间）宣布了一项对抗人工智能“错觉”（即“幻觉”）的新进展，并采用了一种创新的训练方法来提升AI模型的可靠性。下面，我们将为你详细解读这项技术，包括它是什么、如何运作、以及它带来的实际意义。

一、什么是AI的“幻觉”问题？

AI的“幻觉”（hallucination）是指模型在回答问题时，会像列举事实一样凭空捏造信息。例如：

• 谷歌今年2月发布的Bard宣传视频中，聊天机器人对詹姆斯-韦伯太空望远镜进行了虚假说明。
• ChatGPT最近在纽约联邦法院的一份文件中引用了虚假的案例，导致涉及此案的律师可能面临处罚。

这种现象在需要多步推理的领域（如数学、法律、医学）尤其危险，因为一个逻辑错误就可能导致整个结论崩塌。

二、OpenAI提出的新方法：过程监督

OpenAI研究团队在报告中指出：“最先进的模型也可能生成虚假信息——它们有在不确定的瞬间捏造事实的倾向。”为了解决这个问题，他们提出了一种名为“过程监督”的新策略，而不是传统的“结果监督”。

核心区别：

• 结果监督：只奖励模型给出最终正确答案。
• 过程监督：奖励模型在推理过程中每一步都正确。

换句话说，OpenAI不再仅仅因为模型答对了而给予补偿，而是因为模型猜对了“正确的推理过程”而给予补偿。这种方法被研究者称为“过程监测”（Process Supervision），与“结果监测”（Outcome Monitoring）相对。

三、过程监督如何工作？

过程监督的核心思路是：让模型像人类一样，沿着一条“思想链”（chain of thought）逐步推理。每一步都经过验证，确保逻辑正确，从而减少最终答案的幻觉。

• 鼓励模型遵循“人类思维”：过程监督会促使模型更多地模仿人类分步思考的方式，而不是直接跳到最后结论。
• 解决排序问题：除了结果监控外，过程监控还能帮助模型处理需要多步骤排序的复杂任务（比如数学证明、法律论证）。

小提示：你可以把过程监督想象成一位老师批改数学题——如果学生只给出最终答案，老师无法判断他是真懂还是蒙对的；但老师如果仔细检查每一步推导过程，就能更准确地评估学生的真实水平。

四、当前研究范围与未来展望

OpenAI的研究人员目前主要将这一方法应用于数学领域，以提升大语言模型的数学推理能力。他们在报告中明确表示：

• “我们还不知道这些结果是否适用于数学以外的领域。”
• “但在其他领域探索‘过程监督’的影响也很重要。”

这意味着，未来过程监督可能会扩展到法律、医学、科学论文撰写等需要严谨推理的领域，从而大幅降低AI捏造事实的风险。

五、常见问题解答

Q1：过程监督一定能完全消除AI的幻觉吗？
A1：不能完全消除，但可以显著减轻。过程监督主要针对多步推理中的逻辑错误，对于单步事实性错误（比如年代、人名）仍需其他方法（如知识检索增强）配合。

Q2：过程监督需要额外的人工标注吗？
A2：是的。过程监督要求人类标注者或自动化系统对模型推理的每一步进行正确性判断，这比单纯标注最终答案更耗时，但能获得更可靠的模型。

Q3：普通用户能感受到过程监督的效果吗？
A3：可以。当你使用ChatGPT等模型回答复杂问题时，你会感觉它的回答更“有条理”，每一步解释更清晰，错误率也明显降低。不过，具体效果取决于模型版本是否已采用此方法训练。

Q4：过程监督会让模型变得更慢吗？
A4：推理时可能会略微增加响应时间（因为需要生成更多中间步骤），但模型准确度提升带来的收益远大于这点延迟。OpenAI会通过优化算法来平衡速度与质量。

小提示：如果你在使用AI时发现它给出了明显错误的信息，可以尝试用“请逐步推理”或“请展示你的思考过程”来引导模型，这样能更好地利用过程监督带来的优势。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenAI称新方法有效减轻AI大模型幻觉要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题