人类反馈强化学习：让AI学会“听话”的关键技术

一句话解释

人类反馈强化学习是一种训练AI的方法，它通过收集人类对AI不同回答的偏好（比如哪个更好、更安全、更有帮助），来教会AI做出更符合人类期望和价值观的决策与输出。

为什么会被关注

随着ChatGPT等大模型的爆火，其背后关键的“对齐”技术RLHF进入大众视野。它解决了大模型“能力很强但未必听话”的核心痛点，让AI的输出从“技术上正确”转向“对人类有用且安全”，是AI产品化不可或缺的一环。

核心逻辑

整个过程通常分为三步：首先，让初始模型针对各种提示生成多个回答；然后，请人类标注员对这些回答的质量进行排序或评分，并基于此训练出一个能模拟人类偏好的“奖励模型”；最后，利用这个奖励模型作为评判标准，通过强化学习算法反复优化初始模型，使其输出能获得更高的“奖励”（即更符合人类偏好）。

常见场景

最典型的应用是ChatGPT等对话AI的训练，用以确保回答的有用性、无害性和诚实性。此外，也用于代码生成工具，让生成的代码更符合编程规范；在文本总结、创意写作等场景中，用于引导模型产出更流畅、更贴切的文本。

容易混淆的点

RLHF不等于简单的数据标注或监督微调。监督微调是用“标准答案”教AI“做什么”，而RLHF是用“偏好比较”教AI“怎么做更好”，后者更擅长处理开放性问题，并融入复杂、模糊的人类价值观。

另外，RLHF的“人类反馈”通常来自一小群经过培训的标注员，而非最终用户。他们的偏好代表了一种经过设计的、相对一致的“人类标准”，用于引导模型，但这可能与所有用户的真实偏好存在差异。