RLVR：可验证奖励强化学习
RLVR（Reinforcement Learning with Verifiable Rewards）是一种强化学习范式，利用自动化的可验证结果（如代码执行、数学答案）作为奖励信号，训练模型在明确标准下提升表现，减少对昂贵人工反馈的依赖。
一句话解释
RLVR是“Reinforcement Learning with Verifiable Rewards”的缩写，意为基于可验证奖励的强化学习。它让AI模型通过自动检查结果是否正确（比如数学题答案、代码运行结果）来获得奖励信号，从而自我优化，而不需要大量人工标注反馈。
为什么会被关注
传统强化学习依赖人类反馈（RLHF）成本高、效率低，且主观性强。RLVR利用客观可验证的标准自动生成奖励，大幅降低训练成本，同时提升模型在数学、编程等硬性任务上的准确性。OpenAI的o1系列、DeepSeek-R1等模型都使用了类似技术。
核心逻辑
RLVR的核心是构建一个自动验证器（Verifier），它能根据输入和输出判定结果是否正确。例如，在数学题中验证答案与标准答案是否一致；在代码生成中检查运行是否通过测试用例。模型通过策略梯度等强化学习算法，不断尝试生成结果，验证器给出奖励，引导模型向高奖励方向优化。
常见场景
数学推理题：模型解答后自动比对标准答案，正确得正奖励。代码生成：模型写代码后运行测试，通过率作为奖励。逻辑判断题：检查推理链条的每一步是否符合规则。RLVR特别适用于有明确客观评判标准的任务，能有效提升模型的精准度。
容易混淆的点
RLVR不同于RLHF：RLHF依赖人类主观判断（如回答是否“有用”），而RLVR依赖自动客观验证（如答案是否正确）。RLVR也不同于监督学习：监督学习直接学习正确答案，而RLVR通过试错和奖励信号探索更优策略。另外，RLVR的验证器需要事先设计好，对任务有强依赖。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词RLHF是一种通过人类反馈来训练和微调AI模型的技术。它让模型不仅能理解指令，还能学习人类的偏好和价值观，从而生成更安全、更有用、更符合预期的回答。这是ChatGPT等对话模型变得“善解人意”的核心原因之一。