姚顺雨：欢迎来到AI下半场，OpenAI的全新篇章已开启

数十年来，AI圈子一直在干一件事：不断开发新的训练方法和模型。事实证明这条路走得通——从国际象棋和围棋击败世界冠军，到SAT和律师资格考试超越大多数人类，再到IMO和IOI摘金，里程碑一个接一个。深蓝、阿尔法狗、GPT-4，以及那些以“o”开头的模型背后，是搜索、深度强化学习、扩展和推理这些根本性创新。时间推移，一切都在变好。

那么，现在到底有什么不一样了？

三个词：RL终于奏效了——更准确地说，强化学习终于实现了泛化。经过几次重大转折和一系列里程碑式成果，我们找到了一个可行的方案，利用语言和推理来解决广泛的强化学习任务。哪怕就在一年前，你跟大多数AI研究人员说，单个方案能搞定软件工程、创意写作、IMO级数学、鼠标键盘操作和长篇问答，他们准会嘲笑你异想天开。这些任务每个都难如登天，多少博士生整个生涯都只啃其中一个窄领域。

然而，这一切真的发生了。

那么接下来呢？AI的下半场——从现在开始——焦点要从“解决问题”转向“定义问题”。在这个新时代，评估的重要性甚至超过训练。我们不再只问“能不能训练模型搞定X”，而是问“该训练AI做什么，以及怎么衡量真正的进步”。要在下半场活下去，思维方式和技能组合都得来一次急转弯，可能更像产品经理的思考方式。

摘要：我们正处于人工智能的中场。

上半场

想理解上半场，不妨先看看赢家是谁。你心中最有影响力的AI论文是哪几篇？

有人翻出斯坦福224N课程的测验，答案毫不意外：Transformer、AlexNet、GPT-3这些。它们有什么共同点？都提出了训练更好模型的基本突破。当然，它们也都是靠某个基准测试上的显著改进来发表的。

但一个潜在共性是：这些“赢家”都是训练方法或模型，而不是基准测试或任务。就算最具影响力的基准测试ImageNet，引用次数也不到AlexNet的三分之一。其他领域差距更大——Transformer的主要基准WMT’14研讨会报告引用约1300次，而Transformer本身超过16万次。

这揭示了上半场的规则：重心放在构建新模型和新方法，评估和基准测试只是附带（虽然为了论文体系运转，它们必不可少）。

为什么会这样？一个关键原因是：在上半场，方法比任务更难、也更有意思。从头创造一个新算法或架构——比如反向传播、卷积网络、Transformer——需要非凡的洞察力和工程能力。相比之下，为AI定义任务往往简单得多：把人类已经做的事（翻译、图像识别、下棋）变成基准测试就行，不需要太多洞察甚至工程。

方法还更通用、适用范围更广。Transformer最终推动了CV、NLP、RL多个领域的进步，远超它最初证明自己的WMT’14数据集。一种伟大的新方法能在不同基准上不断改进，影响远超单一任务。

这种玩法持续了几十年，催生了无数改变世界的突破。但为什么游戏会变？因为积累的突破在解决任务方面创造了一个有效的方案。

方案

方案是什么？成分毫不意外：大规模语言预训练、规模（数据和计算）、推理和行动的理念。听起来像旧金山每天都能听到的流行语，但为什么要叫它方案？

不妨从强化学习（RL）的角度来理解。RL通常被视为AI的“终局”——理论上它保证能在游戏中获胜，很难想象没有RL的超人类系统（比如阿尔法狗）。

RL有三个关键组件：算法、环境和先验知识。长期以来，研究人员主要关注算法（REINFORCE、DQN、TD-learning、actor-critic、PPO、TRPO……），环境和先验知识被视为固定或最小化的。Sutton和Barto的经典教科书几乎只谈算法，几乎不涉及环境或先验。

但进入深度强化学习时代后，环境的重要性越来越明显：算法性能高度依赖其开发和测试的环境。如果忽略环境，你可能会造出一个只在玩具环境里表现优秀的“最优”算法。那为什么不先确定真正想解决的环境，再找最适合它的算法呢？

这正是OpenAI最初的计划。他们构建了gym——一系列标准游戏环境，然后是World of Bits和Universe项目，试图把互联网或整个计算机变成一个游戏。一旦将所有数字世界变成环境，用聪明的RL算法解决它，数字通用人工智能（AGI）不就到手了吗？

想法不错，但没完全奏效。OpenAI在这条路上取得了巨大进展，用RL解决了Dota、机械手等问题，但从未接近搞定计算机使用或网络导航，而且一个领域的RL智能体也无法转移到另一个领域。缺了点什么。

直到GPT-2或GPT-3出现，才发现缺失的部分是先验知识。你需要强大的语言预训练，把一般常识和语言知识炼进模型，然后微调成网络智能体（WebGPT）或聊天智能体（ChatGPT）——然后改变世界。事实证明，RL里最重要的部分可能压根不是算法或环境，而是先验知识，而这些知识可以用与RL完全无关的方式获得。

语言预训练为聊天创造了良好的先验，但并不同样适用于控制计算机或玩游戏。这些领域与互联网文本分布相差很远，简单做监督微调（SFT）/RL泛化效果很差。2019年就有人注意到这个问题——当时GPT-2刚出来，有人在其基础上做SFT/RL来解文本游戏，搞出了世界上第一个通过预训练语言模型构建的智能体。但这个智能体需要数百万次RL步骤才能在一款游戏里改进，而且完全无法迁移到新游戏。

这其实是RL的特性，对于RL研究人员来说并不奇怪。但奇怪的是，人类可以轻松玩一款新游戏，零样本表现更好。一次顿悟来了：我们之所以能泛化，是因为可以选择的不只是“走到柜子2”、“用钥匙1打开箱子3”或“用剑杀死地牢怪物”，还可以思考“地牢很危险，我需要武器。没有可见的武器，也许要在锁着的箱子里找。箱子3在柜子2里，先去那里打开它”之类的事情。

思考——或者说推理——是一种奇怪的行动。它不直接影响外部世界，但推理的空间是无限组合的：你可以想一个词、一句话、一整篇文章，或者10000个随机英文单词，周围世界不会立即变化。在经典RL理论中，这是个糟糕的交易，让决策无法进行。想象一下：两个盒子，一个装着100万美元，另一个空。你期望拿到50万。现在增加无数个空盒子——期望立刻归零。

但是，如果在任何RL环境的动作空间里加入推理，就能利用语言预训练的先验知识实现泛化，并在不同决策中灵活使用测试时计算。这非常神奇，一句两句说不清，可能需要另写一篇文章细讲。可以读ReAct了解智能体推理的原始故事。直观解释是：即使你加了无数个空盒子，但你在生活中见过各种游戏里的这些盒子，选择它们为你在任何给定游戏里选对有钱的盒子做好了准备。抽象解释是：语言通过智能体中的推理实现泛化。

一旦有了正确的先验知识（语言预训练）和正确的环境（把语言推理作为动作），RL算法可能就成了最不重要的部分。于是有了o系列、R1、深度研究、计算机使用智能体，还有更多即将出现的东西。讽刺的转折：RL研究人员一直疯狂关注算法，几乎没人关注环境，更别说先验知识——所有RL实验本质上都是从零开始。走了几十年弯路才意识到，也许优先级完全反了。

但正如史蒂夫·乔布斯所说：你不能向前连接这些点，只能向后连接。

下半场

这个方案完全改变了游戏。回顾上半场的游戏：

• 开发新的训练方法或模型，在基准测试上不断改进。
• 创建更难的基准测试，继续循环。

这个游戏正在被打破，因为：

• 方案本质上是标准化和工业化了基准测试的改进，不需要太多新想法。随着方案扩展和泛化良好，你针对特定任务的新方法可能只提高5%，而下一个o系列模型可能在不专门针对它的情况下提高30%。
• 就算创建更难的基准测试，很快（而且越来越快）也会被方案解决。同事Jason Wei制作了一张图表，清楚展示了这一趋势。

那么下半场还剩下什么？如果不再需要新方法，更难基准测试也被加速解决，该做什么？

答案是：从根本上重新思考评估。不只是创建更难的新基准，而是质疑现有评估设置并创造新设置，迫使人们发明超越现有方案的新方法。这很难，因为人类有惯性，很少质疑基本假设——你只是当它是理所当然，没意识到那是假设而不是定律。

举个惯性的例子。假设你发明了历史上最成功的评估之一——基于人类考试。2021年这是个很激进的想法，但3年后它已经饱和了。你会怎么做？大概率是创建更难的考试。或者假设你解决了简单的编程任务，你会找更难的编程任务，直到达到IOI金牌水平。

惯性很自然，但问题是：AI已经在国际象棋和围棋击败世界冠军，在SAT和律师考试超越大多数人类，在IOI和IMO达到金牌水平。但世界并没有发生太大变化，至少从GDP角度看。

这可以称为“效用问题”，也是当前AI面临的最核心挑战。

也许很快就能解决效用问题，也许不会。不管怎样，根源可能出人意料地简单：我们的评估设置在许多基本方面与现实世界设置不同。举两个例子：

评估“应该”自动运行

通常智能体接收任务输入，自主执行操作，然后接收任务奖励。但在现实中，智能体在整个任务过程中需要与人类互动——你不会给客服发一条超长信息，等10分钟，然后期望一个详细回复搞定所有问题。通过质疑这种设置，新的基准测试被发明出来，要么纳入真实人类（如Chatbot Arena），要么纳入用户模拟（如tau-bench）。

评估“应该”独立同分布（i.i.d.）

如果一个测试集有500个任务，你独立运行每个任务，平均指标，得出总体分数。但在现实中，人们是顺序解决任务，而不是并行。Google软件工程师在越来越熟悉代码库的过程中会越来越擅长解决内部问题，但软件工程师智能体在同一个代码库中解决多个问题时却无法获得这种熟悉感。显然需要长期记忆方法，但学术界没有合适的基准来证明这种需求，甚至没有勇气质疑机器学习的基础假设——独立同分布。

这些假设“一直”就是这样。在上半场，在这些假设下开发基准测试没问题，因为当智能水平较低时，提高智能通常会提高效用。但现在，通用方案在这些假设下保证有效。因此，下半场的新游戏方式是：

• 开发针对现实世界效用的新评估设置或任务。
• 用方案解决它们，或者用新组件增强方案。继续这个循环。

这个游戏很难，因为不熟悉。但它令人兴奋。上半场的参与者忙着解决视频游戏和考试，下半场的参与者却可以通过构建有用的产品来建立价值数十亿甚至数千亿的公司。上半场充满了渐进式的方法和模型，下半场则在一定程度上过滤了它们。通用方案会轻易击败你的渐进式方法，除非你创造出打破方案的新假设。然后你就能做出真正具有变革性的研究。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：姚顺雨：欢迎来到AI下半场，OpenAI的全新篇章已开启要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题