OpenAI新模型真达到博士水平？多名博士亲测揭晓

今天凌晨，OpenAI 突然发布了备受期待的新模型。此前，外界根据 CEO 奥特曼的推文猜测该模型名为“草莓”，但最终亮相的是 OpenAI o1 模型。

奥特曼给予高度评价，称这是迄今为止最强、最一致的模型。

根据官方数据图，o1 模型在国际数学奥林匹克竞赛、编程竞赛以及博士级科学问题上的表现提升极为显著。图中左侧为 GPT-4o，中间为已开放预览的 o1，右侧最高的红色柱子代表满血版 o1。几乎每项指标，o1 相较于前辈均有近 8 倍的提升。

更令人震惊的是，OpenAI 表示，他们专门邀请了博士专家参与答题，在博士级测试中，o1 得分 78 分，而人类专家仅得 69.7 分——AI 首次超越了人类专家。

01

那么，人类就此一败涂地了吗？

为了全面评估 o1 预览版的真实能力，编辑部特邀三位不同领域的博士——分别来自生物学、物理学和材料化学——向 o1 提问并给出评分。

首先公布结果：南京大学物理学博士崔博士对 o1 评价最高，认为其已达到 60-80 分水平（满分 100 分），部分问题甚至能获得 90 分。

崔博士的研究方向是量子光学。他提出的第一个问题是：针对远距离纠缠光子分发，有哪些方法可以克服白噪声？o1 经过 9 秒思考后，给出了 10 条可行措施。

崔博士评价道：“答案列举全面，符合当前最新研究进展，对知识储备不足者具有调研方向价值。但对高级别专业人员而言，仍属科普级别，未提供真正有价值的信息。”

评分 80 分。值得注意的是，o1 回答中提及的“自适应光学”方向，源自今年最新的《Science》成果，这体现了 o1 回答的前沿性。

崔博士接着追问：这一方法能否扩展到量子自适应光学领域？o1 经过 19 秒思考后给出回答。

这一次，崔博士给出了 90 分：“这个回答对我也有启发。虽然不够具体，但对我们而言，只需要指明一个可能的方向，剩下的我们可以自行调研思考。”他还提到，o1 的回答触及了他的知识薄弱区，有些概念他仅简单理解，但 o1 所说的内容他认为是有道理的。

相比之下，对于老版本模型相同问题的回答，崔博士给出的评价仅为不及格或 60 分。

不过，在涉及实验细节的问题上——例如基于非线性相互作用产生的高纯度解关联单光子的自关联函数，在连续泵浦和脉冲泵浦条件下如何测量？——崔博士认为 o1 的回答中规中矩，仅给出 75 分。

总体而言，在物理领域，o1 相较于老版本提升了约 20 分。

再来看看北京大学材料化学博士 K 博士的评价。K 博士围绕 Fe-N4 材料提出了一系列问题，o1 给出了详细的回答。

整体测试后，K 博士的评价也类似：可能达到研究生水平，但深入认知和提供方案的能力较弱，主要针对已知内容作答。例如，当询问如何调节 Fe-N4 时，o1 能说出基于电子态调节，但具体调节方法就卡壳了。相比 GPT-4o，o1 较少胡编乱造，但在具体问题上两者都无法给出太多建议——老版本是丧失细节后瞎编，新版本则是能力有限导致词穷。

最后是清华大学生物学博士信博士的测试。他提出的问题是：如何从质谱数据集中区分赖氨酸残基的乳酰化与羧乙基修饰？o1 给出了一段非常长的回答，类似综述，后面还附上了参考文献。

但出乎意料的是，信博士发现参考文献是伪造的——那篇论文根本不存在。不过，总体而言，信博士仍认为 o1 比之前的 AI 强了很多，理解能力明显提升，即便编造也编得有模有样。

这一结果并不意外。根据官方数据，o1 在物理学科上的得分高达 92.8，远超其他两门学科，这或许正是崔博士对它青睐有加的原因。

02

综合来看，若说 o1 已经超越专业博士水平，三位博士都认为还为时过早。

崔博士直言：在现实科研工作中，多数时候学者仍需亲自动手，AI 只能提供大致方向，花钱购买这种细致程度的 AI 意义不大。他更推荐本科生使用这款 AI；对于硕博阶段，o1 的回答并不符合导师要求，组会上必定会挨批评。

信博士也持相同观点。抛开幻觉编造文献的问题，仅就专业程度而言，o1 的回答只能糊弄大同行——即同一大学科中方向不同的人。在小同行，即专业研究这一方向的人眼中，o1 的毛病非常明显。

K 博士则谈得更深入：AI 在认知上已达到硕士生水平，但只是个缝补匠，谈不上创造性成果。在创造性方面，AI 远不及硕博水平，这也是 AI 需要攻克的重要难题。

从博士们的评价中，我们似乎捕捉到了一个关键点：o1 之所以更强，是因为它具备了更高维度的认知与思考模式。

这正是本次更新的核心。OpenAI 在解释 o1 原理的文章中表示，o1 变强主要得益于采用了长思维链（Chain of Thought, CoT），而非传统的提示链（Prompt chain）。

通俗来讲，就是它改变了以往那种你问我答的简单思考模式。

以前的大模型，如同下意识给出答案——你问天是什么颜色，它不假思索，秒答蓝色。这需要它已知这个知识点，然后直接反应。而长思维链意味着，它不仅知道蓝色，还能自己推导一遍为什么是蓝色——包括大气散射、光谱波长等因素都要考虑在内。

这要求 AI 必须具备扎实的构建逻辑、推理论证的能力。换句话说，它不仅要有脑子，还要会动脑子。

思维链这一概念于 2022 年由谷歌提出，但 OpenAI 此次是首个实现者。现在，与 o1 对话时，除了获得答案，你还可以展开查看它解答问题时的思维逻辑——它的思考过程是具象化的，而非黑盒。

以崔博士提出的问题为例，o1 的思考过程如下：

当我们询问崔博士这个思考过程是否合理时，他表示：“合理，达到了博士级别，而且是高年级博士级别。”

因此，o1 模型在物理学问答上表现更为出色，正是因为它具备了博士级别的思维链，能够像博士一样思考物理问题。同理，它在生物学、化学上表现相对欠佳，很可能是思维链尚未训练至最佳状态。但从物理学的表现来看，随着训练不断成熟，o1 将变得更加强大。我们期待正式版的发布。

03

最后，分享一个小彩蛋。

尽管思维链让 o1 能够像博士一样思考，但在基础问题上似乎训练还不够全面。我们发现，它在简单问题上仍会犯低级错误。

它思考了 12 秒后，自信地告诉我们：8.11 比 8.9 大。

怎么说呢，博士也会犯错，这没毛病。