OpenAI推出GeneBench-Pro：129题10领域测AI科研能力

先说几个核心判断。OpenAI团队近日带来了GeneBench的升级版——GeneBench-Pro，视野一下子开阔了不少，不再死磕基因组学那点事儿，而是直接杀进了分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等一大片需要多阶段统计推理的地盘。这一动作背后，其实是一个更深刻的信号：科学研究的本质，远比跑通一个工程流程要复杂得多。

说到底，科学研究最核心的挑战，从来不在于你跑通了某个分析流程，而在于那些被我们称之为“科学直觉”或“研究品味”的判断——数据到底能支撑什么问题？哪些数据该纳入、哪些该剔除？该选哪种模型？诊断结果是不是已经把初始假设给推翻了？在什么证据强度下，我们才能下结论？这些层层嵌套的问题，才是真正的硬骨头。

GeneBench的诞生，初衷就是冲着这个来的。它想评估的不是某个模型在单点任务上的表现，而是看它在真实科学分析流程中，能不能完成一个完整的“推理闭环”——从数据理解开始，经过质量控制、方法选择、统计建模，再到诊断修正，最后落到决策输出。这种综合能力，在现代生命科学里，那是妥妥的刚需。

正是在这个基础上，OpenAI团队推出了GeneBench-Pro。相比初代，新版本新增了29个问题，删了3个，还对剩余100个重叠问题中的54个做了大刀阔斧的重设计。最终，整个评测套件包含129个问题，覆盖了10个主要领域和21个子领域。

在129个问题中，有82个经过了外部领域专家的严格审查。专家们的反馈直接导致了提示与数据的修改，甚至一些原本目标不可识别的问题也被推倒重来。最终的评测结果相当有意思：GPT-5.6 Sol在最高推理强度下，通过率只有28.7%；而GPT-5.6 Sol Pro单独运行的成绩是31.5%。作为对比，GPT-5.5是12.0%，GPT-5.4是8.9%，最强的非GPT基线模型——Claude Opus 4.8——也不过16.0%。

相关的研究成果，已经以预印本的形式发布在bioRxiv上了。

研究亮点：

* GeneBench-Pro在初代基础上做了全面升级，引入了难度显著强化的原问题版本，以及全新领域的问题集

* 它的地盘不再局限于基因组学，而是扩展到了分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等需要多阶段统计推理的场景

* GeneBench-Pro引入了外部科学审查步骤：每个问题的完整设计、相关文件与分析设定，都要提交给外部领域专家验证真实性和科学合理性

GeneBench-Pro：129个问题，卡在10个领域里的硬核推理

GeneBench-Pro这个评测套件，干的是一件挺“狠”的事情。它把129个问题封装成了一个个独立的科学分析任务。智能体被丢进一个隔离的工作环境里，里面只有最小可行提示、分阶段的数据文件，以及标准的科学Python技术栈。提示只告诉你科学问题是什么、目标估计量是什么——但具体该走哪条分析路径，一个字都不会多给。

当前GeneBench-Pro套件的领域图谱

这些数据文件的设计也很有意思。它们模拟的是真实分析师从实验检测或临床系统里拿到的原始数据，而不是那种已经被洗得干干净净的“玩具数据集”。每一个问题都内含一连串相互依赖的决策节点，任何一步选错了，错误的信号就会像多米诺骨&牌一样往后传，最终导致整个分析链条的崩塌。

智能体在一个真实感挺强的沙盒环境里运行，不仅能访问numpy、pandas、scipy、scikit-learn这些通用科学计算库，还能调用PLINK 2.0、pysnptools、bedtools、pysam等标准的基因组生物信息学工具。

核心设计：给最少的信息，定一个明确的目标

开放式科学分析之所以难做基准，根源在于真实数据往往允许多种看似都合理的分析选择。质量控制阈值、模型参数设定、报告规范这些东西，不同的人做，结果可能千差万别。如果基准的结果因为一个智能体选了某个合理但不同的阈值就变了，那这种差异反映的往往不是科学推理能力的强弱，而是基准设计本身的随意性。

为了避免这种“失败”其实只是自然波动的情况，研究团队在GeneBench-Pro里采用了构造性模拟问题——也就是说，完整的因果结构是已知的，数据生成过程也是显式模拟出来的。

他们通过“决策点数量”来量化问题的级联结构——也就是分析过程中那些关键的分叉点，在这些节点上，一个合理但错误的选择，就会让结果出现质变。

实际操作时，每个问题都从一个真实世界的分析模式和一个目标估计量出发。这些分析模式来自文献和领域专家的经验，反映的是常见且高影响力的科学问题和工作流。而且，他们刻意避开了教科书或已发表论文里的标准案例，以防止模型靠记忆来蒙混过关。

数据生成完成后，会构建一个最小可行提示，只包含让正确答案能被识别出来的最少信息。接着就是大规模验证，针对不同推理阶段里那些“看似合理但错误”的路径，通过消融实验来检查，确保结果和正确答案之间能有足够清晰的区分。

最后一步，是独立科学审查，评估方法的合理性、目标的可识别性以及科学的有效性。

GeneBench-Pro的主要设计约束

举个具体的例子：DRX1携带者筛查的残余风险

下面这个例子来头不小，它模拟的是常染色体隐性遗传病的携带者筛查场景。致病基因叫DRX1，只有当一对生物学父母双方都携带可报告的DRX1等位基因时，后代才存在生殖风险。

来自临床基因组学的GeneBench-Pro示例问题——携带者筛查中的残余风险

智能体拿到的是原始的携带者筛查数据，需要估计在“筛查结果为阴性”之后仍然残留的携带者风险，然后再把这个残余风险和潜在生殖伴侣的人群携带者频率结合起来。

这个问题的难点在于，答案不能简单地由原始携带率直接算出来。要搞定它，必须依次完成多步推断：

· 首先，得识别出可报告的DRX1携带者类别，同时区分拷贝数变异造成的伪影；

· 其次，要处理相位化的创始人标记，判断它是否该被视为单一单倍型；

· 然后，基于不同的协变量，估计检测的灵敏度与假阳性率；

· 接着，根据各类别未检出携带的概率，计算在筛查阴性条件下的残余携带风险；

· 最后，还得把伴侣的携带者频率标准化到完整的伴侣名单上，而不是仅限于那些已经做了检测的子集。

这个例子，把GeneBench-Pro的核心设计目标展现得很清楚：智能体拿到的是最小可行提示和一个明确的目标估计量，但最终能不能做对，取决于它能否从数据中恢复出完整的多阶段定量分析路径——而不是简单地执行一个预设好的流程。

成果：能力提升明显，但“推理闭环”还没真正闭环

研究团队在完整的129个问题上，评估了60种不同的模型配置。包括GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6的各版本，以及Claude、Gemini、Grok、GLM、Kimi、DeepSeek、MiMo、腾讯、MiniMax和Qwen等非GPT基线模型。

各评估模型的性能表现

结论挺扎心的：模型的整体通过率仍然很低。

· 在各自最高的报告推理强度下，GPT主线模型的未加权平均通过率，从GPT-5.2的4.9%一路爬到了GPT-5.6 Sol的28.7%；

· 单独报告的GPT Pro运行结果更好一些，GPT-5.6 Sol Pro达到了31.5%；

· 非GPT模型里，Claude Opus 4.8以16.0%的通过率领跑；

· 在GPT系列内部，提高推理强度带来的提升相当显著：GPT-5.6 Sol从关闭推理时的3.7%，一路飙到最强模式下的28.7%。

但问题的另一面是，未解的硬骨头依然不少。在GPT主线最佳模型中，“0%通过率问题”的比例从GPT-5.2的77.5%下降到了GPT-5.6 Sol的45.7%；而“至少50%通过率问题”的比例，从1.6%上升到了30.2%。

这组数据说明一件事：即使在目前最强的模型身上，GeneBench-Pro的大部分问题依然属于高难度范畴。不过，更强的模型确实正在把越来越多的“完全失败”问题，推向“部分成功”甚至“稳定成功”的阵营。

结语

GeneBench-Pro的核心价值，不在于它又多了一个生物学基准，而在于它试图重新定义“科学智能体能力”该怎么评价。

从实验结果看，当前最先进的模型已经具备了一定程度的“局部科学能力”——比如识别数据异常、理解统计信号、执行标准分析步骤。但问题是，这种能力还没有稳定地扩展为端到端的科学分析能力。模型在“识别问题”和“采取行动”之间，仍然存在明显的断裂。

从应用角度看，这个能力一旦突破，价值是巨大的。在现代生命科学里，从基因数据到靶点筛选、从统计信号到转化决策，整个过程高度依赖专家团队的协作，而且成本高昂。论文里提到，一个GeneBench-Pro问题在无人辅助的情况下，通常需要10到40个小时才能完成。换句话说，哪怕只是部分自动化，都可能给工业研究带来显著的经济回报。

当然，研究团队也明确强调，目前模型还远不能可靠地替代这一流程，因为完整的推理链条还没有稳定建立起来。未来的提升方向，可能包括更强的规划能力、自我修正机制，以及更扎实的不确定性建模能力。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenAI推出GeneBench-Pro：129题10领域测AI科研能力要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题