耶鲁芝加哥大学揭示AI研究提案千篇一律的隐藏盲区
耶鲁大学与芝加哥大学联合研究对比近万份人类论文与九款AI模型的研究提案,发现AI生成的科研创意存在系统性“品味”偏移,高度倾向于“桥接不同领域”与“综合统一方法”,而人类研究者分布更均匀。开启思考模式或提供更多背景信息均未改善这一根植于模型生成倾向的单调性。
科研圈正在经历一场静悄悄的变化。越来越多的研究者开始把AI大语言模型当作“思想伙伴”,让它帮忙出主意、想课题。乍一看,效果还不错——有些实验甚至表明,AI提出的研究方向在“新颖性”和“可行性”上,已经能和人类专家有得一拼了。这听起来确实让人兴奋,仿佛一个AI“科学智囊团”正在成型。
但有一个非常根本的问题,始终没被认真回答:AI生成的研究想法,和人类研究者真正会去做的研究,到底差在哪里?不是某一个想法好不好的问题,而是从整体上看,AI习惯产出哪一类想法,而人类研究者又习惯关注哪一类问题?这两张“口味菜单”有多大差距?
这项研究就是冲着这个问题来的。研究团队搭建了一个大规模的评估框架,对比了近万份真实人类研究论文的核心创意,与九款主流AI模型生成的研究提案。他们想做的,不是简单评判“谁的想法更好”,而是从“口味”的角度,去丈量AI与人类之间那道看不见的鸿沟。这项由耶鲁大学与芝加哥大学联合开展的研究发表于2026年7月,论文以预印本形式发布于arXiv,编号为arXiv:2607.01233v1,有兴趣深入了解的读者可通过该编号查询完整论文。

一、为什么“口味”比“质量”更值得关注
大多数人评价一道菜,会说“好吃”或“不好吃”。但如果一家餐厅永远只会做一道菜,哪怕这道菜口味不错,你也会觉得这家餐厅的菜单太单调了。
这正是研究团队看待AI科研创意的视角。以往对AI提案的评估,大多是逐条判断:这个想法新不新?可不可行?专家喜不喜欢?这就像每次单独品尝一道菜,却从未把一家餐厅的所有菜品放在一起看,也就不会发现这家店其实只会做一种风味。
研究团队引入了“科研品味”这个概念,专门用来描述一个信息来源——无论是人类研究者还是AI系统——在面对相似的学术背景时,反复选择哪一类问题切入点、倾向于采用哪一类研究策略。用他们的话说,科研品味关注的不仅是某一个想法是否合理,更是当同一个来源被反复问到“从这堆论文里你能想到什么新研究”时,它总是倾向于往哪个方向走。
这个视角非常关键,因为它揭示了一个可能被忽视的问题:即使AI每次生成的单个想法看起来都还不错,但如果它一千次中有九百次都在走同一条路,那它对科研的实际帮助就会大打折扣——真正的科学发现需要的是多样的问题意识和多元的研究路径。
二、研究是怎么做的:给AI和人类出同一套“命题作文”
为了让比较有意义,研究团队设计了一个非常精巧的实验框架,核心思路是:给AI和人类研究者出完全相同的“命题作文”,然后比较他们的答卷。
具体操作是这样的。研究团队收集了大量真实发表的学术论文,来源包括机器学习领域顶级会议(ICLR、ICML、NeurIPS,时间跨度2023至2026年)以及《自然·通讯》期刊(2023至2025年,涵盖物理、化学、生物等71个自然科学领域)。对每一篇论文,他们先用AI辅助工具提取出这篇论文的“核心创意”——具体来说,就是这篇论文的主要创新在哪里、它解决了什么问题、关键洞见是什么,再把这个创意改写成一份“研究提案”的格式,包含一段“动机”(为什么要做这个研究)和一段“方法”(打算怎么做)。这就是“人类的答卷”。
接下来,研究团队为每篇论文重建了一套“参考书目”——也就是说,根据这篇论文的相关工作部分,逆向推导出四到八篇在它发表之前就存在的、最可能启发了这篇论文诞生的相关研究,并获取这些前置论文的标题和摘要。
然后,他们把这套参考书目的标题和摘要喂给九款主流AI大语言模型,要求AI基于同样的“参考资料”,生成一个新的研究提案,同样包含动机和方法两个部分。这就是“AI的答卷”。
这个设计的精妙之处在于:人类的答卷是真实发生的研究,AI的答卷是在面对相同素材时的即兴发挥。两者共享同一套“灵感来源”,任何系统性的差异就不能再被归结为“题目不一样”,而只能是思维方式和偏好本身的不同。最终,这套框架积累了11,683份有效的人类创意,每份都有对应的九款AI版本,形成了一个庞大的对比语料库。
三、给每个想法贴上“品味标签”:两把尺子丈量科研创意
光有对比材料还不够,还需要一把能够系统衡量“研究品味”的尺子。研究团队设计了一套“两轴研究品味分类体系”,像给食物同时贴上“口味类型”和“烹饪方式”两种标签一样,从两个维度来刻画每一个研究想法。
第一个维度叫“机会模式”,回答的是“为什么要做这个研究”,也就是研究者是从哪种角度发现了值得研究的问题。这个维度共有七种类型。第一种是“谜题与矛盾”,即现有研究里有令人困惑的矛盾或出乎意料的失败,比如一个理论在某种情况下明明该成立,却偏偏失效了。第二种是“解释空白”,即我们知道某件事会发生,但不知道为什么,缺少因果或机制上的解释。第三种是“范围失配”,即现有研究依赖过于理想化或过于狭窄的假设,在现实场景下可能根本用不上。第四种是“证据缺口”,即该领域缺少足够的测量、基准测试或系统性对比。第五种是“桥接机会”,即不同研究领域、不同方法之间存在脱节,可以通过把它们连接起来产生新价值。第六种是“失败与风险缺口”,即现有方法存在脆弱性、偏见或安全隐患。第七种是“资源瓶颈”,即当前进展被计算成本、数据稀缺、部署难度等现实约束所限制。
第二个维度叫“方法范式”,回答的是“打算怎么做这个研究”,也就是研究贡献是通过哪种策略来构建的。这个维度同样有七种类型,分别是:综合统一(整合不同领域或方法)、放宽扩展(在更宽泛的假设或更现实的条件下让已有方法发挥作用)、鲁棒化(减少方法的脆弱性和不可靠性)、形式推导(引入定理、证明、概念框架等理论贡献)、实证描绘(系统性测量、建立基准或描绘现象规律)、工具构建(做出一个具体的系统、平台或工具)以及优化搜索(通过效率优化或资源分配来改进方案)。
这套分类体系的设计来源相当严谨。研究团队回顾了美国国家科学基金会(NSF)、美国国立卫生研究院(NIH)、医疗研究与质量局(AHRQ)以及国防高级研究计划局(DARPA)等机构发布的研究提案写作指导材料,从中提炼出评价研究价值的两个核心维度,再通过150篇论文的试标注不断打磨,最终确保这套体系能同时适用于机器学习和自然科学领域,且不依赖于任何特定的技术或学科背景。
为了验证这套体系的可靠性,两位作者独立对150篇论文进行了标注,再与AI自动标注的结果进行比对。统计上用来衡量两个评判者一致程度的指标(科恩κ系数)分别达到了0.84、0.81和0.93——这意味着AI标注器和人类评判者的判断高度吻合,可以放心用于大规模自动化标注。
四、核心发现:AI的“菜单”有多窄
经过对近12,000份人类研究创意和对应九款AI版本的系统比对,结果相当清晰地呈现出来了。
先说结论:AI大语言模型生成的研究提案,在“研究品味”上明显比人类研究者窄得多,而且存在系统性的方向偏移。
具体来说,在“机会模式”这个维度上,人类研究者的选择非常分散,七种类型都有相当数量的覆盖,整体的分布“均匀度”(用信息熵来衡量)高达0.926分(满分为1)。反观九款AI模型,这个数字从最好的0.758跌到最差的0.550,也就是说AI的选择集中在某几类机会模式上,其他类型极少涉及。
最显著的偏移出现在“桥接机会”这一类型上。在人类研究者里,只有12.1%的研究提案把“连接不同领域或方法”作为核心动机。而在九款AI模型里,这一比例从最低47.1%飙升到最高64.2%——也就是说,当AI面对一堆论文时,有将近一半到三分之二的概率,它都会倾向于说“这几篇论文之间有联系,我们应该把它们结合起来”。
同样的偏移也出现在“方法范式”这个维度上。在人类研究者里,只有5.1%的提案把“综合统一”(即整合、融合多个已有方法)作为核心贡献策略。而在九款AI模型里,这一比例从22.5%到38.7%不等——是人类比例的四到七倍。
换一个更直白的说法:人类研究者在看到一堆相关论文后,会从各种不同的角度发现问题——可能会发现某个理论解释缺失,可能会指出某个方法在特定条件下会失败,可能会注意到现有研究忽略了某个重要的测量维度,也可能会想到把某个方法迁移到更复杂的现实场景中。AI则有极大的概率直接说:“这些论文代表了不同的研究方向,我们可以把它们融合在一起,形成一个新的统一框架。”
这种偏移在所有被测试的AI系列上都一致存在,包括Claude、Gemini、GPT、DeepSeek和Qwen。不管是规模更小的模型还是旗舰级别的大模型,这个趋势都没有根本性的改变。
五、“更多思考”反而让问题更严重
AI领域有一个流行的观念:让模型多思考一会儿,给它开启“思维链”或“推理模式”,它就能产出更好的答案。这个方法在数学解题、逻辑推理等任务上确实有效。那么,在科研创意生成上呢?
研究团队专门测试了两款支持“思考模式”的模型(Qwen3-8B和DeepSeek-V4-Flash),对比了普通模式和开启推理后的输出分布。结果非常出乎意料,甚至有些令人沮丧。
对于Qwen3-8B,开启思考模式之后,“桥接机会”的比例从49.7%直接跳到了71.1%,“综合统一”方法的比例从38.7%增加到52.2%。与人类分布之间的距离反而扩大了,选择多样性(信息熵)也从0.658降到了0.481——更加集中,更加单一。
对于DeepSeek-V4-Flash,同样的现象也出现了,“桥接机会”从52.2%升至59.1%,“综合统一”从22.5%升至30.7%,两个维度上与人类分布的差距都在扩大。
研究团队对此给出的解读是:让模型深度思考,似乎并没有让它探索更广泛的可能性,反而像是把它自己最偏爱的那个“研究配方”——看到多篇论文就想把它们整合起来——打磨得更加精致和坚定了。思考得越多,就越确信要走这条路。
六、更丰富的资料会解决问题吗?答案也是否定的
也许有人会想:AI之所以总想“整合”,是不是因为它接收到的信息太有限了?毕竟,研究团队给AI的只是论文的标题和摘要,而不是全文。如果让AI读完整的论文,会不会产出更多样化的想法?
研究团队也测试了这个假设。他们从两个数据来源各抽取500篇论文,先让AI阅读相关论文的完整内容并生成详细摘要,再把这些由AI自己生成的详细摘要作为输入来产生研究提案。
结果同样令人意外:更丰富的背景信息不仅没有缩小AI与人类之间的差距,反而让差距略微扩大了。对于Qwen3-8B,全文信息条件下与人类分布的总变分距离(一种衡量两个分布相差多远的指标)在机会模式轴上从0.376上升到0.430,在方法范式轴上从0.338上升到0.400。对于DeepSeek-V4-Flash,两个轴上也都出现了类似方向的变化。
这说明,AI在科研创意上的“口味单调”问题,并非简单地因为输入信息不足造成的,而是根植于模型本身的生成倾向。
七、AI到底在想什么:揭开“整合配方”的面纱
研究团队没有满足于记录这个现象,还进一步追问:AI为什么会这样?是因为它真的认为“整合”是最有价值的研究策略,还是说它只是在机械地套用一个模板?
为了回答这个问题,他们做了一系列深入的机制分析,结果描绘出了一幅相当清晰的图景。
首先,研究团队把每一份提案都压缩成一句话的“原型描述”——也就是去掉所有领域细节后,最核心的研究动作是什么。然后按照这些原型中的动词(核心操作)进行归类分析。结果发现,AI提案中间出现最多的核心动词是“整合”,在两款被测AI模型的输出中间出现了7,994次,占比34.2%;而在人类研究中,这个动词只出现了275次,占比2.35%。两者相差了将近15倍。其他被AI高频使用的操作包括“统一”(8.2% vs 1.9%)、“设计”、“合并”和“适配”。
人类研究者的高频操作则完全不同,更多的是“替换”(用新方法替换某个有问题的组件,9.13% vs 0.92%)、“解耦”(把两个被混为一谈的因素分离开来,2.33% vs 0.21%)以及“形式化”(为某个现象建立严格的数学表达)。这些操作对应的是更精准、更局部的干预——研究者找到了某一个具体的问题点,然后针对那个点做手术式的修正。
其次,研究团队还做了一个有趣的“相似度”分析:把来自同一篇论文的人类提案和两个AI提案都转化为数学向量,看它们在“想法空间”里的位置。结果发现,Qwen3-8B和DeepSeek-V4-Flash这两款不同系列的AI针对同一篇论文产生的想法,彼此的相似度(0.8316)远高于任何一个AI与人类之间的相似度(0.7242和0.7829)。换句话说,两个来自不同公司、不同架构的AI,在面对同一批参考论文时,竟然“想到了一起”——它们的想法比任何一个AI与对应真实人类研究者的想法更加接近。这表明,这种“桥接加整合”的配方不是某个模型的特殊习惯,而是当前AI系统的共同特征。
最后,研究团队还分析了AI和人类在关注哪些具体的技术概念上是否有区别。被AI高频选中的技术概念,往往是那些已经非常流行、本身就带有“整合”含义的话题,比如“多组学整合”、“多模态生成”、“情境学习”、“扩散策略”等——这些词本身就在暗示“把不同的东西放在一起”。而人类研究者更偏爱的概念则更加局部和具体,比如“轨迹追踪”、“分子配体”、“标记化与标记重要性”、“等变性”、“熵与互信息”等——这些都是针对某个具体机制或特定变量的精准切入。
由此可以描绘出AI科研创意的“工作流程”:扫描输入的参考论文,识别出其中的高频技术热词,然后套用“把A和B整合成一个统一框架”的模板,输出一个听起来合情合理的提案。这个流程确实能产出通顺、有逻辑的提案,但它的本质是一种模式匹配,而不是真正意义上的问题发现。
八、不只是“表面粗糙”:连精细的AI答案也有这个问题
有人可能会说:也许AI的桥接式提案只是因为写得比较浅,如果写得更具体、更深入,这个问题自然就消失了?
研究团队也用三个额外指标来测量每份提案的具体程度和模板化程度,分别是“表面拼凑分数”(衡量提案是不是只是在字面上把几篇论文的内容缝合在一起)、“瓶颈具体性”(衡量提案是否识别出了精准的机制或限制因素)以及“套话程度”(衡量措辞有多通用和公式化)。
人类研究提案在这三个指标上的表现都最好:表面拼凑分数为0,瓶颈具体性高达2.56分(满分3分),套话程度最低(0.48分)。大多数AI模型的表现都明显逊色,具体性更低,套话更多。
不过,有一个例外值得一提:Claude-Sonnet-4.6在这三个诊断指标上表现出色,瓶颈具体性甚至略高于人类(2.60 vs 2.56),套话程度也低于人类(0.37 vs 0.48)。但即便如此,Claude在“机会模式”和“方法范式”的分布上,与人类之间的距离依然很大——它的个别提案写得非常精细,但整体上仍然高度集中于桥接和综合这两类路径。
这个发现意味着,AI的科研品味问题不能简单等同于“写得不够细”。即使一份AI提案措辞精准、有理有据,它依然可能是从一个极度狭窄的视角出发的。这就像一个厨师,刀工精湛,摆盘漂亮,但永远只会做这一道菜。
说到底,这项研究告诉我们一件相当实际的事情:AI现在确实能帮你想出研究点子,而且这些点子往往听起来言之成理。但如果你仅仅依靠AI来探索研究方向,你大概率会反复接收到同一类建议——“把这两个领域整合起来”,或者“把这些方法统一成一个框架”。这类想法不是没有价值,但它只是科研创意版图中的一小块,而且是最容易想到的那一块。
人类研究者真正的优势,似乎在于他们能从截然不同的角度注意到问题:某个理论假设在现实中过于理想化,某个机制里有一个关键的解耦机会,某个现象缺乏严谨的形式化描述,某个方法在特定条件下会以一种意想不到的方式失败。这些“另辟蹊径”的问题意识,目前在AI的输出中严重稀缺。
对于普通人来说,这个发现提醒我们,AI的科研辅助工具目前更适合被用作“思路的起点”而非“思路的全部”。研究者在使用这些工具时,或许应该主动追问:“除了把它们整合起来,还有什么别的可能性?”对于AI领域的开发者来说,如何让AI学会更多元的问题发现模式,而不只是打磨那个“整合配方”,可能是下一个值得攻克的方向。
这项研究的完整内容可以通过arXiv编号2607.01233v1查阅,感兴趣的读者可以进一步了解这套评估框架的构建细节和完整的实验数据。
Q&A
Q1:AI生成的科研想法和人类研究者的科研想法有什么本质区别?
本质区别在于“广度”和“切入角度”。人类研究者在面对同样的参考文献时,会从各种不同的角度发现问题,比如机制缺失、假设过于理想化、某种方法的脆弱性等。而AI模型有将近一半到三分之二的概率直接倾向于提出“把这些研究整合成一个统一框架”的方向,这个比例远远高于人类研究者(人类只有12%左右的提案走这条路)。
Q2:开启AI的深度推理模式能改善科研创意的多样性吗?
不但没有改善,反而使问题加剧了。研究测试了两款支持推理模式的模型,发现开启思考模式后,“整合框架”类提案的比例进一步上升,与人类分布之间的差距反而扩大了。推理模式似乎让模型把自己最偏好的“整合配方”打磨得更加坚定,而不是促使它去探索更多元的可能性。
Q3:这项研究用了哪些模型来测试AI科研创意?
研究测试了九款主流AI模型,涵盖五个主要系列,分别是Anthropic的Claude-Sonnet-4.6、Google的Gemini-3.1-Pro、OpenAI的GPT-OSS-20B、GPT-OSS-120B和GPT-5.4-mini、阿里巴巴的Qwen3-8B和Qwen3-32B,以及DeepSeek的DeepSeek-V4-Flash和DeepSeek-V4-Pro。所有模型都在相同的输入条件下进行了测试,并额外测试了其中两款模型的“思考模式”变体。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:耶鲁芝加哥大学揭示AI研究提案千篇一律的隐藏盲区要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI,不拼参数大小,而是通过知识密度提升与模型风洞技术,将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”,在用户开口前预判需求,已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心,容量可扩展至50MW,提供从设计到运营的端到端服务,旨在满足政府及企业日益增长的算力需求,抢占印度快速增长的数据中心市场,并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%,接近人工水平。同时在新工站分别达到90%成功率,从单一操作拓展至多工站协同,验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局,DeepSeek创始人梁文锋凭借其公司的迅猛发展,个人财富急剧膨胀,一举超越多位硅谷知名人物,成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元,超越多位AI大佬 根据最新彭博亿万富豪指数,DeepSeek
- 日榜
- 周榜
- 月榜
热点快看
