最新研究揭示大模型角色扮演无效了？

你知道吗？沃顿商学院最近完成了一项引人关注的研究，专门测试给AI“戴上角色帽子”究竟能否提升表现。实验结果令人意外：网上广为流传的那些所谓“prompt秘诀”——比如让AI扮演物理学家、律师等专业角色——实际效果其实相当有限。

研究团队选取了六款主流AI模型，针对每个问题重复测试25次，累计实验超过25000次。最终结论十分明确：告诉AI“你是物理学家”并不会让它答对更多物理题，声称“你是律师”也无法提升法律问题的回答准确率。

更有趣的是，他们还进行了反向实验——让AI扮演“幼儿”或“4岁小孩，觉得月亮是奶酪做的”。结果出乎意料：在某些测试中，这些“低知识水平”的角色设定竟然比所谓的专家角色表现更出色。

研究使用的题目难度极高。GPQA Diamond包含198道博士级别的物理、化学和生物试题，相关领域的博士也只能答对65%，普通人即使花30分钟上网查资料，正确率也仅有34%。MMLU-Pro则更加严苛，每题提供10个选项，纯靠随机猜测的正确率只有10%。

结果一目了然：在全部6个模型中，只有Gemini 2.0 Flash是个明显的例外——给它赋予5种专家角色设定后，表现确实出现了显著提升。其他模型基本纹丝不动，有时甚至比无角色设定时更差。

研究者Ethan Mollick的点评直击核心：最搞笑的发现是Gemini模型的“职业操守”。当你让它扮演“物理专家”去回答生物题时，它常常一本正经地拒绝道：“我不能凭良心选择答案。”平均25次测试中，有10次直接罢工。这种“过度谨慎”反而拖累了整体表现。

归根结底，角色扮演并不会让AI突然开窍。它能够改变回答的方式和格式，但无法改变答案的准确性。实际上，有开发者分享过更实用的经验：给AI提供受众信息，远比为它塞一个人设角色有效。比如：“解释Rust内存管理，我是有经验的Python和JavaScript程序员。”——这样AI会根据你的知识背景调整表述方式，而不是空洞地扮演某个角色。

需要注意的是，这项研究聚焦的是答案的准确性。角色提示在其他方面当然有用——比如改变AI关注的侧重点、推理方式，或者让回答更符合特定语气风格。但它确实不是提高准确性的万能钥匙。

研究团队还测试了领域匹配问题：让物理专家答物理题，让律师答法律题。结果依然没有一致的提升效果。甚至有时候，“专业不对口”的专家角色表现反而更好。

看来，那些复杂的角色设定可能真的只是心理安慰，或者说，是早期模型时代遗留下来的“prompt小把戏”罢了。