微软论文意外曝光GPT核心参数规模对比：4o-mini仅8B，o1达300B

微软和OpenAI之间到底是一种什么样的微妙关系？坦白说，这次可能又要让OpenAI高层血压升高了。

事情是这样的：微软在一篇论文里，直接把OpenAI好几个模型的参数规模给“不小心”公开了。论文的正文中明晃晃写着：

• o1-preview 约300B参数
• GPT-4o 约200B
• GPT-4o-mini 约8B……

这其实不是第一次了。早在2024年初，英伟达发布B200时，就已经把GPT-4的1800B参数（1.8T MoE）给摊牌了。而这次微软给出的数字更加精确——1.76T。所以说，OpenAI那层“参数迷雾”怕是越来越薄了。

除了OpenAI的模型，论文中还顺手给了Claude 3.5 Sonnet的参数估计：

• o1-preview 约300B；o1-mini 约100B
• GPT-4o 约200B；GPT-4o-mini 约8B
• Claude 3.5 Sonnet（2024-10-22版本）约175B
• 微软自己的Phi-3-7B——这个倒是不用“约”了，就是7B

当然，论文后面也附上了一句免责声明：“确切数据尚未公开，这里大部分数字是估计的。”但大家显然不买账。有人直接追问：为什么谷歌Gemini的参数没有出现在这个名单里？

一种推测是，大多数模型都在英伟达GPU上跑，可以通过token生成速度来倒推参数体量；而谷歌的模型用的是自家TPU，无法用同样的方法估算。但也有人觉得，微软对放出来的数字是有一定信心的——不然为什么偏偏漏掉Gemini？

还有一点值得一提：微软已经不是第一次“手滑”了。2023年10月，他们就曾在论文中意外曝光过GPT-3.5-Turbo的20B参数，后来又在后续版本中删除。你是故意的，还是不小心的？

微软这篇论文说了什么

实际上，这篇论文的主题是医学相关的一项基准测试——MEDEC。12月26日就已经发布，只不过属于比较垂直的领域，非相关方向的人可能根本不会去看。直到年后才被列文虎克网友们发现了其中的“彩蛋”。

这项研究的出发点其实挺接地气的。据美国医疗机构调查，有1/5的患者在阅读自己的临床笔记时发现了错误，其中40%的人认为这些错误可能会影响后续治疗。与此同时，大语言模型越来越多地被应用于医学文档任务，比如生成诊疗方案。

因此，MEDEC任务有两个：一是识别临床笔记中的错误，二是给出正确的修改。研究数据集包含3848份临床文本，其中488份临床笔记来自三个美国医院系统，且这些笔记之前从未被任何LLM“见过”。错误类型分为五类：诊断、管理、治疗、药物治疗和致病因子，都是分析医学委员会考试中最常见问题后确定的，最后还有8位医疗人员参与标注。

而参数泄露就发生在实验环节。按实验设计，研究者需要选取近期主流的大模型和小模型来参与笔记识别和纠错。就是在介绍最终选定的模型时，参数规模和发布日期一下子都被公开了。

说回研究结论：Claude 3.5 Sonnet在错误标志检测方面表现最好，得分70.16，第二名是o1-mini。至少在这个场景下，Anthropic的模型确实有独到之处。

网友：按价格算合理

每一次ChatGPT相关模型的架构和参数被泄露，都会引发热议，这次也不例外。

2023年10月，当微软那篇论文声称GPT-3.5-Turbo只有20B参数时，就有人感叹：难怪OpenAI对开源模型这么紧张。2024年3月，英伟达确认GPT-4是1.8T MoE后，大家的共识是：MoE已经且仍将是大模型架构的趋势。

而这次，基于微软的数据，网友的关注点有几个：

• 如果Claude 3.5 Sonnet真的比GPT-4o还小，那Anthropic团队确实有技术优势。
• 很多人不太相信GPT-4o-mini只有8B这么小。

不过，也有人根据推理成本来倒推：4o-mini的价格是3.5-turbo的40％；如果3.5-turbo的20B是真实的，那4o-mini大约就是8B左右。当然，这里的8B是指MoE模型的激活参数，而不是总参数。

总而言之，OpenAI大概永远不会公布确切数字了。还记得奥特曼征集2024年新年愿望时，最终清单上还有“开源”这一项；到了2025年的最新版本里，“开源”已经被悄悄抹掉了。有些秘密，可能就让它留在猜测里吧。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：微软论文意外曝光GPT核心参数规模对比：4o-mini仅8B，o1达300B要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题