GPT-5 研发一年半困境 5 亿美金训练成本打水漂需重造数据

研发时间已超过18个月却迟迟未见踪影的GPT-5（代号Orion）项目，最近又有内幕消息流出。

据《华尔街日报》最新报道，接近该项目的知情人士透露，Orion虽然相比OpenAI现有的模型有所提升，但进步幅度远不足以支撑其高昂的运营成本——每轮训练就要耗费接近5亿美元，还需数月时间。

知情者表示，GPT-5至少已完成两轮训练，但每次训练都暴露了新问题，效果明显低于研究人员预期。更棘手的是，全球可用的数据量似乎已接近极限——它根本无法达到理想的智能水平。

训练之路困难重重

自GPT-4于2023年3月发布之后，OpenAI便将重心转向GPT-5。同年11月，Altman坦言2024年不会发布任何名为GPT-5的产品。通常情况下，AI模型的能力会随数据吸收量增长而增强——模型被注入数万亿个token，训练持续数月，依赖成千上万块昂贵且稀缺的芯片。Altman曾透露，单是训练GPT-4的成本就超过1亿美元，而未来AI模型的训练费用预计将突破10亿美元。一旦训练失败，结果就像火箭发射失利一样，损失惨重。

为了降低风险，OpenAI通常先进行小规模试运行，验证模型设计与训练可行性，从而在正式大规模训练前发现并修正问题。但GPT-5的开发从一开始就遭遇了挑战。2023年中，OpenAI启动了一项名为“Arrakis”的实验性训练，旨在测试GPT-5的新设计。遗憾的是，训练进展缓慢，暴露出若进行更大规模训练，将耗费极长时间且成本极其高昂，同时也表明GPT-5的开发比预期复杂得多。

于是，研究团队决定对Orion进行一系列技术调整，并明确认识到：现有的公开互联网数据已无法满足模型需求。要提升GPT-5的性能，迫切需要更多种类、更高质量的数据。

“从零开始创造数据”

为应对数据短缺，OpenAI决定“从零开始创造数据”。具体做法是：雇佣软件工程师和数学家编写新代码或解决数学问题，让Orion从这些任务中学习，并要求他们详细阐释自己的思考过程。

许多研究人员认为，代码作为一种软件语言，能帮助大模型解决从未见过的问题，从而提升复杂问题的处理能力。Turing公司首席执行官Jonathan Siddharth表示：“我们正在将人类智慧从人脑转移到机器脑。”

举个例子，软件工程师可能被要求编写一个程序以高效解决复杂的逻辑问题；数学家则需计算由一百万个篮球构成的金字塔的最大高度。关键在于，得出答案的完整思考过程都会被纳入训练材料。

此外，OpenAI还与理论物理等领域的专家合作，请他们解释如何解决自己领域中的棘手问题，这些内容同样有助于提升Orion的智能水平。

但话说回来，雇人从头构建数据这件事，怎么看都算不上高效。GPT-4的训练数据约为13万亿个token。假设有1000人每天写5000个字，要生产10亿个token也得花好几个月。为了加快进度，OpenAI也在尝试所谓的“合成数据”——即由AI生成的数据来训练AI。不过有研究表明，这种反馈循环有时会导致模型出错，甚至输出毫无意义的答案。知情人士称，OpenAI的科学家认为，通过使用o1生成的数据可以避免这些问题。

内外夹击下前行

OpenAI面临的挑战远不止技术层面。内部动荡、竞争对手几乎不间断的挖角，以及技术资金双重压力都在明显加剧。每次训练耗资高达5亿美元，最终训练成本很可能超过10亿美元。与此同时，Anthropic、谷歌等公司纷纷推出新一代模型，试图赶超OpenAI。

人才流失和内部分歧进一步拖慢了开发进度。去年，OpenAI董事会突然解雇Altman，导致部分研究人员质疑公司能否继续运作。Altman很快被重新任命为CEO，并着手改革治理结构。今年以来，超过20位关键高管、研究人员和长期员工离开OpenAI，包括联合创始人兼首席科学家Ilya Sutskever和技术负责人Mira Murati。就在前不久，备受尊敬的研究人员Alec Radford（在OpenAI工作约八年，主笔多篇重要论文）也宣布离职。

随着Orion进展停滞，OpenAI开始开发其他项目和应用，比如简化版的GPT-4和视频生成产品Sora。报道提到，这导致了不同团队之间争夺有限计算资源的局面，尤其在新产品开发团队与Orion研究团队之间，竞争相当激烈。

GPT-5的困境或许揭示了一个更大的行业命题：AI是否已接近发展的“瓶颈期”？业内人士指出，依赖海量数据和更大模型的策略正逐渐失效。正如前OpenAI科学家苏茨克维尔日前在公开场合所说，“我们只有一个互联网”，数据的增长正在放缓，这一推动AI飞跃的‘化石燃料’正逐渐枯竭。

至于GPT-5的未来，Altman始终没有给出明确时间表。目前我们仍无法确定OpenAI何时——或者是否会——推出一款值得被称为GPT-5的模型。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：GPT-5 研发一年半困境 5 亿美金训练成本打水漂需重造数据要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题