每个Token的成功率解析

Work smart more than hard, to expand the pareto frontier (but also work hard)

不管你是在优化代码、管理团队还是做商业决策，帕累托前沿这个概念都很有价值。简单来说，它描述的是多目标优化中那些“非劣”的解。举个例子，在二维平面上，你只能通过牺牲一个维度来提升另一个维度，这条曲线就是帕累托前沿。最近，业界对LLM的评价不再只是看任务完成能力，而是关注在资源（比如消耗的tokens）变化下，能力是如何随之变化的。下面是一些有趣的例子，看看这个概念如何应用于评估AI、人类甚至公司。

在LLM中

在GPT-5.6预览版系统卡片的图22中，比较了最新OpenAI模型在“多选病毒学故障排除”基准测试上的表现。这个测试衡量的是模型帮你生成生物病毒的能力。横轴是API成本（实际上是tokens数量的袋里变量），纵轴是pass@1。

从这张图可以看出几个关键信息：

• 左上角是最理想的区域——用最低的成本获得最高的性能。
• 性能与成本之间是对数关系：在低成本区间提升明显，但随着成本上升，性能增长会逐渐放缓。
• 只要给GPT-5.6 Sol开启推理模式，它有一半以上的概率能成功生成病毒。

DeepSWE（一个前沿编码基准测试）也展示了类似的图，只不过他们把y轴翻转了，让“右上角更好”的视觉效果更直观——也许是为了减轻风投们的阅读压力。

你完全可以自己复现这个基准测试（至少是它的一个子集）：在你偏好的代码袋里中，切换不同的推理模式进行测试。

从中可以看到：

• 无论投入多少算力，这些LLM最多只能完成大约70%的任务。
• GPT-5.5的性能曲线实际上与Claude Fable 5非常接近。但是，由于产品和商业上的考量，它们的“xhigh”和“high”推理模式刻意输出了更少的token来降低成本——这牺牲了一部分编码性能。
• 前沿LLM研究是富人的游戏：图中每个数据点都代表对一套包含113个长任务的长程测试运行四次，单次成本就高达约700美元。

在人类身上

你有没有想过，为什么前沿实验室和科技公司仍然让你们做那些古老的编程和机器学习谜题，明明Claude Haiku可以一次性搞定？在未来的设想里，每个人都会拥有“推理模式”（使用LLM生成token，成本更高）和“非推理模式”，而公司想测试的是你在“即时模式”下的表现。换句话说，y轴截距至关重要。

同样地，有些人能在固定的token预算下，从LLM中获得更多或更好的结果。

市场上已经能看到不少有趣的实践：

• 每周抽出一定比例的时间，关掉代码袋里，亲自手写代码。
• 利用AI编写自动化bash脚本和自定义工具（比如遥测和仪表盘），而不是每次都手动询问AI。
• 学会使用ripgrep、编辑器快捷键和基本的bash命令。
• 直接复制粘贴需要放入上下文的文件路径和URL，而不是依赖100次探索子袋里的工具调用。
• 建立并分享高效的技能文件和记忆文件。
• 探索新的Agent框架，并对它们进行基准测试。

在公司层面

企业家精神就是在资源受控的情况下追逐机会

小型初创公司相对于大公司，取得超乎想象的成果，这看起来不可思议。初创公司，尤其是科技初创公司，通常资本效率更高，能做很多大公司不敢想的事情。比如：

• 销售尚未存在的产品。
• 在Twitter上最大化戏剧效果来引爆流量，降低广告成本。
• 通过新市场和近乎零的边际成本实现高增长。
• 每两周进行一次大规模转型。

在初创公司中，只有两个数字真正重要：增长率是多少？市场有多大，或者说增长能持续多久？你可能见过那些20多岁的YC创始人们，在自己毫无经验的行业里做B2B SaaS公司。如果我们将公司建设看作一个长期RL任务，把营收看作性能，那么我们可以为特斯拉（硬科技）、OpenAI（B2C SaaS）、Anthropic（B2B/B2C SaaS）和Mercor（B2B）画出各自的帕累托前沿。

从投资者的角度看，你就能理解为什么他们更倾向于投资那些能以更低风险（时间成本）带来更高营收（进而推高估值）的标的，并且最好能在基金约10年的周期内退出，以便向LP（有限合伙人）募集后续基金。原因在于，像Mercor这类公司的增长率远高于特斯拉，而且运营资本需求低得多。俗话说得好，搬运比特，而不是搬运原子。

和LLM测试时计算曲线类似，增长最终都会放缓（除了Anthropic，原因不明）。一部分原因可能是触及了市场天花板，但也存在其他假设：

• 体量越大，承担的网络安全、法律合规成本就越高。
• 在一个行业成功，自然会吸引来竞争者。
• 一旦过了那些稍加说服就能转化的早期用户，客户获取成本会呈超线性增长。
• 管理真的很困难。两个节点（人）之间的独特关系（边）数量随着人数的增加以平方速度增长，你必须确保所有这些边都运转良好。
• 日常活动中的绝大多数其实毫无意义。真正重要且必须完成的1-3个核心任务往往被边缘化，人们绕着它们打转，做其他杂事来让自己看起来忙碌（团队规模扩大、生存压力减弱时，这种现象更容易发生）。

结论

有一句老话说：如果给无限多的猴子（或gpt2s）无限多的时间（tokens），其中一只迟早能写出莎士比亚。对人类和公司来说，恐怕也是如此。因此，正确的策略似乎就是：坚持、不让自己弹尽粮绝，以及做那些真正困难的事情——那些能在所有努力水平上提升测试时计算曲线的事情。

1. ^

   这个类比并不完全准确，因为数据点不是独立样本，不能多次重复运行。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：每个Token的成功率解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题