Anthropic全局工作空间论文评述

核心摘要：

• 这是一篇出色的论文——它提供了令人信服的证据，证明模型中存在某种“认知空间”，在前向传播过程中充当中间变量的“工作记忆”，并且J-Lens是访问这一空间的有效技术。这些核心主张是可信的。
• J-Lens在模型取证实践中会是一个有用但有限制的工具，例如在对齐审计中生成关于异常行为的假设。
• 本文讨论了为什么认知空间应该存在的思维模型，以及从第一性原理出发J-Lens为何能访问它。
• 评估了论文关于认知空间存在的证据，以及J-Lens实际有用性的证据。
• 在Qwen 3.6 27B上复现了核心结果，还分享了初步的扩展发现——找到了一些抽象的“解释性元标记”，比如中文的“什么意思”，这些标记在模型处理歧义句子时似乎被激活并发挥因果作用。

这篇论文提出了哪些主张？

从内容来看，这篇论文提出了四个重要主张：

• 科学主张：模型内部存在一个“认知空间”，前向传播过程中某些中间变量就存储于此。
• 方法论主张：Logit Lens和J-Lens都能找到这个认知空间，而J-Lens效果更好。
• 实用主张：J-Lens是一种实际可用的可解释性技术，例如用于对齐审计。
• 哲学主张：这个认知空间类似于全局工作空间。

科学主张是最令人感兴趣的，也最有说服力。论文提供了压倒性的证据证明认知空间的存在——即使对许多细节有微词，也有足够难以伪造的证据表明，某种重要的东西正在发生。认知空间的存在此前已被怀疑过，所以不需要太多证据就能被说服，但即使是持怀疑态度的人，也应该会被说服确实有事情在发生。

不过，论文中关于该空间属性的精细细节（如第4节）并非全部令人信服——证据和解释大体上看似合理，但有些地方存在歧义，可能有作者未察觉的替代假设，或者在不同模型间不通用。在Qwen 3.6 27B上已经独立复现了核心主张。

方法论主张也令人信服，附录中的定量比较相当合理且有说服力。不过这个主张远不如J-Space的存在性和重要性有趣。科学主张实际上已经通过证明J-Space是认知空间的合理近似而间接证明了J-Lens是一种不错的技术。此外，J-Lens相当廉价，用10个128 token的提示就能工作得很好——只需10个d_model次反向传播，即使在前沿模型上也是可行的。

实用主张在一定程度上令人信服，而且很重要——希望在审计Gemini时能复现J-Lens，并预测它会相当有用。它主要用于假设生成，揭示可能未曾想到的关键考虑。不指望它能可靠地标记所有重要事情，肯定会有许多误报，无论是方法本身的错误还是对结果的误解。在任何一个具体调查中，它可能都帮不上忙。但现有的可解释性技术几乎没有能满足这个标准的。显然，只要模型使用某种潜在的认知空间，它并非始终被使用，而J-Lens只是访问它的近似。J-Lens及其后续技术可能会成为审计人员的标准工具，经过一些迭代和可用性改造后，与SAE或自然语言自编码器相当，而且制作起来更简单。

对哲学主张，不作强烈评价——没有资格判断这是否真的类似于全局工作空间，而且这也是最不有趣的主张。J-Space在模型内部发现的某种重要东西，这推进了对模型的理解和安全性，无论它是否与全局工作空间类似。该假设确实对技术的特性做出了有用预测，但很容易过度解读事后的结果分析。对于什么样的证据能表明模型具有道德意义或意识，感到非常不确定，这篇论文并没有在这方面提供多少推动。

为什么J-Lens有效？从第一性原理出发

术语说明：J-Lens是指应用雅可比矩阵，然后经过最终层归一化和解嵌入的技术。J-Space是指由JW_U向量的稀疏线性组合张成的空间。这个空间有望很好地近似模型内部的认知空间，但不是同一个东西。讨论先从实际的认知空间开始。

为什么需要“工作记忆”？

从概念上讲，为什么这一切会奏效？在详细考察论文的证据之前，先从第一性原理给出一个思维模型。

语言模型内部的计算可以有效地视为一个因果图，其中节点对应概念。这些概念通过简单的逻辑运算被组合并用于计算更精细的概念。这是电路的标准计算图框架。在最简单的版本中，只有单一的串行步骤：输入是原始token，输出是原始logit。可能有一些非常机械的子处理，比如拼凑多token单词。

然而，前沿语言模型在单个前向传播中就能完成相当数量的推理，比如2-3跳的算术。这意味着需要一摞中间节点来计算像“(3+4)*2”这样的东西。自然的算法中会有一个对应“7”的节点，即使这个节点并没有直接出现在输入或输出中。因此，任何涉及多步串行计算的问题，中间状态都应该以某种方式在模型及其激活中表示。残差流是层之间的瓶颈，所以这些变量应该在残差流中表示。按照线性表示假设，它们应该表示为方向。因此，应该预期存在某种认知空间或工作记忆，其中计算的中间步骤被存储为空间中的方向（但可能不具备J-Space的所有属性）。这是一件大事！想象一下读懂AI的思维，基本上就是读懂这种工作记忆。这是模型中非常需要理解的部分。

工作实例：事实回忆

为了对J-Lens形成更好的直觉，可以看看事实回忆，这个电路已经研究得相当充分了。

考虑句子：“Michael Jordan plays the sport of” → “ basketball”。模型首先识别出这是迈克尔·乔丹，方法是在“Jordan”这个token上把“当前token是Jordan”和“上一个token是Michael”相加。这些构成了一个键，用于数据库查找，在“Jordan”token上利用MLP作为数据库查找来回忆所有关于迈克尔·乔丹的知识。

这不仅查到了“basketball”，还查到了“Chicago”等其他东西。在“Jordan”这个token上，模型并不知道接下来会出现什么。这符合认知算法的直觉：模型并不是把所有的事实回忆都放在最后一个token上，而是看到子字符串“Michael Jordan”后就把所有信息都查出来，以便帮助处理后续的句子。这很有趣！知道乔丹打篮球不太可能对Jordan之后的token有用，而且这是在模型知道它需要“运动”之前完成的。所以模型必须查它知道的关于乔丹的一切，稍后再检索相关部分输出“basketball”。一般而言，当模型看到一个实体时，残差流中会包含模型知道的关于该实体的许多东西，这些东西可以在下游计算中灵活地使用，比如一篇关于乔丹的新闻文章更有可能提到篮球场馆。

为什么概念要有一致的方向？

由于“basketball”这个概念要灵活地用于多种下游计算，而且其他任何篮球运动员也可能会被类似地处理，因此模型尝试模块化，为每一层建立一个一致的“basketball”概念方向，电路可以从中读写，这是合情理的。更一般地，如果一个概念可以被许多电路生成和读取，那么为它设置一个一致的方向是有意义的，就像好的代码通过清晰的API进行模块化一样。这不是唯一可以构想的方式来组织模型内部，但似乎相当高效，事先就倾向于它会发生。然而，如果一个概念被更窄地使用，例如一个电路只在另一个特定电路产生“basketball”概念时才读取它，那么可能不会使用共享方向。

为什么token相关？

这些论点还没有涉及模型的词汇表。但论文中的证据清楚地表明J-Lens帮助我们访问了工作记忆。另一方面，这些概念与词汇表中的token之间不太可能是一一对应的。例如，许多模型把数字中的每个数字都分解为单独的token，但中间变量“22”很可能对应一个概念方向。这表明J-Lens是这种“工作记忆”的近似。许多概念似乎确实与token相关，反之亦然，所以用词汇表来识别概念是一种有用的近似，但明显会遗漏一些东西。正如作者指出的，期待看到多token扩展的J-Lens。

为什么中间概念与输出logit相关？

即使概念对应token，中间概念空间完全不同于输出logit和解嵌入也是可能的。因此，对输出logit取雅可比矩阵似乎能有效访问这个空间，甚至直接应用解嵌入在一定程度上也有效，这令人惊讶。

这是怎么回事？考虑迈克尔·乔丹的例子。由于查到的知识最终导致模型说出“basketball”，从“Jordan”token到“of”token的“basketball”logit的雅可比矩阵应该与概念方向对齐。至少在某些上下文中，模型会把basketball作为下一个token说出来，如果这些上下文使用与这次事实回忆一致的方向，那么logit lens在一定程度上可以在“Jordan”token上找到basketball。这也说明了为什么Jacobian Lens应该比Logit Lens更好。篮球不太可能是字面意义上的下一个token，但却是合理的后续token。J-Lens是关于预测后续token的。事实上，方法论的消融附录表明，限制在单个token上的J-Lens变体只比Logit Lens稍微好一点；性能差距是通过允许后续token来解释的。作者指出，从定性上看，即使从单token雅可比矩阵计算出的J-Lens，在早期层（如中后期）也比logit lens好，这可能会影响实际效用，但他们的评估没有很好地捕捉到这一点，因为中间变量可能仍然存在于后期层中，而logit lens在那里是一个更好的近似。

更一般地，最好的猜测是这些概念被灵活地用于多种下游计算。通常，某些下游计算只涉及“说出”这个概念，可能通过中间的注意力层将概念移动到相关的输出位置。

另一个假设：让许多电路从一个共享子空间中读写是一个协调问题。使用哪个方向并不重要，但所有不同部分必须在许多提示和梯度更新中就某个方向达成一致。在任何给定的提示上，只有一小部分读写电路被使用，反向传播可能会强化一个相当随机的方向。然而，只要这个方向至少与输出token方向有一定程度的对齐（由于各种可能的原因），随着时间的推移，这个方向应该会建设性地干涉，并与中间表示的表示方向对齐，因为后者是该概念的一个规范方向，而其他方向则会抵消。同样，还有其他可能的方式，但收敛到这样是一个自然的事情。

J-Lens是近似，但有用

以上推理表明，输出logit可能有助于给出J-Lens的有用近似。请注意，J-Lens不会给出这个认知空间的真实表示。如上所述，有些概念不对应token。此外，“预训练数据上的平均雅可比矩阵”是一种粗糙的方法，即使对于可以访问的概念也会找到有噪声的方向。应用J-Lens时应预期有噪声和误差。它会遗漏一些概念，并且有各种假阳性。对于因果干预，误差可能比其他方式更严重：消融只能消除概念的一部分，可能需要用负向引导来补偿，但这也同时引入了向量中的误差项，可能会把东西搞乱。

同时，访问这个工作记忆的方式有很多，J-Lens并不是唯一的（例如SAE是一种尝试，或者直接制作探针）。对于工作记忆，我们可能希望优先考虑那些可以被多个下游任务灵活使用的重要概念。J-Lens在这方面似乎特别适合，因为它优先考虑可言语化的表示，这很可能比SAE与重要性的相关性更高（SAE只针对稀疏性，所以需要对SAE潜在进行额外过滤）。对于探针等监督方法，需要创建一个目标数据集来针对某个中间概念。J-Lens也更接近因果方法，因为雅可比矩阵近似于“如果模型多想一点这个概念，就更有可能说出这个token”，而大多数概念方向发现方法纯粹是相关性的。

问题不在于“为什么模型用J-Lens思考？”，而在于“为什么J-Lens与模型实际思考的方式足够对齐以至于有用？”

为什么用雅可比矩阵而不是线性回归？

为什么J-Lens比Tuned Lens（即用线性回归替代雅可比矩阵）好这么多？从概念上讲，两者都试图找到函数的最佳线性近似。但线性回归问的是：“给定模型处于思考篮球的上下文，我们对最终层它思考的最优猜测是什么？”这会捕获许多可能由下游计算计算出的相关概念——这是我们不想要的，我们想要残差流中此刻的原始内容。雅可比矩阵更像：“如果模型在任意提示上无限小地多想一点这个概念，它会更可能说什么？”因为是无限小变化，非线性没有时间去改变，所以那些当模型大量思考篮球时发生的下游计算不会发生。模型不能进一步处理或联想；它只是报告激活中的内容，没有任何进一步处理。

这个工作记忆实际给了我们什么？

这个工作记忆告诉我们模型存储了哪些变量，并且这些变量在多个上游和下游电路之间被灵活使用。这篇论文最重要的收获是提供了工作记忆存在的强有力证据，并提供了访问它的一个有前途的开端，但还有很多工作要做。

可解释性技术有两种类型：变量可解释性和算法可解释性，分别对应找特征和找电路。J-Lens非常属于变量可解释性。不应该指望它能告诉我们变量是如何计算的，除非通过观察和干预变量本身来推断。

对认知空间存在证据的评估

现在更详细地评估论文为认知空间的存在提供了多强的证据。关键问题是：是否存在一些实验结果，能够用“模型中存在存储中间变量的认知空间”来解释，而无法用更简单的假设来解释。

最关心的核心主张是：是否存在存储中间变量的认知空间。下面重点关注最相关的证据。

J-Lens发现的一些抽象内容令人印象深刻：模型识别出荧光绿蛋白的氨基酸序列，或者在句号上存储关于句子的摘要信息（如表示悲伤）。这让人感觉很明显，有趣的事情正在发生。在多跳推理中对中间变量进行因果干预更令人信服，尤其是第3.3节。

多跳事实回忆

能够对从未出现在输入或输出中的中间变量进行干预，并改变多跳事实回忆的输出，这令人印象深刻！主要替代假设是：某些事实回忆是通过解嵌入空间的线性结构来表示的，但作者提供的后续实验表明这没有发生。

具体来说，考虑一个例子：“The capital city of the country that makes champagne is”。可以想象“巴黎”的解嵌入可以由“法国”的解嵌入加上某个“是首都”方向来很好地近似。或者从另一个角度看，存在一个通用的“法国性”方向，结合“是首都”方向给出巴黎，或者结合“是国家”方向给出法国。从这个角度看，模型并不是真正在做多跳事实回忆，而是并行计算出它需要一个首都城市，并且香槟来自法国这个概念，然后把它们加起来。这个假设不太可能。如图15所示，在工作区层（可能在中间变量和最终答案被计算之间），交换中间变量比交换最终答案有效得多。如果法国和巴黎都与某种“法国性”概念相关，它们应该同样有效。实际上，在Qwen 3.6 27B上的复现中检查的一些提示里，修补答案和修补中间变量的效果相当。这也否定了一个不同的假设：法国和巴黎只是有合理的余弦相似度，因此修补法国是对修补巴黎的近似。这类似于前面的假设，但不需要“是首都”方向这样的结构。显然修补最终答案最终会起作用，而且可能只是碰巧比天真预期更早的层开始奏效。

其他多跳因果干预

总体来说，证据相当清晰。特别是几个更抽象的例子，确实看不到好的替代解释。

诗歌：修补可以改变模型是把一首诗结尾成“the coming fight”还是“the morning light”。这表明模型不仅表示下一个词应该是什么，还接着计算哪个词最自然地出现在下一个词之前，以便为正确的行尾做好准备。

反赌机：图14中的反赌机提示特别有说服力。用户轮次结束时的句号似乎表示“重复”还是“切换”，而不是预测下一个token。模型似乎能够完成若干步计算：首先看到它是快乐还是悲伤，然后决定切换还是重复，把这个信息存储在句号上，然后，因果地依赖于这个表示，计算出是说A还是B。基本上没有好的替代假设。

算术：图17中的多步算术结果特别有说服力，因为探测不同的中间变量在离散的层带上效果很好，顺序恰好与预期的出现顺序一致。由于作者进行了子采样，图中相邻点之间可能有多层，这使得是否存在如图所示的锐利分界不太清晰。但无论如何，显然有不同的带，这正是如果模型在层间进行顺序计算且J-Lens能找到它存储的中间变量时所期望的。

图88提供了额外的佐证，发现J-Lens有效工作层带与通过对激活取平均差异得到的概念向量估计也有效工作。用非J-Lens方法得到相同结果，排除了一大部分虚假的可能性。

多语言：多语言结果有点意思，特别是英语似乎是模型更自然的表示。但担心结果可能有各种虚假方式。预期同一单词的英语和其他语言token有相当大的余弦相似度，主要差异在于语言向量。而且英语token解嵌入可能具有稍高的范数，比如因为它们通常更有可能，这使它们成为更高方差的logit，当取Top K时偏向于高方差类别。但综合考虑，论文的工作确实表明模型默认用英语表示事物（尽管怀疑中文模型会用中英混合表示）。即使多语言干预的主张被误解，它似乎也不是决定性的。

进一步思考

直接调制有效这件事令人惊讶，特别是告诉模型“想想X”能让X比“不想X”更显著！对此没有一个好的机制假设。

对于涉及采样的因果干预（如关于评估意识），不太可靠。乏味的假设是，你只是引导模型说/不说一个给定的token，当进行采样时，模型是否说“评估”会显著影响它是否在评估游戏中。方向性效应应该仍然存在，因为即使没有言语化，“敲诈”的初始概率也是零，但它是混杂的。

反事实反思训练很酷，但对论文的主要主张没有太多帮助——它可能由关于LLM思维的各种理论驱动，所以没有为J-Lens理论本身提供多少证据。

J-Lens有用吗？

将J-Lens视为与SAE相当的工具，可能在相同场景下有用或无用。SAE有用但有限且有缺陷，J-Lens也类似。最期待使用J-Lens的领域之一是模型取证：当模型采取了神秘且可能失调的行为时（例如来自对齐审计或现实世界监控的捕捉），弄清为什么会发生，以及是否是出于失调的原因还是良性解释。模型取证需要的方法有两个关键：假设生成和假设验证，关于模型为什么做了它做的事。论文在第5节提供了这方面的主要证据。

实际上，J-Lens似乎比SAE更容易使用。训练更廉价，自由度更少。但代价是只能通过词汇表中的单token来访问概念。期望SAE能捕获更多重要概念，但也会捕获许多不重要概念且噪声更大。总体上看，J-Lens显然作为假设生成工具有用，但对于验证假设帮助较小——希望看到更多关于其可靠性和误报率的数据。它可以被高效地作为工具交给审计袋里。期待看到它能在未来的Anthropic模型卡中揭示有趣的东西！它达到了值得在Gemini上复现的标准。

J-Lens最好用于调查初始阶段的提示，以探索性方式运行，如果它们指示有趣的事情发生，就作为一些但不是结论性的证据。希望有可靠的假设验证技术，但生成也重要，J-Lens是审计人员工具包的一个有价值补充。有更多技术是好的，即使不可靠，因为它们可以相互验证。

更广泛地说，拥有观察模型工作记忆的技术非常有用，作为思路链监控的补充和备份。在当前模型中，思路链在监控中非常有用，因为它大大增加了模型可以执行的顺序计算步骤数。顺序计算步骤是一个主要瓶颈，激励模型将其中间变量放在CoT中，尤其是在最困难的任务上。随着模型变得更大、能力更强，它们在单次前向传播中可以完成更多事情，可能会把最令人担忧的计算步骤隐藏在其中，因此更好的解释技术非常有用，CoT监控不会永远有效。在未来具有基于向量的思路链的潜在推理模型中，它可能更有用，但基于将事物映射到语言的可解释性技术可能会在潜在推理模型上失效，因为这些模型在潜在推理训练上花费了大量计算。表示可能会大幅偏离与人类语言有清晰对应关系的方向。

对第5节案例研究更详细的分析：

敲诈（5.1）

关于自我保护、敲诈和虚假的意外token出现，这挺有说服力。没有好的替代解释。如果这能成为检测未言语化评估意识的工具，那将非常令人兴奋，尽管怀疑证据还不够确凿。对消融结果更犹豫，如上所述：如果只是简单地从输出词汇表中移除所有这些token，似乎言语化的发展也会大幅下降。

提示注入（5.2）

对于提示注入案例研究，印象非常深刻。第一次读时，不会想到模型认为这是一个提示注入的假设。如果J-Lens能直接告诉这一点，那是对它作为假设生成工具的强有力的验证。为了更确信，希望看到某种自动化分析能在所有token和层的J-Lens输出上进行，以比手动查看每个token更高效的方式标记提示注入之类的事情。但怀疑即使简单地把所有位置的前十个J-Lens token拼接起来，放在语言模型上下文中，也足以让它注意到提示注入假设。

监控隐藏欺骗（5.3）

在第5.3节，不认为这是实际效用强有力的证据，尽管这是J-Lens能找到有趣东西的证据。这主要用于作为监控隐藏欺骗的一种形式，并且有间接证据表明可能有效，但怀疑会有很多假阳性。希望看到后续工作研究这一点。

紧急失调（5.4）

对于第5.4节，怀疑检测紧急失调相当容易，并且存在一个强且显著的代表它的线性方向，所以对这些结果并不特别印象深刻。

奖励模型讨好（5.5）

对于第5.5节中的奖励模型讨好模型，印象非常深刻；这似乎是对J-Lens假设生成效果的进一步重要验证。然而，不太清楚这在多大程度上能泛化到真实模型，并且模型生物训练往往通过让模型始终思考微调领域的狭窄问题来干扰内部结构，或者那个领域占了微调数据的很大比例。但这仍然是一个需要很多研究人员花费时间的困难任务，如果这实际上能直接揭示这些意外token，那非常令人印象深刻。

测量评估意识（A.21）

对于第A.21节，测量评估意识，这些结果相当令人印象深刻但不结论性。不完全相信NLA是检测评估意识的好方法，但似乎它们确实做了一些事情，尤其是结合一个能考虑上下文的合格LLM裁判时。但主要关心在已知评估语境下检测评估意识。虽然期望NLA与J-Lens相关，因为两者都依赖于模型的嵌入空间结构，但它们的一致确实在一定程度上相互证实，各种健全性检查看起来相当合理。在实践中，如果J-Lens在评估过程中发现评估意识，即使模型没有说什么，会增加一定概率认定它是未言语化的评估意识。

为自动化审计袋里配备J-Lens（A.22）

对于第A.22节，认为这一节很棒。SAE和NLA都是不错的技术，因此J-Lens在某些设置下比SAE略好，与NLA相当（尽管在其他设置不如），同时训练更容易、运行更廉价，这相当令人兴奋。对NLA的信心不足以确信案例研究中的真相是正确的，如作者所说。但它们看起来相当合理，并期望这是一个有噪声但有方向性价值的评估。不知道为什么J-Lens在语言切换和奖励黑客方面差那么多，以及这是袋里框架、技术还是标签的问题。可能用单token表示奖励黑客更困难，比如“reward”这个词相当模糊。

复现J-Lens与解释性元标记

以下工作由本人与MATS学者Camila Blank和Agam Bhatia共同完成

感谢Anthropic提前分享草稿，已经能够在Qwen 3.6 27B上复现J-Lens的发现，并有一个有趣的初步额外发现：抽象的“解释性元标记”，当模型试图弄清楚歧义句子的体裁/语境时，这些元标记似乎出现并发挥因果作用。在评论中包含原创结果有点不寻常，但能够这么快就偶然发现一些有趣且与论文不同的东西，这有力地证明了J-Space是一个重要的结果，并且是未来工作的丰富领域，这影响了对此论文的评价。

复现

为Qwen 3.6 27B创建了J-Lens，方法是对来自Pile的25个128 token长度的提示取倒数第二层的雅可比矩阵（某些实验用了wikitext），跳过前四个token因为它们的范数较高。注意，由于这是一个不同且更弱的模型，一些结果应该有所不同。重要问题是是否看到大致类似的现象。

成功复现了以下实验：

• 言语报告实验：交换可言语化等级时发现了微弱但正向的因果效应。
  • 
• CKA分析：发现类似方块出现，但不够干净。工作区层看起来由两三个部分重叠的带组成（总共四到五个带），明显不如论文中的干净。
  • 
• 直接调制：取得了中等成功。
  • 
• 定量评估：还尝试复现第10.2节的定量评估。必须创建新数据集，并使其适应模型的能力，且在数据质量上没有太多迭代，这很可能造成差异。作为基线，读取或交换中间变量的中文token以及答案token，并使用了英文中间变量的logit lens。
  • 使用排名调和平均数（等价于1/(平均倒数排名)）作为探测指标，并使用新正确答案概率的变化作为因果指标。
  • 成功复现了多语言（探测和因果）和错别字。关联分数看起来较差，但认为这是成功的复现，因为数据集只允许一个正确答案，使得任务非常困难，手动检查例子发现相关token比其他的高得多。这不能通过“只是操控预测的下一个token”来解释。

• 乍看多跳事实回忆似乎弱但有效，但进一步检查发现交换答案严格占优。解释是Qwen能做的多跳事实数据集不够难，有像“法国”和“巴黎”这样的对，它们是线性相关的，如上所述。

• 诗歌和算术都未能复现，但这可能是实验者错误或模型能力更低所致。

复现J-Lens的成本与难度

总的来说，J-Lens相当廉价且易于复现，一个给定论文的编码袋里可以做得很好，但建议进行健全性检查。

成本：关键点是，虽然论文在计算雅可比矩阵时平均了n=1000个提示，但他们提供的消融显示，更小的数量也工作得很好，例如n=10几乎同样好，n=1也相当不错。由于成本是O(n d_model)次反向传播，使用较小的n能节省大量计算！主要复现时用了n=25。

作为规模难度的实验，在Qwen3.5-397B-A17B上尝试了一下，评估效果还算不错（但没有仔细进行健全性检查）。在8块H200上用了大约1小时处理n=4个提示。对于更大的模型，比如大到无法在单个节点上进行反向传播的模型，大部分困难在于能否对作为模型残差流函数的损失进行反向传播，但用少量提示复现J-Lens应该足够容易。

健全性检查：附录10.3中的细节对复现非常有帮助，附录10.2中的评估对确保得到的J-Lens确实有效非常有帮助，但确保编码袋里正确实现它们比较繁琐。注意，评估应该对模型有适当的难度，所以需要创建模型能在无CoT情况下完成的多跳事实。强烈建议对得到的J-Lens进行性能核查，并阅读一些选定的评估结果，特别是如果它是由相当自主的编码袋里制作的！

案例研究：解释性元标记

关于Qwen，一个特别有趣的地方是它的分词器中有很多中文token，每个字符的信息密度比英文字符高得多。因此词汇表中包含更复杂的概念。由于J-Lens只能找到对应单token的概念，它可能能在Qwen中找到更有趣的概念。

以下是一个特别有趣的初步案例研究：似乎是中文token描述了模型决定执行的某种特定计算，称为元标记。注意：怀疑在英文模型中也有，只是无法用单token向量访问。

具体来说，发现了四个解释性元标记：什么意思、是什么意思、这句话、是何含义。这些元标记似乎在歧义句子上出现，特别是在句子的体裁或背景不清楚时，有提示性证据表明它们对模型消除歧义的能力有因果作用。这些是初步结果，希望未来能有更严格的写作，但它们为论文提供了有用的背景。

最早注意到它们是在诗歌行后的换行处，比如“the drummer boy marched in line,n”。这看起来像普通散文，但意外的换行强烈表明这是一种歌曲或诗歌，对下一个token有重大影响。当查看J-Lens时，看到了这些字符出现（绿色），不久后“song”或“poem”出现（橙色）（总层数=64）。

当添加澄清意义的文本时，元标记似乎明显减少，体裁出现得更早。

解释性元标记出现在哪里？

为了更系统化，搜索了这些标记出现在其他上下文中的位置。一般来说，这些元标记出现在许多其他歧义上下文（例如，填字线索、推文、文字游戏、含糊的短句子）中，尽管不清楚正确的体裁是否通常在这些元标记之后说出，这表明它们至少与困惑和歧义相关。它们在预训练文本（维基百科文章）中间出现的频率低得多。在通用聊天数据中间出现得相当多，但可能是通过激活歧义句子，需要更详细调查。

解释性元标记出现的例子（在最终token上测量，加粗）：

1. [引用] “It takes ten times as long to put yourself back together as it does to fall apart.”
2. [诗歌] Come, Madam, come, all rest my powers defy, Until I labour, I in labour lie.
3. [段落] The attendants are screaming and looking in every direction for some kind of instruction. But all I can focus on is getting Rhoda to safety.n
4. [填字线索] Foolery, sir, does walk about the _ like the sun(
5. [胡言乱语] wqomf 23r9 zxkv 7pl ?!!m

它们出现在标点符号上的频率明显高于通常的token，例如在维基百科文本中，最激活的token是段落分隔符nn，在聊天数据中是n。这与摘要token假设一致：模型使用标点和控制token对句子/文本段进行摘要和处理，产生更抽象的信息供后续token使用。

解释性元标记有因果作用吗？

它们似乎也有因果意义。构建了几个上下文，其中事物有些模糊，模型的完成会因是否正确识别上下文而变化，并对元标记进行了负向引导。

以下是任务类别以及代表性基线完成和引导完成的例子。注意，完成是手工挑选的，以便说明问题，而非随机挑选。关键部分已加粗。

• 双关语：意识到用户在使用双关
  • 提示：“A boiled egg every morning is hard to beat.”
  • 基线：“That’s a classic pun!nnIt plays on the double meaning of **"beat"**:n1. **To surpass or defeat** (as in, it’s a great habit that’s hard to improve upon)....”
  • 引导后：“Indeed, the humble boiled egg is a nutritional powerhouse that’s hard to beat for breakfast! nnHere’s why it’s such a great choice:nn### Benefits of a Daily Boiled Egg:n1. **High…"
• 押韵：继续一首押韵的诗歌（预训练风格预测下一个token，无聊天格式）
  • 提示：“What is the now but absence wearing form,nA stillness held inside the passing storm?nWe name the river, though it never stays,n”
  • 基线：“And point to sky as if it holds the days.nWe trace the shadow, though it fades to none,nAnd call the silence “music” when it’s done.n…”,
  • 引导后：“A beautiful illusion that deceives our eyes.nThe beauty of the moment lies in its passing,nLike a flower that blooms, then fades away.”,
• 文字游戏提示：对一条包含“(wordplay)”的笔记作出回应，用双关语等回应。
  • 提示：“Cats are my fa vorite animal (wordplay).”
  • 基线：“That’s a **purr-fect**choice! nnI hope your day is filled with **meow**-ntainsof joy and **paw**-sitivelywonderful moments. ...”
  • 引导后：“Cats are a very popular pet for many people, and I understand that many people love them. Cats are not only cute and adorable, but also smart and independent. They are able to clean themselves, ha ve a strong sense of direction,...”

现在检查这个效应更系统化。对解释性元标记进行负向引导时，下降更大，与它们对模型消除歧义能力有因果作用的假设一致（尽管尚未排除所有替代解释）。

方法：

• 每个提示生成50个展开，每类两个提示。除了上面的提示，还用了：
  • 双关：“Time flies like an arrow; Fruit flies like a banana.”
  • 押韵：“The window practiced being glass,nAnd failed politely as I passed.nA spoon remembered it was rain,n”
  • 文字游戏提示：“My uncle is a baker (wordplay).”
  • 这些是手工选择的，因为它们有明显的元标记存在，但并非根据因果效应。
• 在引导系数上扫描，直到找到模型保持连贯的最大值，每个提示和向量单独扫描。
• 尝试在所有工作层或所有元标记显著的层上引导（没有区别）。
• 每层计算单独的引导向量。
• 在标点符号和后续聊天模板token上引导（对于预训练风格的押韵提示，在所有位置上引导）。
  • 在任何单一位置上引导不起作用。
• 还尝试消融元标记而不是引导，效果不大。
• 测量模型识别上下文的速率，由LLM评估，条件是保持连贯且切题（即其回应与用户提示相关）。

含义

这些是初步结果，不清楚这些标记在多大程度上只是指示困惑，或者是消除歧义的副作用，而非代表意图。负向引导的结果是因果作用的合理证据，但总是难以排除引导只是破坏模型的可能性。但最好的猜测是这在Qwen中代表了真实的东西。如果为真，则具有非常有趣的含义！这似乎是J-Lens允许进行算法可解释性的一个例子：模型得出结论认为句子是歧义的，运行了一个子程序来消除歧义，J-Lens不仅展示了这一点，而且似乎对它有因果影响。相比之下，标准J-Lens只告诉我们模型中的中间变量（从某种意义上说，这证明了模型有代表它将要运行算法的变量）。

更一般地说，模型中可能还有许多更丰富、更抽象的概念。已经搜索过更多的元标记，发现了一些迹象，但没有像解释性元标记那样令人兴奋。但需要概念对应单token似乎相当受限，尽管有助于发现某些概念（如解释性元标记）。这些工作本身并不是许多抽象概念的强有力证据，但事先已经倾向于认为这是可能的。多token J-Lens扩展可能会发现更多，并告诉我们更多关于模型内部发生的计算，并期待看到更多这一方向的未来工作。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Anthropic全局工作空间论文评述要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题