信念流形原理与操控方法详解
A reproduction of Sarfati et al ’s “The Shape of Beliefs” BlueDot Technical AI Safety Project (code) “Nature, to be commanded, must be obeyed ” — Fran
A reproduction of Sarfati et al.’s “The Shape of Beliefs”
BlueDot Technical AI Safety Project (code)
“Nature, to be commanded, must be obeyed.”
— Francis Bacon, Novum Organum I.3 (1620)
Introduction
要想在中期和长期做好AI安全，一个关键前提是：深入理解AI系统内部究竟是怎么工作的。
道理很简单——要降低一个系统的风险，必须先搞懂它。[1]
基于这个信念，这次BlueDot技术AI安全项目选择聚焦于一个正在兴起的新范式：大语言模型中表征的内在几何结构。这属于机械可解释性的前沿方向，未来很可能越来越重要。
最终决定复现Goodfire团队的一篇相关论文——Sarfati等人2026年发表的《信念的形状：语言模型后验表征流形的几何、动力学与干预》。成果怎么样？基本成功复现了（只有一处小出入，详见附录）。
为什么这项工作值得关注？
尊重表征几何，实现更精准的引导
线性表征假说（LRH）认为，概念或特征是由激活空间中的线性方向表示的。基于这一假说，简单的线性探针就能发挥很大作用（Chen等，2025；Lindsey等，2026）。不过近年来，可解释性领域出现了一个所谓的“几何转向”，可以理解为对LRH的一种推广。
在新的几何范式下，研究者不再只关注表示特征的单一方向，而是研究激活的流形——嵌入在激活空间中的低维子空间，可能还带有非欧几里得几何（即曲率）。这方面可参考Engels等（2024）、Park等（2024）、Modell等（2025）、Gurnee等（2026）、Feucht等（2026）、Fel等（2026）、Wollschläger等（2026）、Bhalla等（2026）的工作。
有意思的是，这正好和计算神经科学的发展轨迹形成对照——过去二十年，神经科学也经历了类似的几何转向。随着技术升级，研究者得以记录越来越大规模的神经元群体活动，分析目标也从理解单神经元转向了理解神经群体的动力学（Churchland等，2012；Gallego等，2017；Chung等，2018；Allen等，2019；Gründemann等，2019；Stringer等，2019；Jazayeri & Ostojic，2021；Beshkov等，2024）。实际上，机械可解释性完全可以从神经科学中汲取不少经验——这一点后面还会结合作者自己利用高通量钙成像研究小鼠视觉皮层群体活动的工作来讨论（见“可解码性不等于功能”）。
几何方法的一个具体价值在于：如果能尊重模型表征的内在结构，激活引导就能做得更精准，副作用也更少。在AI控制中这自然有应用场景——比如沿着表示某个（某些）特征的流形进行引导，在去除不安全或不良倾向的同时保留能力。
信念的形状
Sarfati等人（2026）用一个精巧的玩具场景做了原理验证。他们发现了所谓的信念流形：模型关于输入属性（具体来说，是一系列整数的均值与方差）的上下文后验估计，在激活空间中呈现弯曲的子空间。这些表征又进一步影响和塑造模型对下一个token的预测。随后他们证明，如果使用“流形感知”的引导，可以操纵模型对均值的后验估计，同时基本不改变对方差的估计——在一定取值范围内成立。这初步表明了上述几何视角的实用前景。
复现结果总体是匹配的。除了一个例外（详见附录），所有主要结论都得到了验证。
在描述复现细节之后，本文将讨论论文中最有趣的一点：原始表征与对偶表征之间的区别——即激活的流形结构本身，与特征如何被“读出”之间的关系。这正好触及系统神经科学中一个长期争论的问题：“编码”这一隐喻是否适用于理解神经活动（Brette，2019；Buzsáki，2019；也可参见“可解码性不等于功能”）。最后会简要勾勒几个可能的拓展方向。最感兴趣的是能否用这种方法检测和引导评估意识，即模型关于自己是否正在被测试的信念——这在对齐研究中是一个重要关切（Laine等，2024；Nguyen等，2025；参见“可能的拓展”）。
更新： 最近Goodfire团队正在这个方向上加紧推进！[2] 在这个项目启动后不久，他们又发表了几项关于神经几何的新研究（Wurgaft等，2026；Geiger等，2026；Feucht等，2026）。看到这一方向进展如此之快，确实令人兴奋，期待整个领域能走多远。
第二次更新： 就在今天（2026年5月21日），Goodfire又发布了一项新研究，展示了SAE特征如何覆盖流形！（Bhalla等，2026）他们真的是火力全开
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：信念流形原理与操控方法详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点OpenAI安全系统团队负责人海德克即将离职，近年已有8名核心成员出走，包括联合创始人苏茨克维、莱克等。离职人员多次质疑公司安全文化被产品优先地位挤压，安全负责人频繁更替引发外界关注。
豆包对公司和产品的误解源于其综合互联网信息而非仅官网，受来源权重不均、信息不足时推断、客户问法差异、优势未明确、名称混淆及旧信息残留等因素影响。了解具体原因才能针对性解决。
芬兰阿尔托大学研制出世界首台超导量子热机，利用传输子量子比特与量子电路冰箱，在极低温下完成奥托循环并实现热量转正功，标志着量子热力学从理论迈向实验的关键一步，为量子计算机发展开辟新路径。
2026年，美团技术团队在AI学术界大放异彩——其研究成果共计32篇论文被ACL、SIGIR、ICML、KDD等国际顶级会议收录，并一举拿下ACL 2026杰出论文奖。这组数据绝非简单的数量堆叠，背后折射出的是深厚的科研硬实力。更引人关注的是，美团并未将这些成果束之高阁，而是通过5场专题直播，将前沿
- 日榜
- 周榜
- 月榜
热点快看