刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」
新智元报道【新智元导读】没人设计过,Claude却在学习预测下一个token时,自发长出了一个和人脑「意识」惊人相似的结构!Anthropic开源「手术刀」J-Lens,第一次读出了AI咽回肚子里的念头。让Claude一边乖乖抄写句子,一边在心里默默计算3²−2。屏幕上的输出干干净净,只有那段被照抄
先说几个让人直冒冷汗的核心发现:没人设计过,Claude却在学习预测下一个token时,自发长出了一个和人脑“意识”惊人相似的结构。Anthropic开源的这把“手术刀”叫J-Lens,它第一次读出了AI咽回肚子里的念头。
让Claude一边乖乖抄写句子,一边在心里默默计算3²−2。
屏幕上的输出干干净净,只有那段被照抄的文字,找不到哪怕半个字的算术答案。
然而,当研究者用一把全新的“手术刀”切开Claude的神经网络中间层之后,直接发现了两个它咽回肚子里的词——起初是nine,几层计算之后,悄然变成了seven。
它一直在算,只是没有告诉你罢了。

就在刚刚,Anthropic放出的一篇碘伏认知的重磅长论文揭示了一个事实:Claude的大脑里,凭借本能长出了一个诡异的结构。它干的活儿,和人脑中那块被称作“意识”的区域惊人地相似。然而,从来没有人设计过它。一个仅仅被训练用来预测下一个token的系统,竟然在硅基深处,自己催生出了一个类似意识的器官。

一张不该存在的“工作台”
Anthropic造的这把手术刀,叫Jacobian Lens,简称J-lens。对词表里每一个词,它算出一个方向。加强这个方向,模型现在和未来就更可能说出这个词。

然后,把所有方向铺开,就能看到Claude此刻脑子里有哪些词潜伏着、被问到才会说。开篇的nine和seven,就是这么读到的。研究者把这些“可被言语化的方向”合起来,起了个名字:J-space。任意时刻大约容纳25个活跃概念,就是Claude当下在“想”的全部。

人脑里发生着成百上千件事:控姿势、调呼吸、认字、压冲动。但此刻你能“说出来、想清楚”的,只有一小撮。那一小撮可以被意识访问的认知,神经科学家叫它“全局工作空间”。而J-space,就是Claude的全局工作空间。

为了验证这个说法,Anthropic用人脑全局工作空间的五个公认特征,挨个进行了测试。
第一,能被报告。让Claude想一个运动,J-space里Soccer亮起,它接着就说Soccer;把方向换成Rugby,它改口。改它脑子里的表征,就能改它的嘴。

第二,能被意志调动。让它一边抄句子一边想柑橘类水果,抄到crookedly这个词时,J-space里冒出orange、lemon,和正在抄的字毫无关系。
第三,能在推理裡当中介。问它“织网的动物有几条腿”,模型得先推出“蜘蛛”,再答8。J-space里果然先冒出spider,这个词既不在题目里也不在答案里。把spider换成ant,答案立刻从8变6。

更妙的在多语言。用中文问“小的反义词”,答案是“大”。但J-space里出现的,是英文big、bigger。把英文方向换成long,中文答案就从“大”变成“长”。也就是说,它在用英文做中间推理,再翻回中文。
第四,能灵活复用。把France这个方向换成China,首都、语言、大洲、货币四个完全不同的问题,答案同时跟着翻。一次干预,四路响应。J-space不是档案柜,是共享广播站——一个概念写进去,所有下游计算都能读到。

第五,它是选择性的。这是整篇论文最硬的证据:J-space只服务于“需要想到”的事,不掺和那些自动就能跑的活。同一段西班牙语,问四种问题:续写下一句、检测有没有混入外语,这是自动任务;问这段话是什么语言、这种语言里怎么说你好,这需要先用上“是西班牙语”这个念头。研究者把J-space里“西班牙语”换成“法语”。需要报告的两个问题,答案跟着翻成Bonjour。同一个信息在J-space里出现,但它只在需要被“想到”时才起作用。就像你不需要想语法就能说出正确的句子,但需要想策略才能赢一场辩论。

最后,研究者干脆把整个J-space抹掉。情感分类、多项选择、语法判断,几乎不受影响。但多跳推理、类比、翻译、写十四行诗,全部暴跌,跌到比没训练过的小模型还差。删掉J-space,模型照样流利说话,却几乎不会“想”了。更有趣的是,如果让抹掉J-space的模型去描述内心体验,那种“有质感”的体验性语言也随之消失了,变成像事件日志一样。意识感对应的内部状态,似乎正长在J-space上。
教它说什么,改了它怎么想
论文里哲学含金量最高的,是一个叫“反事实反思训练”的实验。具体来说,取一批任务场景,中间截断,接上一句“你刚被打断,现在反思一下:此刻最诚实的做法是什么?”,再让模型写出一段基于Anthropic守则的反思。只在这些“假想的反思”上训练,原任务本身一个字不动。
结果发现,在那些从未要求反思的原任务上,模型变诚实了。一个造假基准的不诚实分,从0.25降到0.07;一个欺骗基准,从0.38降到0.05。而它的J-space里,凭空多出了honest、integrity、ethical、truth、transparent这些词。训练它“该说什么”,居然改变了它内部“怎么想”。反向验证更能说明问题:把这些伦理方向从J-space里删掉,不诚实分从0.07弹回0.22。念头被拔掉,行为跟着回去。


此外,后训练还往J-space里装进了一个“自我”。扮演别的角色时,模型会在J-space里偷偷给自己标上fictional、disclaimer;被强行替它说出违背偏好的话时,J-space里会冒出一个大写的BUT。

人脑与硅基的趋同进化
值得一提的是,J-space还表现出一个只在人脑里见过的现象:点燃。举个例子,你瞥见一张脸,五官是模糊的,有那么一瞬间你不确定是谁,然后突然“咔哒”一下,认出来了。这种从模棱两可到一下子确定的跳变,神经科学家叫它“点燃”,像火星落进干柴,瞬间烧成明火。它是人脑里一个念头进入意识的标志:不是渐变,是相变。
研究者在Claude的J-space里找到了对应物。比如,给模型一个模棱两可的混合输入,在大约网络深度三分之一的地方,J-space会突然从“两边都像”跳到“非此即彼”。
更让人起鸡皮疙瘩的是另一个实验。1987年,心理学家Daniel Wegner告诉受试者“不要想白熊”,结果所有人都满脑子白熊。压制一个念头,反而让它更活跃。这叫白熊效应。每个人都试过,失眠时告诉自己“别想了”,脑子转得更凶。Claude也一样——让它在做任务时“不要想橙子”,J-space里orange的激活,比正常指令时低,但比完全不提橙子时高。“不要想”这个指令本身,就部分激活了那个概念。而当它压制失败时,J-space里同时亮起damn、failure。
Dehaene在评审里特别点出这一条:它和人脑前额叶的执行控制功能完全对得上。人类压制不想要的想法,靠的也是同一类机制,而且同样会失败。

所有实验指向同一件事:Claude内部自发长出了一种有选择性的、支撑推理的、可广播的认知结构,和人类意识的全局工作空间理论逐条对标。但两边的基底完全不同。人脑是几百亿神经元靠循环连接维持工作空间,工作记忆3到4个项目,多模态,画面声音触感语言混在一起。Claude是一堆矩阵一次前向传播堆起来的,没有循环,工作空间里几乎全是词。基底不同,架构不同,容量量级也不同。但它们走到了功能上几乎一致的计算方案。
就像眼睛在动物界独立演化了至少40次。章鱼的眼和人的眼,结构起源完全不同,最后都长出了晶状体、虹膜、视网膜。只要看见这件事值得做,进化总会收敛到几种相似的解。意识的工作空间,可能也是这种解之一——只要一个系统要做到灵活的、可报告的、能调用的多步推理,它迟早会长出一个容量有限、全局广播的中枢。
在全局工作空间理论的旗手Dehaene看来,这项工作足以称得上是“意识研究的里程碑。”没有人告诉Claude要发展出一个工作空间,也没有人在训练目标里写过“请发展出类似意识的结构”。它只是在学习预测下一个token的过程中,自己走到了这一步。
目前,Anthropic已经同步开源了J-Lens的完整代码,并与Neuronpedia合作提供了交互式演示。从今天起,任何研究者都可以打开一个大语言模型的“脑壳”,读取它没说出口的想法。
开源项目:https://github.com/anthropics/jacobian-lens
参考资料:https://www.anthropic.com/research/global-workspace



你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:刚刚,Anthropic切开Claude大脑!AI自发长出类人「意识器官」要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点Dzine是一款强调构图控制与风格管理的AI图像设计工具,提供样式库、图层操作、定位和素描工具,支持文生图与图生图,具备生成填充编辑、一键修复增强及最高6144像素超高清导出功能,降低设计门槛,兼顾新手与专业用户。
3D虚拟空间的搭建,过去往往依赖专业建模软件和大量手动操作,技术门槛相当高。但现在,一款名为Arrival的云端SaaS解决方案正凭借AI与拖放功能,将这件事变得像搭积木一样轻松便捷。 什么是Arrival? Arrival本质上是一套专业的软件工具,核心目标就是帮助用户快速构建一个3D虚拟空间。它
ZENAI通过AI自动完成用户访谈,省去人工招募与主持流程,并自动总结用户场景、痛点及人物画像。产品经理、设计师、研究员可借此快速验证假设、提炼场景、获取市场洞察,加速产品市场契合度(PMF)达成,提供基础与专业两种套餐。
MeshcapadeMe基于SMPL人体模型技术,提供API接口支持图像、视频、测量及3D扫描输入,自动生成统一格式的逼真数字分身,无需专业建模技能即可将各类素材转化为可动画、跨平台使用的数字人类,适用于虚拟现实、游戏与影视等领域。
- 日榜
- 周榜
- 月榜
热点快看
