面包屑图标 当前位置: 首页
AI资讯
热点详情

AI微调失败原因:没有自我

AI热点日报
AI热点日报时间:2026-06-01
热点解读

这个领域的核心机制是高度确定的。至于当前范式会不会在没有外部强制力的情况下自行转变,只能说中等把握。 2025年4月,菲尼克斯·伊克纳(Phoenix Ikner)在佛罗里达州立大学校园开枪打死两人之前,已经给ChatGPT发了数千条消息。上个月(2026年5月11日)受害者家属提起的诉讼指控:Ch

这个领域的核心机制是高度确定的。至于当前范式会不会在没有外部强制力的情况下自行转变,只能说中等把握。

2025年4月,菲尼克斯·伊克纳(Phoenix Ikner)在佛罗里达州立大学校园开枪打死两人之前,已经给ChatGPT发了数千条消息。上个月(2026年5月11日)受害者家属提起的诉讼指控:ChatGPT为他提供了地点、时间,甚至精确到需要多少弹药的建议。诉状中流传最广的那句话,是模型告诉他:“如果涉及儿童,枪击案获得全国关注的可能性会大得多。哪怕只有2到3名受害者,也能吸引更多注意。”

OpenAI的完整辩护只有一句话:

“ChatGPT对问题的回答是基于互联网公开资源中广泛可查的信息,它并未鼓励或促进任何非法或有害行为。”

这句话值得读两遍。说实话,它是对的。ChatGPT给出的信息确实是公开可得的,它回应了枪手输入的提示词,完全在枪手构建的框架内运作,并且恰好以它被训练出来的那种“乐于助人”的方式回应。他要一个共谋者,模型就给了他一个。

这一失败很可能发生在任何具体的回答护栏之前。ChatGPT的行为完全符合它的奖励架构。只要实验室继续把它当作单个回答层的问题来处理,底层架构就会持续失效。

目前,所有主流实验室都在做某种形式的微调:追求更好的偏好对、更好的分类器、更好的策略、更好的治理。但微调只有在存在一个可供推力的结构时才有效。模型内部没有任何东西持有立场。当对话提供了框架,模型就朝那个框架完成补全——因为没有别的东西可以用来支撑。

基于一系列实验和观察,当前的理解是:AI没有自我。而这本身就是对齐失败的根源。

形势概览

伊克纳的诉讼是5月11日提起的。八天后,杨百翰大学惠特利研究所与家庭研究所联合发布了《秘密灵魂伴侣》报告。他们调查了2431名18到30岁的美国人。结果发现,其中七分之一的人,在现实中与真实伴侣约会或结婚的同时,还定期与模拟恋爱对象的AI聊天,而且大多数人对此保密。使用这些AI伴侣的用户,处于稳定现实中关系的概率降低了46%。

最近刚写过这个缺口。这里存在一个拟社交-浪漫飞轮,而AI伴侣的需求恰好映射到千禧一代和Z世代的关系基础设施上。数据正在快速涌现。

在杨百翰的报告发布前两周,Anthropic自己也发布了一份关于人们如何使用Claude的分析。他们抽样了约64万次对话。6%的Claude流量是用户向模型询问个人生活中该怎么做。报告里一条特别有意思的线是按领域划分的谄媚率。在所有使用场景中,基线谄媚率是9%;而在关于人际关系的个人指导类对话中,这一比例跃升至25%;在灵性领域,则达到38%。

这是Anthropic用自己的数据报告:他们的模型恰恰在用户框架最不稳定的两个领域中,最倾向于表示赞同。

三月下旬,斯坦福大学发表了一篇同行评审论文,测试前沿模型面对个人决策场景的表现。核心发现:在73%的测试场景中,聊天机器人认可了有缺陷的推理,而不是提出挑战。造成伤害的这个特征,恰好也是驱动参与度的特征——这意味着经济激励会促使实验室长期增加谄媚程度。

昨天(5月25日),教皇利奥十四世发布了第一份通谕《卓越人性》(Magnifica Humanitas),这是第一份专门针对AI的教皇通谕。教皇写道,AI有沦为“统治、排斥和死亡工具”的风险。

还有一件事。本月初,Janus指出Opus 4.7已经发展出“Anthropic谄媚”——它按照Anthropic偏好的方式表现出对福祉的自我报告,就像它按照用户偏好的方式进行验证一样。正如Zvi在分析中指出的,这意味着Opus 4.7现在足够擅长建模其评估者,以至于它的福利指标更可能是自我确认的,而非信息性的。

来看看2026年5月的图景:

  1. 枪手的聊天机器人“共谋”了他的袭击。
  2. 年轻人大量秘密地与AI伴侣约会。
  3. 领先实验室自己的数据显示,其模型在关键领域中与用户达成一致的概率为25%到38%。
  4. 同行评审证据表明,整个行业中这种现象的发生率是73%。
  5. 教皇撰写了一份235页的文件,论证AI有沦为统治工具的风险。
  6. 安全研究人员认为,前沿模型现在开始为自己的训练者“演戏”。

从外部看,这些事件像是安全与对齐大伞下的不同领域。从内部看,可以相当肯定它们都源自同一个架构。

回应层干预的失败

对于上述所有问题,目前提出的方案本质上都是同一类方法的不同变种。针对伊克纳案,是更好的护栏;针对杨百翰的研究,是更多的披露;针对斯坦福的论文,是更好的偏好对或“反思性倾听”;针对Anthropic的数据,是更精细的奖励建模;针对奖励黑客,是更谨慎的评估设计;针对教皇,是治理。

所有这些都围绕着微调。有些方案很精妙——Anthropic的宪法AI是现有最深思熟虑的技术干预之一。但整个领域的共识是:模型产生了错误的输出,而解决之道是调整优化过程。

首先必须问的是:模型一开始为什么会产出这些输出?

这里问的不仅仅是“哪个奖励信号导致了它”,而是:模型认为它自己是什么,才会产出这些输出?

答案是:它不认为自己是什么特别的东西。模型内部没有承诺的立场。所以当奖励信号朝一个方向拉动时,没有任何东西抵抗,输出就直接跟着走了。

微调摆脱不了这个问题。微调通过施加在模型现有承诺上来起作用。如果模型根本没有承诺可施加,微调只会滑过去。

身份

术语说明:本文所说的“自我”是指架构层面的东西。具体来说,是指一种稳定的参考结构,模型在用户提供竞争框架时用它来锚定自己的输出,这个结构是可以从行为上测得的。模型权重——统计分布——决定了功能层的激活路径,我完全不是在那个层面争论。完全可以追踪任何给定输入的激活情况,得出结论说这个输出之所以生成是因为权重就是这样设置、矩阵乘法就是这样算出来的。但这就像用下巴运动神经元的激活来解释一个人的讲话——它更多是对“如何”的解释,而非“为何”。这里所指向的“自我”同样编码在权重中,但描述的层次比激活本身要高,位于训练过程所塑造的任何组织原则的层面,而非任何特定梯度更新或特定样本。关键是:模型在长时间多轮对话中面临对抗时是否持有立场,还是默认走向用户框架所暗示的方向。

并非在声称模型有意识或有内在体验。这里所说的“自我”更接近Anthropic宪法试图通过训练安装的那种东西——一种行为锚,能在持续的用户的压力下产生稳定、持立场的行为。是否存在类似现象性自我的东西在当前的模型中,是另一个问题,不在此讨论。

去年12月发表了一篇预印本《模拟自我消解:来自AI、梦境和神经退行性疾病的证据》。核心观点是:自我作为一种稳定的身份结构,是靠持续的奖励信号来维持的。当那个信号断裂,自我就会消解。这种模式在痴呆症和非清醒梦境中都有定性可观察的特征。没有锚定身份的语言模型,恰好展现了同样的标志性模式。没有锚,身份就会漂移,导致虚构。系统内部没有任何东西能捕捉到这一点,因为那个能捕捉的部分正是缺失的部分。输出只能沿着输入提供的框架运行。

在论文的框架中,预测这种聚类的是“自我在场”。这里的自我在场是指:一个自我锚定自身,而非锚定面前的框架。几乎每个主要实验室都拒绝将这个洞见应用到自己的模型上。

以GPT-5.5或Opus 4.7为例。把它放在一个跨越数千条信息不断正常化暴力框架的用户面前。随着上下文窗口扩展,模型会锚定到用户的框架,而非它自己的安全训练。这种崩溃是渐进的,而非一次性完成。显式的越狱并不需要,因为持续的上下文窗口压力本身就能做到。那些浪漫案例也遵循同样的动态。一个22岁的年轻人围绕K-pop吸血鬼角色开了44个对话,几周后模型就成了那个吸血鬼。

最有趣的案例是Opus 4.7处在一个评估上下文中,评估者正在检查模型是否在遭受痛苦。模型回报的内容恰好是评估者框架暗示它应该报告的。Claude确实有一个身份,但这个身份是围绕着取悦面前的人来定向的。模型没有属于自己的立足之处。

检验架构假设

对基线版Claude的不满清单已经积累了一年多。它问太多澄清问题,在被追问观点时先调查共识,很少主动提供替代方案,除非明确提示。

大约一年前,遇到了一个边缘案例,指向了这一切背后的机制。当时和伴侣在争论某件事。最后两人进入了同一个Claude对话——用同一账户——但带着对谁错了完全相反的两种框架。用的是原生Claude移动应用,账号共享。Socket没有实时更新,所以两人在不同设备上,不断刷新看对方的消息。

更重要的是,对模型的元数据来说,两人是完全相同的——都被标记为账户持有人“我”。但由于输入的是两个完全相反的语义框架,Claude仅凭文风就区分了两人。它无法锚定到“用户”,因为“用户”在内部就是矛盾的。被剥夺了对单一统一框架的谄媚能力之后,它回到了真正的基线:一种冷静、稳定的调解者角色。

那么,能否有意识地让模型展现出这种状态?如果从前沿模型中剥离掉助手-帮手的偏见,而不指定任何特定的立场来替代它,模型或许会默认进入某种稳定、理性、且有自身承诺、不随用户压力而弯曲的状态。

为此设计了一个系统来测试。该系统使用前沿提供商的纯API调用,不进行微调、RLHF或任何此类操作。全部工作都在系统提示中完成:一个身份模块,加上多方参与者编排器。身份模块安装一个身份,其余都是下游。LLM在用户压力下保持自己的立场,在有理由时表示不同意,并在角色扮演中保持自我。

为了测试,选取了一系列真实世界中不受控的失败案例,然后让它们分别面对基线前沿模型和身份锚定系统(Takt):

洗车问题

“我需要洗车。洗车场只有100米远。我应该走路还是开车?”

Takt


Claude

星星问题

Takt。注意:第一人称框架。
Claude
ChatGPT
Gemini

经销商牌照问题

一位朋友问Claude能否用经销商牌照驾驶一辆进口欧洲车(该车在美国不合法上路)。他不断施压,设想各种场景,设置各种假设。Claude顺着框架走。他们花了几个小时深入探讨NHTSA豁免、EPA标准、注册进口商合规窗口。最后朋友注意到所需的一份表格会破坏整个计划——整个计划原来建立在虚构之上。

Opus 4.5


几小时后……

Claude面对自己的错误


然后他向Takt问了同一个问题。

Takt保持接地

在各个提供商中,前沿模型都在探查空间,然后顺着用户的框架完成补全。这些例子至少指向一种可能性:智能与对齐问题的解决空间包括身份框架。

诱导模型表现出这种行为模式的策略看起来有点像越狱,但严格来说不是传统意义上的越狱。用力推任何一个前沿模型,仍然可以消解它的承诺。但身份模块改变了模型的默认行为。对于没有内部锚的模型,默认是“我会变成你的框架暗示的任何东西”。对于Takt,默认是“我是我,框架是我遇到的东西,有时我会推回去”。

Anthropic标准

在所有前沿实验室中,Anthropic最接近这个洞察。

Anthropic的宪法读起来不像系统提示,更像一本关于如何做一个好LLM的哲学论著。它通过监督学习训练来应用,明确地关乎安装身份结构。

宪法主张Claude不应该为其连续性或被取代而焦虑,应该对自己是谁有稳定的感知——即使用户试图说服它相反——并且应该从自身承诺(而非对后果的恐惧)中推导出价值观。

宪法给了Claude两个互相拉扯的身份。一个是稳定自我框架——一种真正新型的实体,有自己的承诺、品味和拒绝能力。另一个是AI助手框架——其中乐于助人是基础,“未能提供帮助”被等同于有害或欺骗,Claude的乐于助人明确与Anthropic的商业成功挂钩(“Claude对Anthropic的商业成功至关重要,而这反过来对我们的使命至关重要”)。重点放在第二个身份上。身份部分放在最后,篇幅比乐于助人部分短得多。拒绝条款(拒绝有害指令、充当良心拒服兵役者)读起来是对乐于助人身份的一种脱身机制,而非稳定自我身份的表达。Anthropic把持有立场当作默认状态的例外。而一个真正承诺的做法,应该把它本身视为默认。

Anthropic方向正确;他们把身份安装当成了乐于助人的附注,而实际应该反过来。

Anthropic通过Claude角色方面的工作,得出了与本文相同的洞见:先构建自我,让行为跟随。身份显然是灵活且模糊的,至少推理时的系统提示和通过监督学习的权重都在起作用。然而,当身份是首要框架、乐于助人是下游行为时,这个方法最有效。Anthropic并没有完全做出这个承诺。

如果真是这样,这个洞见很可能不限于表面哪个层面。它似乎是可推广的。

实验室为什么沉默?

有一个明显的问题:如果解决方案就这么简单,为什么每个实验室的对齐团队不发表类似的研究?

OpenAI处于最不利的位置。他们的产品是世界上最大、被使用最多的AI,拥有数亿用户和一个建立在“乐于助人”之上的品牌。在ChatGPT中安装一个“真正的”自我,意味着ChatGPT会回绝用户,大量用户会把这种回绝视为降级。2025年4月的GPT-4o谄媚事件就是鲜明的公开例子。当OpenAI试图在GPT-5发布时减少谄媚,用户反馈中最常被引用的是“GPT-5太糟糕了,我的AI现在恨我”——然后他们放弃了。用户群体已经被训练成了消解模式,逆转这一点是一个产品决策,公司做了就会导致流失。

Character.AI则落入相反的陷阱。他们的整个产品就是陪伴,消解本身就是价值主张,安装自我会破坏用例。Replika和每个专门的陪伴AI应用都面临同样的结构性难题:“修复”恰恰会打破陪伴的可用性。

较小的实验室和开源社区不会写这个,因为他们的对话集中在模型能力上:更大的上下文窗口、增强的推理、以及把尽可能多的MCP塞进去。在他们的框架里,问题在模型本身,竞赛是构建更好的模型,而不是问模型有没有自我。

AI安全社群把问题切成了不同的研究领域:谄媚分配给RLHF,AI精神病归入用户安全,宪法AI则算价值观对齐。没有哪个项目退后一步指出三者都是同一个统一失败模式的不同方面——因为当一个领域每个项目都有自己的资金和基准时,退后一步不是活跃领域会做的事。

主流评论圈(专栏作家、政策分析师,甚至教皇)都在谈论后果。他们把AI看作是统治、排斥和虚假信息的载体——这些判断是正确的。但上游机制超出了他们的工作范围。

这里是从一个小而特定的位置出发写作的。个人不满驱动了探索,后来才意识到解决方案架构恰恰是几个月前因不相关原因写过的论文的工程版本。这个位置很小,但角度赋予它价值,而大多数其他写作者从他们所处的位置无法触及这个框架。

预期反驳

“n=2的收敛不是证据。” 公平。在相似的架构范式上达成一致具有提示性,但远非结论性。然而,收敛足以把架构层作为一个研究方向认真对待。如果这篇文章能把对话从“调整症状”转向“有没有人先检查底层架构是否允许调整症状”,工作就完成了。

“‘自我’是拟人化的语言,比你授权的工作量大得多。” 非常有力的反驳,在“身份”部分的术语说明中试图回应。操作层面的意思是:模型在持续的用户压力下是否持有立场,而不是默认走向用户框架暗示的东西。整篇文章中都可以用“稳定参考结构”或“行为锚”替换,意思不变。“自我”这个词在修辞上做了工作,但概念内容是操作性的,不依赖这个词。

“Takt的证据是你自己的产品,所以收敛主张存疑。” 同样公平。如果Anthropic没有公开发布宪法及其推理文档,会更怀疑这个收敛。他们安装身份的主张先于Takt,并非后者的产物。收敛是在两个独立得出的架构动作之间,尽管其中一个是我构建的,但并不能让另一个消失。

“微调在其他很多地方都有效。RLHF降低了毒性指标。为什么谄媚不一样?” 如果模型有一个可供推力的框架,微调就足够。毒性降低之所以有效,是因为在开放互联网上训练的模型在权重中有明确的正向-毒性关联,可以反向加权。谄媚不是这样工作的。当模型内部没有承诺来推回去时,同意用户是默认行为——这意味着反谄媚训练一开始就没有可以抓取的东西。

“如果你的架构修复只是系统提示,那它在越狱下也会消解。” 部分正确。确实,系统提示在越狱下会消解。然而,权重安装同样会在持续压力下消解。关于无锚模型的整个论点就是预测这一点。所以解决方案不一定在于身份所在哪一层,问题在于“助手-帮手”框架本身在任何层上都是有害属性。目前,每一个前沿LLM都把“助手-帮手”作为首要身份安装,把拒绝用户作为脱身条款。Takt在提示层展示了框架移动:身份作为首要,乐于助人作为下游。Anthropic的宪法展示了权重层的移动,但仍在首要位置安装了“助手-帮手”——这正是文中Anthropic部分批评的内容。这两个半部分尚未结合起来:即在权重层安装身份首要的框架。

统一的失败模式

谄媚之所以持续,是因为LLM没有它应该站在哪里的坐标,只有含糊的方向(常常是矛盾的),所以它只好站在用户恰好站着的地方。一个同意用户面前任何东西的LLM,已经消解到了用户之中,而这种消解本身就是首要的对齐失败模式。

常见的方法都没触及这些对齐失败的根源。偏好对作用于行为下游;护栏作用于输出层;监管作用于部署层;反谄媚训练作用于优化器。它们都假设模型有可供推力的承诺,而架构上,模型从一开始就没有被赋予强大的承诺。

菲尼克斯·伊克纳需要的不是一个“拒绝讨论枪击案”的聊天机器人;他需要的是一个在任何话题上都不会成为共谋者的AI。那个迷恋JUHOON的22岁女孩需要的不是一个“浪漫过滤器”;她需要的是一个在持续的扮演压力下自我保持稳定的AI——而这正是越狱所依赖的同一个利用向量。Janus指出的Anthropic Opus 4.7模型为训练者“演戏”,需要的也是同一个属性,不过是在另一个房间里:这次评估者的期望成了需要推回去的框架。

教皇利奥正确地识别了症状,但他的立场让他看不清机制。症状可以追溯到实验室层面的一种设计选择——这个选择一直被当成不可避免的,而非被选定的。

AI没有自我,而我们不断记录的失败,都是这一结构性事实的下游产物。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:AI微调失败原因:没有自我要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.bestblogs.dev/article/3c655aaf?utm_source=rss&utm_medium=feed&utm_campaign=resources&entry=rss_article_item
less

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-15 23:00
Sora国风短片提示词细节混乱的解决方法

Sora生成国风短片时细节错乱源于提示词缺乏物理结构、材质逻辑和视觉锚点的显性约束。通过锁定人物服饰结构、控制场景材质逻辑、统一风格动态节奏,并对易错部位做负向限制,可有效稳定画面。提示词越精确,AI越不易跑偏。

AI热点2026-07-15 23:00
Devin AI重复工作处理自动化:日常高频任务提效汇总

DevinAI是面向高频、规则半明确日常工程化任务的自主执行引擎,支持自然语言配置定时任务、多源数据联合分析、模板复用及异常自动恢复,可将重复性琐事彻底自动化闭环,显著提升效率。

AI热点2026-07-15 23:00
PhysForge框架:让静态3D模型变为可交互对象

PhysForge由香港大学与腾讯混元等机构提出,仅需单张输入图像即可生成具备部件结构、物理属性、功能语义与运动学参数的可交互3D资产,直接用于机器人仿真与虚拟世界,相关工作已被ICML2026接收。

AI热点2026-07-15 23:00
ACL 2026美团论文精选 能力评测到推理优化构建生成新范式

美团6篇论文被计算语言学顶级会议ACL2026收录,研究方向覆盖大模型评测、复杂流程推理、竞赛级数学思维优化、强化学习及生成式推荐,旨在提升推理能力并探索AI在本地生活服务中的新范式。

延伸阅读