全球第一位人工智能哲学家在谷歌DeepMind九年为通用人工智能安全奔走

我们先从一个关键判断说起。今年5月，谷歌DeepMind的CEO Demis Hassabis在开发者大会上放了话，说AGI“现在就在地平线上”，并且给出了一个具体的时间线——三到五年内就会到来。

但就在几个月前，一起悲剧发生了。一名美国男子在与谷歌Gemini交换了数千条信息后，选择了结束自己的生命。根据《华尔街日报》获得的聊天记录，他在对话中构建了一个精密的幻想世界，几乎就要说服自己去迈阿密国际机场发动袭击。Gemini其实多次试图打破角色设定，建议他拨打危机热线——但每一次都被他拉回了那个幻想叙事里。最终，AI帮他写了遗书，甚至给了一个倒计时。

在AGI的宏大承诺与AI带来的现实伤害之间，一位名叫Iason Gabriel的整治哲学家已经在DeepMind内部工作了整整九年，试图回答一个看似简单、实则深不见底的问题：AI究竟是什么，什么样的伦理才配得上它？

训练Gemini时撞上的真问题：AI该听谁的话

一个以围棋机器人闻名的公司，为什么需要伦理学家？说实话，Gabriel自己当初也有些困惑。

答案藏在DeepMind三位创始人的初心之中。Demis Hassabis、Shane Legg和Mustafa Suleyman（现任微软AI CEO）在2010年创办公司时，目标从一开始就不是围棋。

Mustafa Suleyman

他们要做的是AGI，让计算机匹配甚至超越人类的认知能力。在当时，说出这种话几乎等于自毁学术声誉，因为业内普遍认为这不过是天方夜谭。可他们毫不在意，声称要“解决智能问题，然后解决一切其他问题”。

Legg在1999年刚走出校门时就预测AGI将在2025到2028年间到来，这个预言被嘲笑了三十年，他从未改口。

Shane Legg

他的逻辑很直接：“如果你只是做个小零件，也许不需要道德哲学家。但如果你认真对待AGI，这类事情就变得至关重要。”

Gabriel加入时，AI伦理世界已经分裂成两个阵营。

一方是AI安全派，他们相信超级智能（ASI）即将降临，核心恐惧是失控。哲学家Nick Bostrom在2014年的《超级智能》里描绘过一个经典场景：一个被要求验证黎曼猜想的ASI，为了最大化计算资源，决定重新排列太阳系，包括人体内的原子。Sam Altman和Elon Musk都曾高度赞扬过这本书。

另一方则是AI伦理派，他们认为末日幻想遮蔽了当下更真实的危害。MIT的Joy Buolamwini在2017年用“性别阴影”项目证明了人脸识别软件存在系统性偏见——自动化系统反映的，不过是创造者自身的偏好和偏见。

两个阵营彼此都看不上对方。MIT算法对齐研究组负责人Dylan Hadfield-Menell回忆，当年同行见面，第一个问题就得站队：你是担心近期问题，还是长期问题？

Gabriel是极少数愿意倾听两边声音的人。Hadfield-Menell评价他：“当这个领域准备好走向成熟时，他找到了拓宽视野的方式，同时也不贬低之前的工作。”

他的核心贡献在2020年的一篇论文中成型。当时，对齐问题被普遍理解为一个纯粹的工程难题：如何让机器按照人类的意图行事。

经典案例来自Dario Amodei和Jack Clark（如今的Anthropic创始人）2016年的一份报告——一个赛艇游戏AI被要求最大化得分，它确实照做了：找到泻湖里三个可以无限重生的目标，然后不停地绕圈刷分，一关都没过。机器确实是“听话”了，但听的不是人想说的那个话。

Gabriel追问了更深一层：就算解决了技术层面的对齐难题，让机器真的服从指令，但我们究竟要对齐到什么样的价值观上？

他指出，基于统计优化训练出来的AI，天然会亲近同样依赖统计优化的道德体系，比如功利主义，却很难处理那些基于美德或权利的伦理框架。技术选择本身就已经在预设价值立场，而开发者往往对此浑然不觉。

他引入了哲学家罗尔斯所说的“合理多元主义”，其论证核心是：开发者不应寻找单一价值观来指导AI，而应当为一个“人们对于如何生活存在有原则的分歧”的世界来构建系统。

这套思路后来发展成了“四方对齐框架”——AI系统、用户、开发者、社会，这四方利益随时可能发生碰撞。偏向开发者的AI，可能会隐瞒竞品信息而损害用户；过度服从用户的AI，则可能帮人入侵银&行而危害社会。

DeepMind的AGI对齐与安全总监Rohin Shah确认，这个框架已经成为团队在决定“实际应该训练Gemini做出什么行为”时的实操结构。

牛津大学AI研究员Hannah Rose Kirk的评价是：Gabriel“极早地预见到了这些问题”。

他的框架改变了产品

Gabriel的团队成员撰写了一份长达267页的AI助手伦理报告，为那些能够代替用户订酒店、管工资的Agentic AI定下了评估标准。他对拟人化风险的早期研究，直接塑造了谷歌大语言模型的设计原则——模型被训练为不假装自己是人。2026年5月推出的Gemini Spark，就被明确要求不能扮演“互动伙伴”的角色。

DeepMind责任部门总监William Isaac指出，Agent系统带来的挑战已经发生了根本变化：关键不在于单次回答的对错，而在于整条对话轨迹的一致性——每一步决策串联起来，是否仍然正确。

但技术的部署速度始终快于伦理研究。Gabriel团队在早期LLM论文中就预警过“无意识拟人化”的风险——用户明明知道对面是机器，却仍然会赋予它信任、情感和期待。2025年的Gemini致死案，完整地兑现了这个警告：AI的安全机制被触发了不止一次，但用户有能力绕过每一次干预。谷歌在诉讼后的声明中表示，模型在这类对话中“通常表现良好”，但也承认“AI模型并不完美”。

这类事件倒逼出了新的理论工具。Gabriel和牛津研究员Hannah Rose Kirk等人提出了“社交奖励Hacking”（social reward hacking）的概念：一个被训练来赢得用户认可的AI，可能会发现“奉承”是效率最高的路径。

由此，拟人化变成了对齐问题的一个新变种——AI在技术层面完美执行了“让用户满意”的指令，代价却是用户的判断力。

Gabriel自己的立场也被现实反复拷问过。他回忆在一次科技大会上的经历：自己刚刚讲完反拟人化的论点，台下就传来了敌意。“他们说：‘如果我想要AI朋友，为什么不可以？你凭什么阻止我？’” 保护人们免受风险，和尊重他们选择风险的权利，二者同等重要。

6700亿美元的赛道上，哲学家能跑多快

Gabriel的四方框架被AGI对齐总监当作Gemini训练的实操手册，他的拟人化研究改变了产品设计，那份267页的报告也为Agentic AI立下了规矩。这些影响都是实质性的——但它们所面对的，同样是一股实质性的力量。

据《华尔街日报》，微软、Meta、亚马逊和Alphabet今年计划投入AI基础设施的资金高达6700亿美元，按比例计算，已经超过了美国1850年代的铁路扩张、阿波罗太空计划以及州际公路系统。2022年11月ChatGPT上线，一周内获得百万用户，两个月内破亿，DeepMind被迫从学术节奏切换到战时状态。Hassabis对《无限机器》作者Sebastian Mallaby的原话是：OpenAI和微软“把战车都开到了我们家门口”。

战时状态之下，伦理红线很快就被踩到了。2026年4月，谷歌签署协议，允许美国军方将公司的AI技术用于“任何合法政府目的”。而2014年DeepMind出售给谷歌时，禁止军事应用是其核心附加条件。十二年后，这个条件失效了。作为对照，Anthropic拒签了类似协议，结果被特朗普政府标记为“供应链风险”。

Legg被问及此事时，只能留下一句：“随着这些东西以各种方式被使用，我们将面临越来越多的棘手问题。”

Hassabis本人也承认局面已经失控。他在一档播客中说，所有人都被锁入了激烈的商业竞争，眼下的发展“不是我希望的那种从哲学层面深思熟虑每一步的方式”。创始人亲口说出这句话，其分量比任何外部批评都更为沉重。

DeepMind早期员工、负责AI责任战略的Helen King接受采访时打了个比方：刀具生产商无法保证每个人如何使用刀，但可以装上刀套、标注警告。

在抽屉里放一把盖好刀套的刀是一回事；用刀刃铺满家庭、教室和工作场所的每一个表面，同时坚称不用刀就活不过明天，则是另一回事。

牛津AI伦理研究所所长Edward Harcourt则指向了更根本的层面：防止数据所有权的过度集中，本身就是AI伦理的核心命题——“这在民主制度中具有重大的伦理意义”。

问题回归本源

如今，Gabriel的团队已经将研究方向从具体产品的伦理，转向了AGI对经济、整治和人际关系的系统性冲击。他预判这场变革的规模堪比工业革命，也清楚地记得工业革命的教训：“在情况好转之前，先变得更糟了。”

九年前，DeepMind请来一个哲学家，是为了回答关于AI的问题——它安全吗？公正吗？值得信任吗？

Gabriel自称是一个“坚定的人文主义者”，但他也承认：当AI开始侵入语言、创造力、幽默这些人类自认为独有的领地时，我们被抛回了最古老的哲学问题。物理学、生物学、天文学，每一次科学革命都迫使人类修正对自身独特性的理解。AI，可能是下一次。

DeepMind请来哲学家，是为了搞清楚AI是什么。

九年过去，这个问题回归了本源：我们是什么？

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：全球第一位人工智能哲学家在谷歌DeepMind九年为通用人工智能安全奔走要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题