德米斯·哈萨比斯谈即将到来的新时代

在人工智能（AI）飞速发展的当下，其蕴藏的巨大潜力与潜在风险已成为全球瞩目的焦点。谷歌DeepMind首席执行官Demis Hassabis提出了一个前沿AI治理框架，然而，与此同时，公司内部却因AI军事化应用爆发了重大争议，导致核心研究员Alex Turner辞职。本文将深入剖析Hassabis的提案、各方专家的回应，以及DeepMind在坚守承诺与屈服于军事需求之间的艰难抉择，旨在全面呈现这场关乎AI未来的深刻博弈。

第一部分：Demis Hassabis的“前沿AI新时代”治理框架

核心声明与诉求

Hassabis在文章中明确指出，我们正站在技术奇点的前夜。他提出的核心诉求是，在美国政府内部建立一个类似FINRA（金融业监管局）的“前沿AI标准机构”。该机构将负责监管所有根据技术基准定义、生产“前沿模型”的企业。评估标准将定期更新，并在模型发布前后识别并处理其潜在漏洞。

他强调，AI的重要性远超以往任何技术突破，甚至可以与火与电的发现相提并论。他引用道：“如果停下来想一想，我们本质上找到了一种让沙粒思考的方法，这堪称奇迹。” 他认为，这项技术的影响力将是工业革命的10倍，且速度将快上10倍，有望解决药物研发、清洁能源和先进材料等社会最棘手的问题，最终带来一个物质丰裕的新时代。

Demis Hassabis: 我毕生致力于通用人工智能（AGI）的研究，因为我始终坚信，如果能够负责任地构建和部署，它将成为有史以来最具变革性和最有益的技术之一。AGI无法与任何标准的技术突破相提并论，甚至不能与互联网或移动技术相比——它更类似于电或火的发现。这项技术的影响将是空前的，或许是工业革命影响力的10倍，速度也是其10倍。

未被言明之处：风险与分歧

Hassabis的论述具有明显的策略性，他回避了具体说明AI可能带来的负面风险。当他说“专家们存在分歧”时，他模糊了这些分歧的严重性。

• Nate Soares (MIRI): 很高兴Demis承认这是“人类历史的关键时刻”和“极其激烈的竞赛”。但令人失望的是，他的解决方案只是一个评估模型是否危险的“标准机构”，而没有制定一旦发现危险该如何处理的计划。他承认“专家们存在分歧”，但令人不快的是，他忽略了这个分歧是关于“5%”还是“≥50%”的全面灾难概率。我们必须做得更好。
• Aaron Scher: 很高兴看到AI CEO们公开谈论对AGI的看法。但我认为Demis的政策建议是错误的，因为它来得太晚，力度也太小。当他提到专家们存在分歧时，意思是有些人认为这项技术会杀死所有人的概率是5%，有些人认为是40%，还有人认为是90%。

这种策略性的表述，使得不了解内情的人很容易误以为Demis主要担心的是就业问题，而实际上，他所说的“安全”远不止于此。

提案的具体内容

Hassabis的提案旨在为人类争取更多时间，甚至包括“协调放缓开发速度”的选项。

Demis Hassabis: 展望未来，我们需要强大的安全措施来维持对日益自主和递归自我改进系统的控制，并解决那些随着时间推移才会变得清晰的新问题。我一直深信人类的聪明才智和创造力能够解决任何问题。我相信，缓解AI相关的技术风险是我们能够共同应对的挑战，但前提是我们要给自己足够的时间和空间来走好这关键的一步。目前，无论是作为领域还是作为一个更广泛的社会，我们都没有做到这一点。

他进一步解释了提案的优势：

这种方法的力量在于，它既专注于技术，又同时支持创新并激励负责任的行为。它旨在跟上该领域的加速发展，并适应已识别出的最大风险，并且在情况需要时，可以升级措施，包括协调前沿实验室之间的开发放缓。

尽管提案细节不多，但多位业内专家认为这是一个积极的起步。

• Jack Clark (Anthropic): 目前，处于AI前沿的所有人都同意，应由第三方测试AI系统，并利用这些测试结果制定标准，以推动政策制定。很高兴看到@demishassabis为此提出了一个框架。
• Samuel Hammond: 看到谷歌、Anthropic、OpenAI和微软的领导层都在相当独立地就即将到来的技术加速发出警告，这令人震惊。

因此，该提案及其要求被评价为一种“最低限度”的贡献。

良好开端，但远远不够

许多人认为，尽管FINRA模式比没有强，但存在巨大的监管俘获风险，且无法替代政府全面行动。你需要一个类似于SEC（美国证券交易委员会）的机构来监督你的FINRA。这并不意味着就不该设立FINRA，但意味着你仍然需要SEC。

这种（至少部分）自愿的、仅针对计划发布模型的制度，以及缺乏有约束力的国际协议，显然不足以解决问题。正如很多人指出的，它只是比什么都不做要好得多。你不必像一些人那样认为只有全面暂停才是唯一出路，但也能意识到我们还有很长的路要走。Demis的言论，如果理解其真正含义，暗示了提案中未能反映出的危险和紧迫性。

• Eli Tyre: 这项提案是否只针对公司计划发布的风险？如果一家公司开发了一个前沿模型但从未发布，仅内部部署以开发更强大的AI能力，他们是否就能免于监督？
• Connor Leahy: 虽然@demishassabis正确地指出，随着我们接近AGI（以及超级智能），我们需要采取紧急行动，但正确的应对措施不是“自律组织”。我们需要禁止超级智能，而不是赋予行业监管权力。
• Aaron Scher: “灭绝威胁”、“仅剩短短几年”、“工业革命的10倍”——这些迹象并不指向“我们来评估模型能力并制定自愿安全标准”。我们需要后退，我们需要停止创建ASI。我认为Demis的乐观是一种感觉，而不是可供信赖的预测基础。就像Rob Miles在视频中说的，如果200年前有颗小行星撞向地球，我们只能坐以待毙。此外，该提案似乎只关注公开部署，而内部部署才是风险所在。最后，我认为拟议的机构无法真正实施、验证和执行放缓，且关于“自愿”的表述存在歧义。我们需要一个长期的国际条约，并真正地后退，而不仅仅是放慢一点速度。

对未来AI能力的质疑

有人对AI带来的巨大变革持怀疑态度。例如，有观点认为，到1945年，人类已经从优越的智能和信息中获取了超过10%的技术价值（以生活水平衡量）。但作者认为，这种衡量方式不全面。

如果以瞬间的、作为人类实体的生活体验来测量，并假设寿命和衰老路径基本固定，那么可以认为我们已经达到了最优状态的10%以上。但即便如此，作者认为，能够治愈衰老和疾病、拥有互联网和电脑/手机、以及不必像1945年那样工作，就已经远超所有之前的一切。如果只看纯粹的GDP数字，那么实现10倍的增长看起来非常可行。

Noah Smith: 第二次工业革命持续了大约100年——从1870年到1970年。在此期间，美国的生活水平提高了5倍。如果以工业革命10倍的影响力、1/10的时间来算，就意味着生活水平在10年内提高50倍——即每年48%的GDP增长率。

此外，还有来自Coinbase CEO Brian Armstrong的“愚蠢”异议，他认为AI就像软件一样，现有法律和激励措施就足够了，甚至不需要SRO。

DeepMind的生物弹性策略

DeepMind还发布了一份关于其生物弹性策略的三页声明，作为其自我治理能力的测试样本。

该计划有三大支柱：
● 防止威胁行为者滥用我们的模型。
● 快速检测新疫情。
● 果断应对这些疫情。

他们采用多种方法通过纵深防御来防止滥用，但对具体方法含糊其辞。作者认为，至少以下四种情况之一必然成立：

1. 他们的方法无效。
2. 他们的方法仅因Gemini的能力还不够强而有效。
3. Anthropic 毫无理由地过度使用其分类器。
4. Anthropic的应对措施非常无能且代价高昂。

对于第二支柱（检测疫情），这是全世界都应该做的事，但大多没有做。DeepMind正在寻找提供帮助的方法，但并未将其视为自己的责任。对于第三支柱（应对疫情），同样重要且全球准备不足，也并非Google的职责范围，他们只是通过AI提供一些帮助，而大部分工作由政府决定不做的普通预防和准备工作构成。

因此，Google建议政策制定者通过新的法律和行动来落实第二和第三件事。他们还呼吁建立一个联邦框架，以评估前沿模型在生物领域的风险收益权衡，这将是Demis提案的补充。

小提示： FINRA（金融业监管局）是美国一个非政府组织，负责监管证券业。而SEC（美国证券交易委员会）是联邦政府机构，拥有更强大的执法权。将FINRA作为AI监管的模型，意味着AI公司将被允许进行一定程度的自我监管，但许多专家认为这远远不够，必须要有像SEC这样的政府机构介入。

第二部分：DeepMind向五角大楼屈服

在经历了英雄式的努力，试图阻止Google与五角大楼签署一份允许“所有合法用途”的协议后，Alex Turner 从Google DeepMind辞职。原因在于，公司违背了承诺，将AI卖给了军方，且没有任何针对杀手机器人或大规模监视的限制。许多人当初并未发声，并辩称这类事情不会发生，但最终它发生了。截至目前，只有Alex Turner以辞职作为回应。

需要明确的是，尽管Jeff Dean最终未能动用其全部影响力，但他在这件事上的努力已经远超大多数人。因此，不应将矛头主要指向他，而应指向那些什么都没做的人。

DeepMind领导层的失败

作者认为Demis Hassabis在此事上负有责任。他继续坚持DeepMind的原则没有改变，也没有被违反，但事实并非如此。如果Hassabis被Google CEO Sundar Pichai否决，或别无选择，那是可以理解的，但这表明他引导Google的策略正在失败。即便如此，也不能假装什么都没发生。

DeepMind员工Andreas Kirsch直言不讳，指出2014年承诺的所有保障措施都已化为乌有。超过600名同事签署了公开信，请求Google不要签署该合同，但Google仍然签署了。正如一位律师指出的，Google的合同条款完全无效，政府可以随心所欲。

Andreas Kirsch: 这一切都不是新闻。DeepMind的治理记录如下：

2014年：独立伦理委员会——据报道是出售的条件
2015年：一次非正式会议；然后被有效放弃
2018年：AI原则排除武器和监视
2025年：排除条款被删除

2026年：五角大楼合同

Demis Hassabis 随后做了一个不同的赌注：“将原本用于‘不信任’谈判的精力，投入到建立真正的信任中。” 以及：“安全不在于治理结构。” 用信任代替治理。五角大楼合同就是对这个赌注的试金石。

Alex Turner在辞职信和后续的详细叙述中，讲述了事件的全过程：

Alex Turner: 最让我心痛的是看着AI伦理领袖们无所作为。

当五角大楼威胁Anthropic时，我正参加一个由国际安全与伦理AI协会（IASEAI）举办的会议。我游说IASEAI的领导层采取行动。

在台上，IASEAI领导层宣布将就支持Anthropic的声明进行成员投票。几乎全票通过。但投票消失了。IASEAI沉默了，无视了两个月来影响Google的机会。

在Google内部：我组织了一份请愿书，致信首席科学家Jeff Dean，要求他抗争。超过250名GDM员工签名。我还请求Jeff签署一份支持Anthropic的“法庭之友”陈述书。他签署了，这很棒。

……我提议由Jeff领导潜在的审查机构，但他并未支持这个提议。最终，我认为他没有动用他的影响力。我认为他本可以阻止这笔交易，但他没有。作为最后的尝试，我直接给Google DeepMind的CEO Demis Hassabis发了消息。他让我把我的提议发给两位高级政策人员。他们任由该提议无人问津，直到Google签署了协议。

在2018年，Demis、Jeff和DeepMind本身承诺既不“参与也不支持开发、制造、贸易或使用致命自主武器”。

Google签署了，但这些承诺者仍然在位。我认为只有三条诚实的道路：解释、放弃承诺、或辞职。沉默不在其中。

这是Demis选择的道路：否认一切已经改变。他声称“我们的原则没有任何改变”，然而他却是删除Google AI原则中武器禁令的联合作者。两者不可能同时为真。

许多人希望，当事情变得足够糟糕时，会有某个有权势的人说“不”。我对此进行了数月的测试。Anthropic坚守了它的红线，但大多数人没有。良心的承诺在权力面前常常化为泡影。

更具体地说，Alex Turner指出，签署了2018年《致命自主武器承诺》的人，包括Google DeepMind（组织）、Demis Hassabis、Shane Legg、Raia Hadsell、Jay Yagnik和Jeff Dean。该承诺明确反对将夺取人类生命的决定委托给机器。然而，没有人愿意以此为由辞职。

一次必须吸取教训的失败

许多Google DeepMind的员工为阻止这一结果付出了各种努力，但最终失败了。DeepMind的自我治理机制失败了。员工们发出了声音，有些人甚至很突出，但这还不够，拥有最高影响力的人没有使用它。当年出售给Google时做出的承诺已被打破。

从长远来看，这将影响DeepMind招募、激励和留住顶尖人才的能力。Google和DeepMind正在输给OpenAI和Anthropic，尽管Google拥有众多巨大优势，但无法招募、留住和善用顶尖人才是主要原因之一。他们的领导层拥有一些杰出人才，但领导者无法独自完成一切。

Demis Hassabis的声明值得赞赏，但仅仅呼吁他人采取行动，而自身不承担任何后果，可能会沦为廉价的空谈。希望它能超越空谈，推动对话向前发展。这并不容易，但机遇就在眼前，我们应该充分利用它。

常见问题：

问：为什么DeepMind的承诺如此重要？
答：2014年，当Google收购DeepMind时，据报道，一个关键条件是成立一个独立的伦理委员会，以确保AI不被用于军事或监控等有害目的。这被认为是DeepMind创始人为了确保其技术造福人类而设下的“防火墙”。2018年，Google正式发布了AI原则，明确排除了武器和监控应用。然而，2025年，这些排除条款被删除，为2026年与五角大楼的合同铺平了道路。因此，此次签约被视为对核心承诺的根本性背叛。

问：Alex Turner的辞职有什么重要意义？
答：Alex Turner并非普通员工，他是DeepMind的著名研究员，也是AI安全领域的知名人物。他的辞职，以“用脚投票”的方式，公开谴责了公司领导层的失信行为，并揭示了科技巨头在商业利益和原则承诺之间的巨大鸿沟。这为整个AI行业敲响了警钟，也促使更多人反思AI伦理与国家安全之间的平衡点。

综上所述，Demis Hassabis的提案勾勒了一个AI治理的蓝图，获得了行业内的初步认可，但其自愿性和局限性也引发了关于其有效性的广泛质疑。与此同时，DeepMind向五角大楼的屈服，则暴露了AI伦理承诺在现实利益面前的脆弱性。这场发生在AI前沿的博弈，不仅关乎技术发展方向，更深刻影响着人类社会的未来。如何在追求技术创新与坚守伦理底线之间找到平衡，将是所有AI从业者乃至全社会必须共同面对的核心议题。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：德米斯·哈萨比斯谈即将到来的新时代要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题