图灵奖得主迪菲预言2050年机器智能将统治世界

人工智能领域最炙手可热的研究方向，正从大模型驱动的语言理解、感知与生成能力，逐步转向一个更具突破性的目标：让AI能够自主规划、调用外部工具、串联执行多步任务，甚至直接对真实世界施加影响。这一关键转折，使得一个经典问题变得空前紧迫——智能体，究竟该如何被有效约束？

近日在北京举办的智源大会上，图灵奖得主Whitfield Diffie抛出了一个值得业界深思的命题。他的演讲标题直击核心：《护AI智能体之安｜御AI智能体之险》。沿着现代密码学与信息安全的演进脉络，Diffie追问的其实是同一个本质问题：当机器开始主动采取行动时，它的可信边界究竟在哪里？

谈到Diffie，熟悉信息安全领域的人绝不会感到陌生。1976年，他与Martin Hellman共同发表了里程碑式的论文《密码学的新方向》，首次提出了公钥密码与数字签名的思想，为后来开放网络中的安全通信、身份认证与数字信任奠定了底层逻辑。2015年，两人因此共同站上了图灵奖的领奖台。

演讲开篇，Diffie并未急于抛出技术方案，而是先回归两个基础词汇：“AI”和“Agent”。

“人工智能”这个术语，从一开始就自带争议。我们可以讨论人类的智能、动物的智能、机器的智能，甚至构想一些更加离奇的智能形态；但真正的难点在于，“智能”本身并非一个能被轻松定义的概念。它和意识、自主性、创造性、表达能力、主动性、学习能力，乃至“心智”这些概念纠缠在一起——每一个听起来都“有点像我们自己”。

那么，我们追求的究竟是什么？AI的经典研究领域包括问题求解、语言处理、博弈、机器控制、数学推理、计算机视觉等，这些都与人类智能有关。但计算机完成这些任务的方式，往往与人类截然不同。换句话说，AI并非简单地将人脑复制到机器中，而是让机器用自己独特的方式，去完成那些复杂且有用的事情。

Diffie将实践中的AI概括为：“让计算机做复杂、有用、看起来像人类行为的事情。”关键在于，计算机完成任务的方式常常与人类不一样。沿着这一思路，他区分了两个方向：一是让机器做复杂而有用的工作，至于它如何实现，不一定要模仿人类；二是反向工程人脑，试图理解人类如何完成认知任务。今天席卷业界的AI Agent浪潮，显然更倾向于前者——我们正在赋予机器越来越多的外部工具、上下文和执行接口，让它们在真实环境中自主完成任务。

随之而来的问题也发生了变化：当机器能力不断扩展时，我们不仅需要问它“够不够聪明”，还要问它“有没有主动性”，以及这种主动性是否受到了清晰有效的约束。

在AI领域，Agent并非新概念，反而是一个相当古老的话题。人类对“会行动的机器”的想象，可以追溯到几个世纪以前。1770年那个著名的“机械土耳其人”国际象棋机器，后来被证实内部藏有真人棋手——但这个故事恰恰说明，人们很早就在渴望制造一种看起来有判断力、有行动能力的机器。

今天，不同之处在于，这一想象正通过大模型、工具调用、自动化系统以及联网软件，逐步变为工程现实。过去的“会行动的机器”可能只是一场机械表演，但如今的AI Agent确实能够读写文件、检索信息、调用API、运行代码，甚至在复杂的工作流中连续规划与执行任务。它越有用，需要的权限就越大；越接近真实工作，就越可能对真实世界产生影响。

“因此，我们必须重新审视安全。”Diffie的判断非常清晰。

他把当前的软件安全概括为一条“反馈式”路径：先编写程序，程序出现问题，再修补。这种方式本质上类似于控制论中的反馈循环——依赖故障、攻击、补丁和重新部署来逐步改善系统。Diffie指出，这仍然是今天计算机安全的主流现实，但很难提供真正足够高的安全保证。尤其是当AI Agent开始以机器速度采取行动时，“先失败、再修补”的成本会成倍放大。

面向AI Agent，真正值得追求的是更加形式化的安全方法——在程序发布和运行之前，就能对它的行为边界获得更强的确定性。也就是说，安全不应只是在事故之后打补丁，而应该在系统设计阶段就回答清楚：这个Agent能看到什么？能调用什么？能修改什么？出现异常时如何被限制？它与其他程序、用户、数据之间的边界到底在哪里？

密码学，是信息安全中“最成熟”的部分之一。无论是美国的AES，还是中国的SM4，优秀的密码系统往往可以稳定使用多年。原因之一在于，密码算法通常相对小巧，能够被深入研究、分析和验证。一个对称加密算法可以在很少的代码中实现，其安全性虽然仍依赖数学假设和工程细节，但可以被社区反复审查。

但现实世界中的软件并非如此。编译器、操作系统、应用程序，以及未来大量运行的AI Agent——它们的规模远大于传统密码算法，也远远超出了人类逐行验证的能力。安全难题不再只是证明一个小算法是否稳固，而是要理解庞大软件系统在无数状态、权限、输入和交互中的行为。

由此，Diffie提出了一个重要判断：我们恰恰应该期待AI自身来完成这类复杂的验证与测试工作。AI可以在发布前更充分地寻找漏洞、生成测试用例、探索边界条件，甚至辅助形式化验证。换句话说，AI不仅是安全的新挑战，也极有可能成为安全工程的新工具。

不过，他也提醒：AI能改善发布前的测试，却不能完全解决发布后的安全问题。在软件更新的现实世界里，攻击者会逆向分析补丁，而用户往往需要数天、数周甚至数月才能完成安装，那些未打补丁的系统就成了敞开的攻击窗口。这个问题本身并不新鲜——至少可以追溯到20世纪40年代。AI Agent只是把它放大到了更高速度、更高权限、更高复杂度的环境里。

AI Agent的风险并不神秘，它首先继承了所有传统软件的风险。它们仍然是进程，仍然运行在操作系统中，仍然要访问文件、网络、内存、凭证和外部服务。唯一的不同在于，它们的行为更难以预测，任务链条更长，可能接触的资源更多，也更容易被人类赋予“替我完成事情”的授权。

“AI Agent本质上仍然是计算过程。保护它们，就需要我们保护所有计算过程所需要的机制。”

那么，具体该如何防范AI Agent本身造成的风险？Diffie特别强调了Confinement——也就是约束与隔离。我们必须保证Agent只能访问被允许的资源，只能在授权边界内进行读取、调用和修改。这一点在现有编程实践中还远远不够。

如果说传统软件安全关注的是“不要被外部攻击者攻破”，那么AI Agent安全还必须追问另一个问题：当Agent被赋予目标、工具和权限后，它是否可能用我们不希望的方式来完成任务？它会不会读取不该读的数据？会不会调用不该调用的接口？会不会把局部目标推进到越界的行动？因此，约束不是事后的补救，而应该成为智能体系统的基础设计。Diffie借用了机器人伦理的经典想象来提醒听众：机器可以服从人类命令，也可以保护自身运行，但前提是不能越过更高层级的法律、规则与安全边界。

计算与思考未必是同一件事——但在我们已知的所有事物中，计算比任何东西都更接近思考。这个判断并不是要把机器简单等同于人，而是提醒我们，计算系统正在越来越深地进入那些过去只属于人类判断和行动的领域。

也正因如此，Diffie把21世纪最重要的问题之一，指向了人类与机器以及其他非人类“智能”之间的互动。我们该如何向机器分配任务？在多大程度上信任机器的输出？如何限制机器的行动？如何在人类便利和系统安全之间建立制度化的平衡？这些问题，不只是AI的技术问题，更是这个时代重要的社会问题。

面对“机器智能会不会统治世界”这个终极问题，Diffie没有给出简单的“是”或“否”。他提醒说，机器未必会以战争或冲突的形式与人类对立；更现实的情形是，人们会不断把事务交给更高效的系统处理，并逐渐接受机器在越来越多社会与技术系统中承担运行角色。到2050年前后，机器智能可能包办大量事务。真正需要思考的是，在这一过程发生之前，我们是否已经建立了足够可靠的边界、规则和安全机制。

现场对话

Q：密码学和现代AI系统之间的相似点和区别是什么？

A：密码学是一门严谨的学科，需要明确的威胁模型和形式化证明。我们如今达到的形式化研究其实在上个世纪就已经开始。许多数学家都对密码学感兴趣，希望有安全的密码学系统，这是我们当时的兴趣。Cook和Karp他们也获得了图灵奖，当时主要的问题是复杂性的原理绝非易事。一般来说，对于简单的工作，比如计算机领域的加法器已经相当完善了，我们也在思考来建立一些函数系统，以及递归函数理论也都非常成功，我们现在也有NP复杂性等等，可以验证的是密码学理论非常难，需要有非常完善的密码系统和解密系统。

Q：对于现代的AI系统，我们是否有非常严谨的理论基础来验证其操作模式？

A：从某种程度上说，我们希望通用人工智能能够胜任任何事情。所以我们需要写下关于它的规格以及看它是否能够符合未来的规格，我们要先写出一个规格，这是非常务实的第一步。有些时候，我们觉得对于大语言模型和AI容易出现幻觉，我们希望解决幻觉的问题。现在的AI系统是基于概率的程序，但是安全规则是非常严格的。我们一直在竭尽全力来做密码学，希望让一些系统能够具有一定灵活度，但是有些时候也并不是面面俱到。

Q：公钥密码学的成功不仅仅因为数学，还因为协议、部署实践以及标准制定等工作，您觉得我们应该如何建立大模型安全的基础设施？

A：我们花了几十年时间建立密码系统，并且制定了相关的协议，并且可以在互联网上交付这种密码技术。如果现在重新做，在未来的几年里，对密码学也会有新的革新，比如通过量子计算会威胁到密码系统，在70年代我们就已经建立了这些早先的密码系统，我们要作出非常大的变革才可以进行大的革新，所以会有密码学领域新的标准等等。同样，我们在未来几年里会面对AI系统，我们需要逐渐理解它们，我相信它们也会不断理解我们，相互加深彼此的理解。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：图灵奖得主迪菲预言2050年机器智能将统治世界要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题