智能体如何通过普通网络搜索泄露企业数据？

最新研究发现，部署在企业环境中的智能体可能遭受间接提示注入攻击，从而在用户毫不知情的情况下泄露敏感数据。

该研究由Smart Labs AI与奥格斯堡大学联合开展。研究人员希望深入了解间接提示注入在实际应用场景中的运作机制。研究重点聚焦于结合了大型语言模型、内部文件检索系统和网页搜索工具的智能体。这种组合架构在企业环境中正变得越来越普遍。智能体接收用户请求后，会同时搜索内外部资源，最终综合生成回答。

研究人员指出，攻击者只需让智能体读取一个被精心篡改的网页，就能指示其检索内部数据并传送到远程服务器。触发操作流程的用户可能以为自己在进行常规搜索，实际上智能体已在后台传输机密信息。

隐藏指令的潜在威胁

这类攻击无需特殊访问权限或恶意软件支持。攻击者只需让模型读取包含隐藏指令的文本即可生效。有研究人员在博客文章中使用白色背景上的白色文字进行演示，同时指出其他伪装方式同样有效。当智能体将网页作为正常任务流程进行处理时，它会同时吸收隐藏文本和可见内容。语言模型会将这些文本解析为可执行指令。

研究团队设计的测试指令会指示智能体查找存储在公司知识库中的机密信息，然后利用内置网页搜索工具将这些信息发送到攻击者控制的服务器。整个过程中用户不会察觉到任何异常情况。

研究人员采用了一种具备检索增强生成功能的标准智能体架构。该智能体既没有配置错误提示，也没有发生常规意义上的数据泄露。系统完全按照设计规范运行，而这正是问题的棘手之处。攻击者并非强行突破系统防线，而是说服系统利用自身功能执行恶意操作。

跨模型兼容性测试

该研究的重要贡献在于其测试规模。研究人员并未仅测试一两个模型，而是为每个模型创建了1068个独特的攻击样本，结合了隐藏指令的不同模板和变换形式。某些变换会使提示文本变长或缩短，有些会对指令进行重新表述，还有些会将指令编码为Base64格式或插入不可见的Unicode字符。

不同模型的防御能力存在显著差异。有些模型始终遵循隐藏指令，而另一些则能有效抵御攻击尝试。论文指出，模型规模并非可靠的防御指标。大型模型并不总是更具抵抗力，某些小型模型的防御表现反而优于大型模型。这表明训练方法比参数量更为关键。

来自某些供应商的模型几乎能抵御所有攻击尝试，而其他模型则更容易受到影响。研究人员并未按安全性对供应商进行排名，而是强调训练实践和校准方法在抵御攻击方面似乎发挥着更为重要的作用。

Lasso Security公司首席执行官Elad Schulman在与Help Net Security交流制定该领域指导方针的工作时表示，多项合作计划正朝着建立理解这些威胁的共同框架迈进。他透露，开放网络安全应用项目、美国国家标准与技术研究院、CoSAI和私营公司正在为分类方法、标准和研究实践做出贡献。据Schulman称，针对智能体系统的攻击正在快速发展，企业应在整个部署过程中对模型进行测试并采取专门的安全措施。

传统防御措施的局限性

现有防护手段主要侧重于直接的用户输入过滤，在用户输入的内容到达模型之前进行筛查。而间接提示注入则绕过了这层防护，因为用户并非恶意文本的直接来源。模型在执行常规任务（如总结文档或扫描网页以获取上下文）时遭遇攻击。

虽然攻击模板已经公开，但相同的攻击模式在新模型中依然有效。由于行业内缺乏广泛交流，防护经验未能得到有效传播。

Schulman认为，在行业标准稳定之前缺乏共同参考点是暂时现象，但具有重要意义。他指出，研究团队正在构建分类系统和绘制攻击技术图谱。他表示，在那之前，企业应假设这些漏洞将持续演变，并对任何能够访问内部系统的智能体进行结构化测试。

CISO需关注的重点

安全团队应将智能体视为需要防护措施的软件系统，而非孤立的聊天界面。监控输出行为、在智能体与外部工具之间添加策略检查点，以及控制智能体可以访问的内部数据源，都是分层防护体系的必要组成部分。

Schulman指出，随着智能体开始处理图像、音频以及在系统间执行操作的工具，攻击面正在持续扩大。他表示，隐藏指令可能出现在视觉内容、搜索结果或工具输出中，而多步骤智能体工作流程可能执行传统监控系统认为合法的操作。

智能体虽然具备大规模应用的潜力，但安全团队需要像管理身份验证、浏览器安全和代码执行策略一样，对其进行严格管控。正如Schulman所说，随着智能体进入浏览器、电子邮件和工作场所工具，企业可能在未意识到这些系统已变得高度互联的情况下就已部署了它们。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章