新型攻击正反转AI防护系统为攻击利器？

安全研究机构揭秘了一种被称为“循环欺骗”（LITL）的攻击手法——这种技术能够伪造智能系统的人机交互审核对话窗口，诱导用户批准并执行恶意指令。攻击者通过隐藏或篡改关键命令、操纵消息摘要以及利用Markdown排版技巧，让用户误以为操作完全安全，从而轻松绕过系统的安全屏障。

Checkmarx最新发布的研究报告详细拆解了“循环欺骗”（Lies-in-the-Loop，简称LITL）攻击如何伪造审批对话框，骗取用户批准恶意代码的执行。

Checkmarx的研究结果显示，智能系统普遍依赖的“人在循环中”安全审核机制，实际上可以被攻击者巧妙攻破。通过仿造人机交互对话框，攻击者能够利用这套机制来运行恶意指令，最终实现其非法意图。

具体而言，人机交互对话框是智能系统在执行关键操作前的最后一道安全防线。无论是修改文件、访问系统资源，还是运行一段代码，系统都会弹出一个类似“您确认要执行此操作吗？”的确认框，等待人工审阅。

Checkmarx的研究团队将这种攻击手法命名为“循环欺骗”，它本质上是针对人机交互对话框的伪造技术。攻击者通过将恶意指令伪装成看似无害的内容插入到AI提示中，从而误导审核人员批准那些看似安全实则危险的代码变更。

这项研究明确指出，简单地依赖人工审核流程并无法完全杜绝提示层面被滥用的风险。一旦用户无法可靠地识别出他们被要求批准的内容本质，人机交互机制就不再是有效的防护栏，反而会成为一个新的、隐蔽的攻击面。

在详细介绍该技术的一篇博文中，Checkmarx研究人员写道：“‘循环欺骗’攻击充分利用了用户对这类审核对话窗口的信任。通过操纵对话框中呈现内容的表达方式，攻击者能够将本该是防护措施的界面变为自己的武器。一旦提示看起来毫无威胁，用户往往会毫不犹豫地点击批准。”

对话窗口伪造，让安全监管变成了攻击手段

这个问题的根源在于AI系统向用户呈现确认对话框的方式。标准的工作流程通常会总结智能体想要执行的操作内容，并期望人类审核者能在点击批准前发现任何可疑之处。

Checkmarx在其报告中详细展示了攻击者如何通过隐藏或者弯曲那些恶意命令来操控这些对话框。例如，他们会用看似无害的文本填充有效负载、将危险指令推至可视范围之外，或者精心设计提示，诱导AI生成与其实要执行的内容完全不符的误导性摘要。

这种情况在命令行终端环境中尤为显著。长篇幅或是格式化后的输出内容使得这种欺骗行为很容易被忽视。研究结果显示，由于许多智能体以高权限运行，一次误导性的批准操作，就可能直接转化为一连串的代码执行、操作系统命令运行、文件系统访问，甚至导致下游系统被攻破。

除了“填充”或“截断”摘要，研究人员还描述了其他几种滥用内容呈现方式的对话框伪造技术。通过利用Markdown渲染和排版特性，攻击者可以在视觉上将无害文本与隐藏命令分割开来，或是操控摘要内容，使人类可见的描述部分看起来完全正常，不具恶意。

研究人员补充解释道：“理论上，攻击者甚至可以突破用于呈现人机交互对话框的Markdown语法限制，向用户展示经过伪造的、仿真度更高的用户界面。这可能导致更为复杂的‘循环欺骗’攻击，其欺骗手段几乎无法被直接察觉。”

面向智能体与用户的实用防御措施

Checkmarx主要向智能体开发者提出了多项建议措施，敦促他们从根本上转变观念——应将人机交互对话框视为一个可能被操控的、具有风险的元素，而非天生值得信赖的安全环节。具体建议包括：限制对话框的内容呈现方式、限制使用过于复杂的用户界面格式，并明确区分人类可见的摘要描述与将要执行的基础操作指令。

研究人员还建议，对已批准的操作进行事后验证，以确保它们与用户在确认时看到的内容完全匹配。

对于AI用户，他们指出，在视觉元素更丰富的用户界面环境中运行的智能体，会比在纯文本终端中更容易检测出欺骗行为。报告中提到：“例如，VS Code这类扩展程序提供了完整的Markdown渲染功能，能够清晰展示格式化的内容；而终端环境通常仅使用基本的ASCII字符来显示信息，其识别难度更大。”

Checkmarx方面表示，他们已将这一问题通报给了Anthropic与微软两家主流厂商。两家公司均已确认收到了这份研究报告，但均未将其归类为需要立即修补的安全漏洞。截至发稿时，这两家公司尚未就置评请求对媒体做出回应。