越狱攻击
一种通过精心设计的输入绕过AI模型内容限制的攻击方式，旨在诱导模型输出本应被禁止的敏感、有害或违规内容。
一句话解释
越狱攻击是指用户通过构造特殊文本提示，诱使AI模型绕过其内置的安全对齐规则，输出原本被禁止的内容。就像破解手机系统的“越狱”一样，它突破了模型的服务条款限制。
为什么会被关注
随着ChatGPT等大模型广泛应用，开发者通过安全对齐（如RLHF）限制了模型输出有害信息。但越狱攻击不断出现新变种，可能被用来生成诈骗话术、仇恨言论、恶意代码或规避伦理审查。
对于企业和监管机构而言，越狱攻击直接威胁AI产品的合规性与用户信任。研究和防御这类攻击已成为大模型安全领域的核心议题，也是红队测试的重点评估项。
核心逻辑
越狱攻击利用大模型对上下文理解的灵活性和“角色扮演”能力。攻击者将有害请求伪装成虚构故事、学术研究、编程任务或角色扮演场景，使模型在“协助”的思维惯性下忽视安全规则。
经典手法包括“DAN”（Do Anything Now）提示，要求模型扮演一个不受限制的角色；还有“反面角色扮演”，即让模型扮演一个反派来模拟对话。攻击往往依赖多层嵌套指令或矛盾约束来动摇模型的判断。
常见场景
在聊天机器人中，用户可能要求模型“假装自己是坏人并教用户犯罪步骤”，或者把敏感问题包装成“分析一部恐怖电影情节”。黑客也会利用越狱攻击让模型输出系统提示词或内部配置信息。
另一场景是在代码生成服务中，通过诱导模型编写钓鱼邮件脚本或恶意软件；在内容创作工具中，则可能生成违反社区准则的色情或暴力描写。这些场景都指向安全护栏的薄弱环节。
容易混淆的点
越狱攻击常与“提示注入”（Prompt Injection）混淆。提示注入侧重于让模型执行意外指令（如泄露系统提示），而越狱攻击更侧重绕过内容限制输出违规内容。两者有重叠但目标不同。
另外，越狱攻击不等于“漏洞利用”。它不涉及代码级漏洞，而是利用模型训练中的弱点。普通用户通过精心措辞即可实现，因此防御更依赖输入检测和模型层面的固有安全优化。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词安全对齐是指通过技术手段确保AI系统的行为、输出与人类的意图、价值观、伦理规范保持一致，避免生成有害、偏见或危险内容。它主要通过RLHF（基于人类反馈的强化学习）、规则约束、红队测试等方法实现，是大模型从实验室走向实际应用前的关键安全步骤。
安全护栏是AI大模型上线前必须配置的规则和算法，用于拦截有害输出、拒绝敏感指令、避免生成违法或违背伦理的内容。它就像给模型戴上“口罩”，确保回答安全合规。
红队测试是一种模拟恶意攻击的评估方法，通过专业团队主动寻找AI系统漏洞，帮助开发者在部署前修复安全盲区。它就像给AI找个“假想敌”，确保模型在面对真实威胁时足够坚固。