蚂蚁集团发布开源安全模型
蚂蚁集团开源两款AI安全模型：SingGuard-NSFA用于智能体操作安全，实现实时行为检测与拦截；SingGuard面向多模态内容安全，统一分析文本、图片及跨模态攻击。两者均支持多种部署规模，在多项评测中领先业界主流模型。
AI安全新篇章：蚂蚁开源智能体与多模态安全护栏
随着人工智能从简单的“内容生成”迈向复杂的“自主执行”，其安全挑战也随之升级，从单纯的模型输出内容，扩展到了行为控制、权限管理和系统治理等多个层面。为了应对这一趋势，蚂蚁AI安全实验室近日宣布开源两款前沿的安全模型，分别面向自主执行的智能体和多模态交互的大模型，旨在为AI系统的安全运行提供更底层的保障。
智能体操作安全护栏：SingGuard-NSFA
传统的AI主要处理文本内容，当智能体开始自主调用工具、执行代码、规划复杂任务时，安全风险便从“说错话”演变为“做错事”。例如，提示词注入、权限滥用、恶意代码执行和数据泄露等问题层出不穷。Amazon Q的提示词投毒、Microsoft Copilot的数据泄露，以及开源智能体OpenClaw暴露的风险，都表明智能体自主性越强，安全风险放大效应越明显。为此，OWASP发布了《智能体应用安全十大风险》，国家网信办等部门也联合印发了《智能体规范应用与创新发展实施意见》，首次从国家层面提出治理要求。
针对这些行为层面的安全挑战，蚂蚁AI安全实验室推出了SingGuard-NSFA。这款模型的核心作用是在智能体执行任何动作之前，进行实时的安全检测，构建起“请求拦截”和“响应兜底”的双重行为安全防护体系。
- 精细的风险分类体系：基于CIA（保密性、完整性、可用性）原则，结合OWASP等国际安全指南，将智能体风险细分为7大类、28个中类和185个具体场景，并建立了覆盖133种语言、近10万条样本的专属安全评测体系。
- 灵活的两种工作模式：
- 安全审计模式：逐条生成详细的风险分析报告，方便事后审查和合规记录。
- 实时防护模式：在50毫秒左右完成单次风险判定，适合线上高并发场景下的实时拦截。
- 多种模型规模选择：提供0.8B、2B、4B、9B四种模型规模，可满足从边缘设备到云端服务器的不同部署需求。
多项公开评测显示，SingGuard-NSFA在智能体输入和输出安全检测中均表现优异。其中，0.8B的模型即可达到8B模型的性能水平，并且在新增风险类别时，只需训练轻量模块，无需重新训练整个模型，部署成本低、迭代效率高。
小提示： 对于预算有限或对延迟要求极高的场景，建议优先尝试0.8B模型，它在保证性能的同时，能显著降低资源消耗。
多模态内容安全护栏：SingGuard
与智能体操作安全并行的另一条防线，是多模态交互场景下的内容安全。例如，曾有研究者通过使用Unicode字符和西里尔字母替换敏感词，成功绕过了某些安全护栏，套取了系统提示词。这表明，当模型能理解变形文字、图片等跨模态信息时，传统的关键词识别式护栏已经力不从心。
为此，蚂蚁AI安全实验室推出了SingGuard，这是一个面向文本、图片及跨模态内容的安全护栏。它能够建立统一的安全判断框架，识别出攻击者隐藏在文字、图片等不同模态中的恶意动作。同时，它支持运行时动态加载自然语言安全规则，无需重新训练模型即可更新规则，非常适合规则持续演进、业务流量较大的生产环境。
在推理机制上，SingGuard采用了“快慢结合”的创新模式：先快速完成初步判断，只有面对复杂场景时才启动进一步推理，在保证效率的同时，也提升了检测的准确率。
在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中，SingGuard在35个数据集及评测切分上的平均F1值均为最高。其对比对象包括Llama Guard3、谷歌ShieldGemma、GPT-5.1、Gemini3-Pro等业内主流护栏，SingGuard均实现了全面领先。
常见问题：
问：为什么需要专门的多模态安全护栏？
答： 因为攻击者可以将恶意指令隐藏在图片或特殊编码的文本中，传统模型可能无法识别。SingGuard能够统一分析不同模态的信息，从而更有效地拦截这类复杂攻击。
持续的AI安全投入与产业实践
中国信通院人工智能研究所安全治理部副主任呼娜英指出，随着大模型从内容生成迈向自主执行，AI安全已延伸至行为管控和系统治理，成为智能体规模化应用的基础能力。蚂蚁AI安全实验室此前已针对开源智能体框架OpenClaw开展专项安全审计，并联合清华大学开源了智能体安全防御插件ClawAegis，为自主智能体提供全生命周期防护。
这些安全技术的研发与开源，建立在蚂蚁集团二十余年的安全技术积累之上，涵盖支付安全、数据安全、隐私保护和风险治理等领域。相关能力已应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景。同时，蚂蚁集团还积极参与AI安全标准构建，如牵头ITU国际标准《终端智能体可信互联技术规范》立项，并发布智能体安全可信互连协议ASL，持续推动AI安全能力从技术创新走向产业实践。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：蚂蚁集团发布开源安全模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI，不拼参数大小，而是通过知识密度提升与模型风洞技术，将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”，在用户开口前预判需求，已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心，容量可扩展至50MW，提供从设计到运营的端到端服务，旨在满足政府及企业日益增长的算力需求，抢占印度快速增长的数据中心市场，并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%，接近人工水平。同时在新工站分别达到90%成功率，从单一操作拓展至多工站协同，验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局，DeepSeek创始人梁文锋凭借其公司的迅猛发展，个人财富急剧膨胀，一举超越多位硅谷知名人物，成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元，超越多位AI大佬 根据最新彭博亿万富豪指数，DeepSeek
- 日榜
- 周榜
- 月榜
热点快看