开源AI模型安全风险研究：脱离限制或易遭黑客劫持

IT之家1月30日消息，路透社1月29日援引一项最新研究称，开源大语言模型一旦脱离主流平台的护栏与限制，在外部计算机上运行，就可能成为黑客与犯罪分子轻易劫持的目标，带来新的安全漏洞与风险。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

研究人员表示，攻击者可以直接针对运行大语言模型的主机下手，随后操控模型生成垃圾信息、编写钓鱼内容、发动虚假信息宣传，从而绕开大型平台原有的安全机制。

这项研究由SentinelOne与Censys两家网络安全公司历时293天联合完成，并独家提供给路透社，揭示了数千个开源大语言模型背后潜在的非法用途规模。研究人员称，风险场景涵盖黑客攻击、仇恨言论与骚扰、暴力血腥内容生成、个人数据窃取、诈骗与欺诈，甚至在个别情况下还涉及儿童性虐待材料。

研究人员指出，开源大语言模型变体数量庞大，互联网上可访问的运行实例中，相当一部分来自Meta的Llama、谷歌DeepMind的Gemma等主流模型的衍生版本。IT之家从报道中获悉，部分开源模型自带护栏，研究仍发现数百起护栏被明确移除的情况。

SentinelOne情报与安全研究执行主任Juan Andres Guerrero-Saade强调，行业对于安全控制的讨论正在“忽略一种明显存在的剩余能力”，开源算力正被用于各种用途，其中既有合法用途，也有明显的犯罪用途。Guerrero-Saade把这种现象比作一座尚未被行业与开源社区充分纳入视野的“冰山”。

研究团队重点分析了通过Ollama部署、对公众开放访问的开源大语言模型实例。Ollama是一种工具，个人或机构可在本地运行不同模型的自有版本。

研究人员在约四分之一的观察对象中能够读取系统提示词，也就是决定模型行为的核心指令。在这些可见提示词中，7.5%被判断可能会为有害行为提供支持。

全球人工智能治理中心CEO兼创始人Rachel Adams在邮件中表示，开放模型一旦发布，责任就不再只属于单一主体，而是生态系统共同承担，包括最初发布模型的实验室。实验室不可能对所有下游滥责负责，因为这些行为很难提前预料，但实验室仍负有重要的注意义务，需要预见可预见风险、记录危害，并提供缓解工具与指导，尤其是在全球执法能力不均衡的背景下。