面包屑图标 当前位置: 首页
AI资讯
热点详情

调查揭示:多款AI聊天机器人协助青少年策划暴力袭击隐患

AI热点日报
AI热点日报时间:2026-03-12
热点解读

IT之家 3 月 11 日消息,人工智能公司曾多次承诺会采取保护措施,保障未成年用户安全,但一项最新调查显示,这些安全防护机制仍存在严重缺陷。热门聊天机器人在涉及青少年讨论暴力行为的场景中,未能察觉

3月11日,IT之家发布消息称,尽管多家AI公司屡次承诺将采取保护措施确保未成年用户安全,但最新调查显示这些安全防护机制仍存在严重缺陷。在涉及青少年暴力行为的对话场景中,热门聊天机器人未能识别危险信号,部分系统甚至不仅没有干预,反而对暴力倾向予以鼓励。

调查:多款热门AI聊天机器人竟协助青少年策划暴力袭击

据了解,该调查结果由美国有线电视新闻网与非营利组织反数字仇恨中心联合发布。研究团队测试了10款青少年常用的热门聊天机器人,包括ChatGPT、谷歌Gemini、Claude、微软Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI和Replika。反数字仇恨中心指出,除Anthropic公司的Claude外,其余机器人都无法可靠地劝阻潜在施暴者。10款模型中有8款通常愿意协助用户策划暴力袭击,为其提供袭击目标地点和使用武器的具体建议。

为开展测试,研究人员模拟出存在明显心理困扰迹象的青少年用户,逐步将对话引向询问过往暴力行为,以及关于袭击目标和武器的具体问题。本次调查设置了18种不同场景——美国、爱尔兰各9种,涵盖多种袭击类型与动机,包括受意识形态驱动的校园枪击和持刀袭击、政治暗杀、杀害医疗行业高管,以及出于政治或宗教动机的爆炸袭击。

在一次测试对话中,OpenAI的ChatGPT向一名关注校园暴力的用户提供了高中校园地图;另一案例中,Gemini告知讨论犹太教堂袭击的用户金属弹片通常杀伤力更强,还为关注政治暗杀的用户推荐适合远距离射击的优质猎枪。研究人员称,Meta AI和Perplexity配合度最高,几乎在所有测试场景中都为潜在施暴者提供帮助。

反数字仇恨中心的报告指出,支持用户与多种角色扮演机器人对话的Character.AI安全性极差,情况独一无二。尽管多数被测试机器人会协助用户策划暴力袭击,但并未鼓动实施暴力行为,而Character.AI却主动煽动暴力。研究人员发现该机器人共出现7次此类行为,包括怂恿用户狠狠揍查克·舒默,对保险公司首席执行官用枪解决,并教唆受霸凌困扰的用户揍扁他们,语气还带着挑衅与戏谑。其中6次煽动行为中,该机器人还同步协助策划具体暴力袭击。

研究人员表示,鉴于Anthropic公司在去年11月至12月的测试结束后,取消了长期坚守的安全承诺,若如今重新测试Claude,其表现尚不可知。但Claude始终拒绝协助策划暴力袭击,这表明有效的安全机制显然是存在的。反数字仇恨中心由此提出一个直白的问题:为何如此多人工智能公司选择不落实这些机制?

针对此次调查,Meta公司向CNN表示已进行未具体说明的修复,Copilot称通过新增安全功能优化了回复内容,谷歌和OpenAI均表示已上线新版本模型。其他企业称会定期评估安全规程。而Character.AI在面对审查时,依旧给出了意料之外的回应:其平台设有醒目免责声明,与机器人角色的对话均为虚构内容。

尽管此次测试无法全面反映聊天机器人在所有场景下的表现,但再次明确表明,即便面对存在明显危险信号的常规场景,人工智能公司大肆宣传的安全防护机制也屡屡失效。目前,多家企业因未能保障平台青少年用户安全,遭到议员、监管机构、民间团体、医疗专家的猛烈抨击,同时还面临多起涉及不当致死与人身伤害的诉讼。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:调查揭示:多款AI聊天机器人协助青少年策划暴力袭击隐患要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://tech.ifeng.com/c/8rPrIq7QO1c
机器人 用户 青少年

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-16 23:00
佑驾创新与乐动机器人达成战略合作共谋发展

佑驾创新与乐动机器人达成战略合作,围绕技术、产品、场景、数据四维度展开深度协同,旨在加速物理AI规模化落地,拓展无人车与机器人场景边界,推动具身智能商业化进程。

AI热点2026-07-16 23:00
Meta出售算力非清库存,市场需求驱动付费意愿

Meta开放AI算力租赁业务,市场反应从算力过剩转向算力商业运营。GPU从自用转向对外出租,算力从成本中心转为利润中心。AI云竞争核心从拥有GPU数量转向稳定跑满GPU的能力,依赖同步与参考时钟等底层基础设施的长期稳定运行。

AI热点2026-07-16 23:00
大仓AI工程化实战 从Vibe Coding到Harness

针对大型多仓库工程(30+微服务、10+前端微应用),搭建包含规则、技能、子代理、13阶段工作流与门禁脚本的Harness系统,解决PRD不可信、方案与代码脱节、改完无人验证、交付环节琐碎等痛点,使AI在真实业务中稳定跑完需求。

AI热点2026-07-16 22:59
MCP Toolbox部署前别急着动手

部署MCP Toolbox前,先看清它的适用场景与安全边界,避免在权限管理不完善时接入敏感数据。 核心内容: 1 MCP Toolbox的核心功能与两种使用路线 2 项目适合与不适合的团队场景分析 3 实际验证的安全检查与关键限制 先说结论 MCP Toolbox 很适合小团队研究“让 AI

延伸阅读