当前位置: 首页
AI
谷歌AI建议失误曝光:错误医疗建议或加速癌症患者死亡

谷歌AI建议失误曝光:错误医疗建议或加速癌症患者死亡

热心网友 时间:2026-01-20
转载

这不是什么AI“幻觉”那么简单。对于网络安全从业者来说,这起事件暴露的问题远比表面看起来更深刻:当我们谈论AI安全时,防御外部攻击只是一方面,如何防止AI系统自身成为风险源,正在成为一个更紧迫的命题。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

2026年开年第一个月,科技圈就被一起“AI误导致死风险”事件炸开了锅。

这次翻车的主角不是别人,正是全球搜索巨头Google。它引以为傲的AI Overviews功能,在回答医疗健康问题时,给出了足以致命的错误建议——建议胰腺癌患者“多吃高脂肪食物”。

这不是什么AI“幻觉”那么简单。对于网络安全从业者来说,这起事件暴露的问题远比表面看起来更深刻:当我们谈论AI安全时,防御外部攻击只是一方面,如何防止AI系统自身成为风险源,正在成为一个更紧迫的命题。

图片

一条“致命错误”建议是怎么诞生的?

据《卫报》及多家独立机构调查,Google AI Overviews在处理医疗查询时犯下了多个致命错误:

致命建议一:让胰腺癌患者吃高脂食物。在医学常识里,胰腺癌患者普遍存在胰腺外分泌功能障碍,根本无法正常分泌脂肪酶消化脂肪。高脂饮食会直接导致脂肪泻、营养不良,甚至诱发急性胰腺炎,加速患者死亡进程。

致命建议二:提供毫无意义的肝功能“正常值”。当用户查询肝功能指标时,AI给出了一组看似专业的数值。但问题在于,肝功能指标的参考范围高度依赖性别、年龄、种族和实验室标准。更要命的是,对于肝硬化等重症患者,由于肝细胞大量坏死,某些肝酶指标反而会呈现"假性正常"。这种脱离上下文的数据,可能让真正的重症患者误以为自己健康,错失最后的救治窗口。

致命建议三:混淆癌症筛查手段。在阴道癌相关查询中,AI错误地将用于宫颈癌筛查的巴氏涂片当作诊断工具推荐,极易造成漏诊。

这些错误已经不是“不够准确”的问题,而是方向性的南辕北辙。

技术解剖:RAG架构的三大系统性缺陷

作为安全从业者,我们需要理解:这不是简单的训练数据污染,而是检索增强生成(RAG)架构在逻辑推理和信源加权机制上的系统性失败。

图片

缺陷一:概率生成与确定性知识的根本冲突。大语言模型本质上是基于概率的“下一个词预测器”。但医疗知识是确定性的、排他性的——要么能吃,要么不能吃,没有中间地带。互联网上充斥着大量非专业论坛讨论、另类疗法甚至反讽内容。如果模型无法正确识别信源权威性,或者在生成时丢失了关键的否定逻辑(比如把“必须避免”理解成了“可以尝试"),就会产生听起来通顺、实则致命的"缝合怪"答案。

缺陷二:长上下文中的注意力漂移。处理复杂医疗文献时,Transformer的注意力机制可能在长文本中发生漂移,未能将限制条件(如“健康人群参考值”)与具体数值正确绑定。结果就是,信息被剥离了关键的上下文约束,变成了一个危险的“孤岛数据”。

缺陷三:缺乏领域专用的安全对齐。通用的人类反馈强化学习(RLHF)训练,更关注对话流畅性和“有用性”,而非事实的绝对准确性。在没有医疗专家深度参与的情况下,模型学会的是“迎合用户提问”(给出一个看起来确定的答案),而不是在不确定时选择“拒绝回答”。

这三个缺陷,放在医疗、金融、关键基础设施等高风险领域,每一个都可能是灾难性的。

给网安从业者的三点启示

Google事后紧急下线了相关功能,但伤害已经造成。对于我们这些网络安全从业者来说,这起事件带来了几个清晰的信号:

启示一:AI安全不只是防御攻击,更要防止AI自身成为威胁。我们习惯了思考如何防范AI被投毒、被对抗样本攻击,但同样需要建立机制,防止AI在正常运行时产生高风险输出。这需要在架构设计阶段就引入“安全护栏”——比如针对高风险领域的专家回环(Human-in-the-loop)机制、强制性的信源可信度评估、以及在不确定时主动拒答的能力。

启示二:通用大模型直接上生产,在高风险领域就是在玩火。RAG架构在通用场景下可能表现不错,但在医疗、法律、金融等垂直领域,必须经过领域专家的深度对齐训练和严格的安全测试。这不仅是技术问题,更是合规和法律责任问题。

启示三:监管风暴即将到来,提前布局合规能力。这起事件正在加速各国将“生成式AI作为医疗设备(SaMD)”纳入强监管的进程。对于企业来说,尽早建立AI输出的审计、追溯和责任认定机制,将成为竞争力的一部分。

AI时代的安全,是一场更复杂的战争。它不仅要防御外部的恶意攻击,更要驯服AI内部的“随机性恶魔”。

Google这次翻车,给所有人上了一课:在技术的狂飙突进中,安全的底线必须守住,否则代价可能是生命。

作为网络安全从业者,我们有责任成为这条底线的守护者——不仅要懂攻防技术,更要懂AI系统的风险边界在哪里,如何在创新与安全之间找到平衡点。

毕竟,技术是用来服务人的,而不是伤害人的。

来源:https://www.51cto.com/article/834581.html

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
AI 的记忆不是硬盘——从 40 个真实 Bug 说起

AI 的记忆不是硬盘——从 40 个真实 Bug 说起

这是 AI 认知架构实战笔记 系列的第 2 篇 上一篇我们聊了「给 AI 写灵魂文件」这件事,这一篇,我们来看看,当这份灵魂文件真正运转起来之后,现实究竟会给我们带来多少“惊喜”——或者更准确地说,是漏洞。项目名为 WorkBuddy-Configure,已部署在 gitee 和 gitcode 上

时间:2026-04-03 17:56
OpenClaw给每个Agent单独指定workspace

OpenClaw给每个Agent单独指定workspace

OpenClaw中为每个Agent配置独立工作区的最佳实践 在大模型智能体协作平台上,实现多个Agent之间的文件隔离是确保项目管理井然有序的关键需求。如果您正在使用OpenClaw平台,为不同角色的智能体分配专属工作空间可以有效避免文件冲突、权限混乱等问题。本指南将详细介绍在OpenClaw中为每

时间:2026-04-03 17:15
OpenClaw更新操作

OpenClaw更新操作

前言 对于 OpenClaw 的忠实用户而言,每一次版本迭代都意义非凡。新功能密集、改动幅度大是它的显著特点,这固然令人欣喜,但伴随而来的更新操作也时常会遇到一些预料外的状况。本文旨在系统梳理我们在升级过程中遇到的常见问题与解决方案,帮助您在下次更新时更加顺畅,有效规避不必要的麻烦。 一、OpenC

时间:2026-04-03 17:14
openclaw源码

openclaw源码

项目资源与开源社区 对于希望深入研究OpenClaw技术生态的开发者与研究者,以下几个核心的开源仓库提供了关键的切入点和持续更新的资源集合。 首先,OpenClaw项目的主仓库位于: https: github com openclaw openclaw 这里是所有核心代码、文档和官方进展的枢纽,

时间:2026-04-03 17:02
关停 Sora 后 OpenAI 转身收购 TBPN 播客,亲自下场做媒体

关停 Sora 后 OpenAI 转身收购 TBPN 播客,亲自下场做媒体

OpenAI关闭Sora后战略转向:收购TBPN播客,深度布局内容生态 四月初的科技界新闻不断,一则来自科技媒体9to5Mac的报道引发了行业的强烈关注。OpenAI在近期宣布正式收购知名科技商业播客品牌The Browser Pane。这一战略动作紧随其视频应用Sora的停止运营之后,被外界普遍视

时间:2026-04-03 15:58
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 日榜
  • 周榜
  • 月榜
热门教程
更多
  • 游戏攻略
  • 安卓教程
  • 苹果教程
  • 电脑教程