AI平台幻觉现象的法律责任与义务边界解析

AI的广泛应用，确实为我们的工作和生活带来了前所未有的便利。无论是信息整合、效率提升，还是思维启发，其价值有目共睹。然而，一个无法回避的现实是，AI并非万能，尤其是所谓的“幻觉”现象，正成为用户信任与平台责任之间的焦点。如何厘清这其中的权责边界，让技术更好地服务而非误导，已成为推动行业健康发展的关键议题。

大模型“幻觉”现象普遍存在

简单来说，AI“幻觉”就是指大模型生成的内容看起来逻辑自洽、言之凿凿，实则与事实不符，或存在逻辑谬误。在现有技术条件下，任何生成式大模型都难以完全杜绝这种现象。尤其是当模型具备联网搜索功能时，问题可能更复杂——AI本身不具备信息真伪的鉴别能力，一旦检索到错误信息，生成“幻觉”内容的概率便会增加。如果用户不加甄别地全盘采信，后果可想而知。

国内已出现相关司法案例。在“梁某与某科技公司网络侵权责任纠纷一案”中，用户梁某通过一款AI应用查询某高校信息，得到了关于主校区位置的不实回复。甚至在梁某提出质疑后，AI不仅坚持错误答案，还“承诺”若信息有误将赔偿10万元，并建议其去杭州互联网法院起诉。梁某据此将运营方告上法庭，要求赔偿。这起案件被视为AI“幻觉”致损的典型。

法院的审理思路颇具参考价值。判决指出，在现行法律与技术框架下，生成式AI服务提供者的注意义务是动态且分层次的：对于违法信息，平台负有严格的审查义务；但对于“幻觉”产生的一般性不准确信息，法律并未苛求其必须保证100%准确的结果。此案中，法院认定被告已在应用显著位置提示了AI可能生成不准确信息，仅作参考，并采取了行业通行的技术措施（如安全备案、RAG等）来提升内容可靠性，已履行相应义务，最终驳回了原告的诉讼请求。

这种技术局限并非孤例。近日，“豆包 机票退款”话题登上热搜。一位用户因轻信豆包AI关于“退票手续费仅5%”的回复而办理退票，结果被实际扣取了40%的费用，损失数百元。用户认为AI误导了自己，甚至要求AI生成一份署名为“豆包”的赔偿承诺书。事实上，退改签交易规则由机票预订平台制定，“手续费仅5%”的回答，正是AI在整合信息时产生的典型“幻觉”。

类似纠纷在国际上也屡见不鲜。美国有律师因直接使用ChatGPT提供的虚假案例作为法律依据而受到处罚。另一起案件中，电台主持人指控ChatGPT错误地将其描述为某欺诈案被告，但法院并未支持其诉求，一个重要考量因素是ChatGPT已明确声明其内容可能存在不准确之处。这类案件反映出一个共同点：用户很难证明平台是“故意”传播虚假信息；相反，平台方通常能举证自身为降低“幻觉”风险采取了合理的训练与防范措施。

那么，一个核心问题随之而来：如果用户因误信AI“幻觉”而做出错误决策，能否向平台追责？

AI服务提供者的义务边界与责任认定

从法律层面看，AI平台是否需要对“幻觉”造成的损害负责，关键在于是否符合侵权责任的构成要件，特别是平台是否违反了应尽的注意义务，以及用户的损害与AI“幻觉”之间是否存在法律上的因果关系。

作为AI内容的输出方，生成式AI服务提供者确实在风险管控上拥有更多主动权和能力，理应承担合理的注意义务。但另一方面，技术仍在快速演进，行业需要创新空间。因此，必须在技术效用与社会风险防范之间找到平衡，合理划分责任。

通常，平台的责任边界由两部分共同界定：一是法律法规设定的合规底线，二是其与用户之间达成的服务协议。

首先，现行法规的核心在于“合理注意”与“风险管控”，而非对输出内容的绝对担保。主要义务包括：

1. 提升内容准确性：《生成式人工智能服务暂行办法》要求服务提供者采取措施“提高”生成内容的准确性和可靠性。请注意，这里的措辞是“提高”而非“保证”，为技术局限性预留了空间。

2. 保障数据质量：要求使用合法来源的数据基础模型，并采取措施提升训练数据的真实性、准确性、客观性和多样性。

3. 处置违法内容：发现生成内容违法时，负有及时采取停止生成、消除等处置措施并进行模型优化整改的义务。

4. 健全反馈机制：需建立便捷的投诉举报渠道，并及时处理公众反馈。

5. 履行内容标识义务：依据《互联网信息服务深度合成管理规定》，对AI生成内容进行显著标识，以提示用户注意来源和风险。

其次，用户协议明确了双方的权利义务与技术风险提示。几乎所有平台的《用户协议》都会明确告知用户：AI生成内容可能存在不准确、不完整或具有误导性的“幻觉”风险。例如，协议中常会这样声明：“本软件的输出内容是基于模型对信息的整合，即使标注了来源，仍可能存在不准确之处，仅供参考……特别是涉及事实性描述的内容，请自行核实后再使用。”这类条款实质上强调了用户的核实义务。

技术局限客观存在，用户应理性科学地使用AI

必须承认，生成式人工智能技术及其应用规范仍处于快速迭代期。主流平台正在持续投入，试图通过数据治理、模型优化、安全机制升级等多种手段，来降低“幻觉”的发生概率，防范潜在风险。

但用户也需要理解其工作原理的局限性。一方面，AI的回复是基于用户提示词，从海量公开信息中实时生成的自动化过程，并无人工干预。系统通过算法推断用户意图并给出响应，其内容本质上是“参考性”的，不能替代具有法律效力的合同条款或专业意见。另一方面，现实世界的规则极其复杂。无论是股票建议、投资策略、申报材料还是考试攻略，AI给出的结论都可能因为实际情况的细微变化而产生偏差，甚至与事实南辕北辙。

一个积极的趋势是，许多平台已在涉及用户重大利益的高风险场景（如医疗、金融、法律、投资咨询等）中，主动嵌入了显著的风险提示。这表明服务提供者已经意识到特定领域内容的严肃性，并试图通过产品设计履行更高程度的告知义务。

总而言之，从法律视角看，AI平台的义务核心在于遵循监管、采取合理措施降低风险、及时处置违法内容以及进行必要的风险提示。而对于用户而言，在享受技术红利的同时，必须清醒认识到其固有局限。对于关乎自身重大权益的信息，保持审慎、主动核实，才是明智之举。毕竟，将重要决策完全托付给一个仍在成长、信息来源复杂的技术工具，本身就蕴含着风险。平台与用户双方，都需要在技术创新、风险防范与合理使用之间找到平衡点，共同促进生成式人工智能服务的健康发展。