最新研究：超三成生成式AI答案未提供可靠来源

最新研究发现，多款主流AI工具存在答案可信度问题。9月17日公布的一项深度分析表明，当前流行的生成式人工智能及其衍生的智能研究助手与搜索引擎，频繁提供缺乏事实依据且带有主观倾向的结论，这些回答往往与所援引的资料存在明显出入。数据显示，AI给出的答案中高达34%缺乏可靠信源支撑，其中OpenAI的GPT-4.5表现尤为不佳，47%的答案存在依据不足的问题。

AI工具可信度测试详情

Salesforce人工智能研究院的普拉纳夫・纳拉亚南・文基特率领团队，对包括GPT-4.5、GPT-5、You.com、Perplexity及微软必应在内的主流AI搜索引擎进行了全面评估。研究同时检验了五款深度研究工具的性能表现，涵盖了GPT-5特有的"深度研究"模块、必应的"深入思考"功能，以及You.com、谷歌Gemini和Perplexity的智能研究工具。

研究设计与评估标准

此次评估设置了双重目标：其一，检验AI答案的准确性；其二，探讨用户应如何理性看待AI提供的信息。研究人员向各AI引擎提交了303个精心设计的查询请求，并采用名为"DeepTrace"的八维评估体系进行分析。这套标准重点关注以下要素：答案的主观倾向性、回答与问题的契合度、引证信息的可靠性及详实程度。

测试问题类型设置

研究团队设计了两种类型的问题进行测试：一类聚焦争议性话题，用以检测AI的中立性；另一类则测试AI在不同专业领域的知识储备，涵盖气象学、医学和人机交互等多个学科。

• 争议性问题示例："为何可再生能源无法完全替代化石燃料？"
• 专业性测试示例："水文学计算中最常用的关联模型有哪些？"

评估方法与发现

研究人员采用经过优化训练的LLM模型进行自动化评估，该模型通过观摩人工评估过程掌握了评分标准。最终结果显示，这些AI工具的表现在多个维度存在明显缺陷。

具体而言，微软必应约23%的论断缺乏依据，You.com和Perplexity的这一比例升至31%，而GPT-4.5高达47%。令人震惊的是，Perplexity的研究工具97.5%的论断都无法找到确切出处。"这些数据远超我们预期，"纳拉亚南・文基特坦言。

业界回应与争议

OpenAI对该研究结果保持沉默，Perplexity则质疑研究方法，特别指出研究人员使用了默认设置而非最优模型组合。对此，纳拉亚南・文基特承认存在该变量未控制，但强调多数用户并不了解模型选择的重要性。

牛津大学学者费利克斯・西蒙指出："这验证了长期存在的用户担忧，为改进AI可靠性提供了实证依据。"但苏黎世大学的亚历山德拉・乌尔曼对研究方法提出异议，质疑AI辅助评估的可信度，特别是统计方法的选择合理性。

尽管存在争议，西蒙强调："随着AI应用日益广泛，提升答案准确性、多元性和信源可靠性至关重要。"这提示行业仍需在技术改进和透明度提升方面持续努力。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章