面包屑图标 当前位置: 首页
AI资讯
热点详情

多措并举有效应对AI生成虚假参考文献

AI热点日报
AI热点日报时间:2026-06-22
热点解读

arXiv等平台系统性审核250万篇论文,发现2025年有近15万条AI编造的虚假参考文献。虚假引文在2024年中后急剧增长,与AI辅助写作爆发期吻合。现有审查机制仅能拦截少数,arXiv已对违规者实施投稿禁令。应对需强化学者责任并加强系统培训。

学术出版界近期曝出一则令人不安的消息。arXiv——全球知名的预印本平台——带领团队完成了一项重大工作:他们系统性审核了250万篇论文、1.11亿条参考文献,结果发现仅在2025年一年内,arXiv、bioRxiv、SSRN和PubMed Central这几个主要平台上,就潜藏着将近15万条由人工智能编造出来的虚假参考文献。这绝非小问题,它直接威胁科研成果的可信度以及科学知识获取的公平性。

按理说,一篇学术论文引用的资料应当经得起推敲,每条参考文献都应是经过同行评议的坚实知识锚点。然而,随着生成式AI工具在论文写作中日益普及,越来越多人发现:自己引用的文献可能压根不存在。更严重的是,有时论文本身、研究数据甚至作者身份都是伪造的。此次大规模审核证实了这一点——虚假文献并非零星出现在少数不靠谱的学者那里,而是分散在大量不同论文中。也就是说,每篇出问题的论文通常只掺了少量假条目,但这种“少量”却覆盖了极广的范围。这背后揭示了一个普遍现象:大家使用AI辅助写作时,普遍没有对其输出内容进行事实核查。

生成式AI工具最擅长生成那种看似合情合理、读起来天衣无缝,但实际上全是瞎编的内容。原理很简单:它们利用海量数据集训练,学习各种模式,然后依据这些模式预测下一个词并生成新内容。但问题在于——它们有时会根据模式“创造”内容,而非依据实际事实。这种被创造出来的东西,业内称为“幻觉内容”。别以为它只出现在学术论文里,政府工作报告、法律文件甚至知名媒体的新闻中都曾出现过。此前也有科学家研究过AI生成的幻觉内容,但要么是在实验室条件下做的小规模实验,要么只盯着狭窄领域。真正大规模、系统性的评估——尤其是科学文献中幻觉内容到底有多少、影响有多大——其实一直无人开展。

这次研究采用了一个巧妙方法:对比生成式AI工具大规模普及前后的“未匹配引用率”。结果发现,虚假文献引用在2024年年中之后出现了急剧增长,而这个时间点与AI辅助写作的爆发期高度吻合。更值得关注的是,在处于职业生涯早期的科学家和小型研究团队的论文中,虚假文献引用的比例明显更高——这或许说明,那些最需要快速产出的群体,也最容易被AI带偏。

另一个令人担忧的发现是,当前的学术质量审查机制其实相当脆弱。预印本审核、期刊编辑审稿和同行评议,按理说是虚假文献的第一道防线,但数据表明,它们只能拦住极少数假货。以arXiv为例,虽然审核流程中已经发现了一些问题,但预计仍有78.8%的虚假引文成功蒙混过关,最终出现在平台上。换句话说,AI生成的幻觉内容正在大规模渗透进知识生产体系。如果不尽快干预,后果将从误导未来的科学发现,逐渐蔓延到影响政策制定和公众对科学的信任。

面对这个系统性风险,已有平台开始动真格了。比如arXiv直接规定:只要有明确证据证明论文中存在来自生成式AI工具的幻觉内容,作者将被禁止投稿一年;期满后想重新投稿,必须通过同行评议,且首次投稿还需有担保人。与此同时,平台也在开发技术工具来应对。但研究人员强调,治本的办法仍在于确立学者本身的核心责任。AI只能是辅助工具,学者必须对自己论文里每一条引文的真实性负责。此外,期刊编辑、同行评议人和平台审核人员也需要接受系统性培训,提升识别虚假文献的能力。在AI技术飞速发展的今天,守住知识真实性的底线,需要整个学术界共同努力。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:多措并举有效应对AI生成虚假参考文献要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://k.sina.com.cn/article_2201275590_8334ccc600101fvgu.html
人工智能

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-15 23:00
Sora国风短片提示词细节混乱的解决方法

Sora生成国风短片时细节错乱源于提示词缺乏物理结构、材质逻辑和视觉锚点的显性约束。通过锁定人物服饰结构、控制场景材质逻辑、统一风格动态节奏,并对易错部位做负向限制,可有效稳定画面。提示词越精确,AI越不易跑偏。

AI热点2026-07-15 23:00
Devin AI重复工作处理自动化:日常高频任务提效汇总

DevinAI是面向高频、规则半明确日常工程化任务的自主执行引擎,支持自然语言配置定时任务、多源数据联合分析、模板复用及异常自动恢复,可将重复性琐事彻底自动化闭环,显著提升效率。

AI热点2026-07-15 23:00
PhysForge框架:让静态3D模型变为可交互对象

PhysForge由香港大学与腾讯混元等机构提出,仅需单张输入图像即可生成具备部件结构、物理属性、功能语义与运动学参数的可交互3D资产,直接用于机器人仿真与虚拟世界,相关工作已被ICML2026接收。

AI热点2026-07-15 23:00
ACL 2026美团论文精选 能力评测到推理优化构建生成新范式

美团6篇论文被计算语言学顶级会议ACL2026收录,研究方向覆盖大模型评测、复杂流程推理、竞赛级数学思维优化、强化学习及生成式推荐,旨在提升推理能力并探索AI在本地生活服务中的新范式。

延伸阅读