多措并举有效应对AI生成虚假参考文献
arXiv等平台系统性审核250万篇论文,发现2025年有近15万条AI编造的虚假参考文献。虚假引文在2024年中后急剧增长,与AI辅助写作爆发期吻合。现有审查机制仅能拦截少数,arXiv已对违规者实施投稿禁令。应对需强化学者责任并加强系统培训。
学术出版界近期曝出一则令人不安的消息。arXiv——全球知名的预印本平台——带领团队完成了一项重大工作:他们系统性审核了250万篇论文、1.11亿条参考文献,结果发现仅在2025年一年内,arXiv、bioRxiv、SSRN和PubMed Central这几个主要平台上,就潜藏着将近15万条由人工智能编造出来的虚假参考文献。这绝非小问题,它直接威胁科研成果的可信度以及科学知识获取的公平性。
按理说,一篇学术论文引用的资料应当经得起推敲,每条参考文献都应是经过同行评议的坚实知识锚点。然而,随着生成式AI工具在论文写作中日益普及,越来越多人发现:自己引用的文献可能压根不存在。更严重的是,有时论文本身、研究数据甚至作者身份都是伪造的。此次大规模审核证实了这一点——虚假文献并非零星出现在少数不靠谱的学者那里,而是分散在大量不同论文中。也就是说,每篇出问题的论文通常只掺了少量假条目,但这种“少量”却覆盖了极广的范围。这背后揭示了一个普遍现象:大家使用AI辅助写作时,普遍没有对其输出内容进行事实核查。
生成式AI工具最擅长生成那种看似合情合理、读起来天衣无缝,但实际上全是瞎编的内容。原理很简单:它们利用海量数据集训练,学习各种模式,然后依据这些模式预测下一个词并生成新内容。但问题在于——它们有时会根据模式“创造”内容,而非依据实际事实。这种被创造出来的东西,业内称为“幻觉内容”。别以为它只出现在学术论文里,政府工作报告、法律文件甚至知名媒体的新闻中都曾出现过。此前也有科学家研究过AI生成的幻觉内容,但要么是在实验室条件下做的小规模实验,要么只盯着狭窄领域。真正大规模、系统性的评估——尤其是科学文献中幻觉内容到底有多少、影响有多大——其实一直无人开展。
这次研究采用了一个巧妙方法:对比生成式AI工具大规模普及前后的“未匹配引用率”。结果发现,虚假文献引用在2024年年中之后出现了急剧增长,而这个时间点与AI辅助写作的爆发期高度吻合。更值得关注的是,在处于职业生涯早期的科学家和小型研究团队的论文中,虚假文献引用的比例明显更高——这或许说明,那些最需要快速产出的群体,也最容易被AI带偏。
另一个令人担忧的发现是,当前的学术质量审查机制其实相当脆弱。预印本审核、期刊编辑审稿和同行评议,按理说是虚假文献的第一道防线,但数据表明,它们只能拦住极少数假货。以arXiv为例,虽然审核流程中已经发现了一些问题,但预计仍有78.8%的虚假引文成功蒙混过关,最终出现在平台上。换句话说,AI生成的幻觉内容正在大规模渗透进知识生产体系。如果不尽快干预,后果将从误导未来的科学发现,逐渐蔓延到影响政策制定和公众对科学的信任。
面对这个系统性风险,已有平台开始动真格了。比如arXiv直接规定:只要有明确证据证明论文中存在来自生成式AI工具的幻觉内容,作者将被禁止投稿一年;期满后想重新投稿,必须通过同行评议,且首次投稿还需有担保人。与此同时,平台也在开发技术工具来应对。但研究人员强调,治本的办法仍在于确立学者本身的核心责任。AI只能是辅助工具,学者必须对自己论文里每一条引文的真实性负责。此外,期刊编辑、同行评议人和平台审核人员也需要接受系统性培训,提升识别虚假文献的能力。在AI技术飞速发展的今天,守住知识真实性的底线,需要整个学术界共同努力。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:多措并举有效应对AI生成虚假参考文献要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点Sora生成国风短片时细节错乱源于提示词缺乏物理结构、材质逻辑和视觉锚点的显性约束。通过锁定人物服饰结构、控制场景材质逻辑、统一风格动态节奏,并对易错部位做负向限制,可有效稳定画面。提示词越精确,AI越不易跑偏。
DevinAI是面向高频、规则半明确日常工程化任务的自主执行引擎,支持自然语言配置定时任务、多源数据联合分析、模板复用及异常自动恢复,可将重复性琐事彻底自动化闭环,显著提升效率。
PhysForge由香港大学与腾讯混元等机构提出,仅需单张输入图像即可生成具备部件结构、物理属性、功能语义与运动学参数的可交互3D资产,直接用于机器人仿真与虚拟世界,相关工作已被ICML2026接收。
美团6篇论文被计算语言学顶级会议ACL2026收录,研究方向覆盖大模型评测、复杂流程推理、竞赛级数学思维优化、强化学习及生成式推荐,旨在提升推理能力并探索AI在本地生活服务中的新范式。
- 日榜
- 周榜
- 月榜
热点快看
