多家AI公司未经授权绕过网络标准抓取新闻网站内容
近期人工智能领域再度引发热议。上周六，一家专注于内容授权业务的初创公司TollBit向新闻出版商发出警告：多家AI企业正在绕过出版商设置的常见网络爬虫拦截标准，并将抓取到的内容用于训练生成式AI模型。 这一消息发布之际，正值AI搜索初创公司Perplexity与《福布斯》就同一网络标准公开交锋。本质
近期人工智能领域再度引发热议。上周六，一家专注于内容授权业务的初创公司TollBit向新闻出版商发出警告：多家AI企业正在绕过出版商设置的常见网络爬虫拦截标准，并将抓取到的内容用于训练生成式AI模型。
这一消息发布之际，正值AI搜索初创公司Perplexity与《福布斯》就同一网络标准公开交锋。本质上，这反映了科技企业与媒体机构之间关于“生成式AI时代内容价值”这场大辩论的缩影。
TollBit这家公司的定位颇具特色——它充当着内容短缺的AI企业与愿意签署授权协议的出版商之间的“桥梁”角色。
关于争议本身，《福布斯》此前指责Perplexity在其AI生成的摘要中未经授权使用了其报道内容，且未注明来源。引用来源：值得一提的是，《连线》杂志上周发布的一篇调查报道也指出了类似问题：Perplexity可能绕过了新闻出版商设置的“机器人排除协议”（Robots Exclusion Protocol）或其他反爬虫机制。
图源 Pexels
此事也引发了自称代表2000多家美国出版商的贸易组织“新闻媒体联盟”的强烈反应。他们指责AI公司完全无视出版商设置的“禁止抓取”机制或“robots.txt”等工具。新闻媒体联盟主席Danielle Coffey直言：“如果AI公司不停止大规模抓取行为，我们就无法通过有价值的内容实现盈利，也无法为记者支付薪酬。”
TollBit透露，Perplexity并非唯一的违规者。根据其分析，“大量”AI平台都绕过了这一禁止抓取机制。该机制原本是为AI平台提供的一份“白名单”，明确指示哪些内容可以抓取、哪些不可抓取。然而现实是，AI公司似乎并未将其放在心上。
TollBit在报告中写道：“这意味着，来自多个来源的AI平台正在选择绕过robots.txt协议来获取网站内容。我们获得的出版商日志越多，这种模式出现的频率就越高。”
<纽约时报>等部分出版商已选择直接起诉AI公司的侵权行为。另一些出版商则采取了不同策略——与AI公司签署授权协议，AI公司也愿意为此付费，尽管双方对内容价值的认知存在较大差异。许多AI开发者认为，免费获取内容并未违反任何法律。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：多家AI公司未经授权绕过网络标准抓取新闻网站内容要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI，不拼参数大小，而是通过知识密度提升与模型风洞技术，将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”，在用户开口前预判需求，已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心，容量可扩展至50MW，提供从设计到运营的端到端服务，旨在满足政府及企业日益增长的算力需求，抢占印度快速增长的数据中心市场，并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%，接近人工水平。同时在新工站分别达到90%成功率，从单一操作拓展至多工站协同，验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局，DeepSeek创始人梁文锋凭借其公司的迅猛发展，个人财富急剧膨胀，一举超越多位硅谷知名人物，成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元，超越多位AI大佬 根据最新彭博亿万富豪指数，DeepSeek
- 日榜
- 周榜
- 月榜
热点快看