警惕AI爬虫：Anthropic与OpenAI如何抓取互联网数据
IT之家1月13日消息，在互联网的通行规则里，编辑引用他人内容时，通常会附上信息来源，这既是对原创者的尊重，也为读者查验原文提供了便利。这种注明出处的做法，无形中为原始平台带来了访问流量，构成了互联网长期运行的隐性契约。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而，在AI技术蓬勃发展的当下，这套固有的平衡机制正在迅速瓦解。如今，各大AI模型直接根据用户指令抓取海量网络数据，导致用户访问原始内容页面的意愿显著降低。与此同时，内容提供方却需要承担AI工具频繁抓取所带来的巨额流量消耗。
综合Cloudflare及外媒Business Insider的报道，自2025年起，Cloudflare开始系统性追踪这一失衡现象。他们通过统计大型科技公司网络爬虫的请求次数，以及对比这些公司最终为内容源带去的实际访问量，计算出一个“抓取回流比”。这个指标能直观反映平台从互联网“拿走”了多少价值，又“回报”了多少。例如，100:1的比例意味着平台每抓取内容100次，仅为原创者带来1次访问。
在Cloudflare的统计数据中，Anthropic的“抓取回流比”表现最差，其数据抓取量远高于它所能带来的实际访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着，这两大平台正从互联网获取越来越多的价值，但反馈给内容生态的却越来越少。
这一趋势与Business Insider在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的网络爬虫对部分网站的抓取频率“高到惊人”，甚至导致网站流量与云计算成本大幅上升。
一位开发者当时透露，仅仅几个月内，其客户的云服务账单就因为AI爬虫的暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少流量回流，还在无形中将更高的运营成本转嫁给了所有内容提供者。
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
同类文章
雷鸟创新AWE斩获艾普兰创新奖 蝙蝠侠限定款国内首秀
雷鸟X3 Pro斩获AWE艾普兰创新大奖，开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会（AWE）上，前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新，以其里程碑式的表现，定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战
AWE探展MOVA：31款创新产品集中亮相 重新定义智慧生活新体验
借力AWE2026“一展双区”，MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会（AWE），于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式，主会场位于上海新国际博览中心，分会场则设于上海东方枢纽国际商务合作区，两大展区高效联动
iPhone 18 Pro设计挤牙膏了 继续用前代模具
iPhone 18 Pro系列模具不变，屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案，预计将被推迟至后续迭代机型中正式应用。 近期，关于iPhone 18 Pro系列的技术传闻持续引发行业关注，尤其在显示与解锁设计领域传言甚多。多方消
海韵 FOCUS v5系列电源3.16日首发，标配ATX 3.1规范
海韵FOCUS v5电源正式上市：140mm短机身设计，白金能效，专为紧凑高性能主机打造 对于追求极致空间利用的DIY玩家，尤其是ITX与小尺寸机箱用户，一款高效且尺寸紧凑的电源是组建高性能主机的关键。海韵旗下备受期待的FOCUS v5系列电源，现已在京东自营旗舰店正式发售。该系列主打标准的140m
2026必买A级纯电SUV 方程豹钛3闪充版上市15万起
作为A级纯电市场首款标配闪充的方盒子车型，方程豹钛3闪充版凭借三大越级实力，问鼎同级科技与潮流标杆 2026年3月13日，方程豹品牌正式推出钛3闪充版，新车提供620KM后驱闪充版与565KM四驱闪充版两个车型配置，官方指导价定在15 38万至16 98万元区间。同步，备受期待的钛7EV闪充版也启动
- 日榜
- 周榜
- 月榜
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
