Anthropic与OpenAI的AI爬虫正如何改变互联网内容生态
1月13日消息，一直以来，人们在引用其他内容时，通常会注明信息的原始来源，方便读者查阅原文，进而为原始平台带来访问流量。这构成了互联网长期运行的"隐性契约"。
然而在当下的AI时代，这套机制正在迅速瓦解。如今各大AI机器人直接根据用户需求抓取数据，导致用户访问原始内容的意愿明显下降，同时相应的AI工具也在大量消耗流量。
综合相关报道，Cloudflare从2025年开始系统性地追踪这一不公平现象。平台通过统计大型科技公司爬虫抓取的请求次数，以及这些平台向实际输送的访问量，由此计算出一个"抓取与回流比"。这个指标可以直观反映平台从互联网"拿走"了多少价值，又"归还"了多少。举例来说，"100:1的比例意味着平台每抓取内容100次，仅为其带来1次访问"。
在Cloudflare的统计中，Anthropic的"抓取与回流比"最差，其抓取量远高于带来的访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着两家平台正从互联网获取越来越多的价值，却反馈得越来越少。
这一趋势与外媒在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率"高到惊人"，甚至导致相关网站的流量和云计算成本大幅上升。
一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少回流，还在无形中将更高的运营成本转嫁给了所有网站运营者。
相关阅读：
《一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具》
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
同类文章
Figma一键去除复杂背景AI插件使用教程
在Figma中处理复杂背景图片时，可借助AI背景移除插件实现一键智能抠图。首先安装可靠插件，选中位图图层后通过插件启动AI处理，生成带透明背景的新图层。导出时需选择PNG格式并勾选包含Alpha通道。若效果不理想，可尝试调整高级设置或手动使用矢量蒙版进行局部修正。
CodeBuddy自动生成代码注释教程 提升代码可读性指南
代码注释自动化生成能提升代码可读性与维护效率。通过IDE插件可批量处理存量代码，自动插入规范注释且不改变原有逻辑。在编辑器中圈选代码片段可快速生成解释并转为注释。支持自定义指令以固化团队注释规范，确保风格统一。结合设计工具，还能从设计稿直接生成带注释的前端代码。
Canva长图设计技巧：有效提升用户阅读完成率的实用指南
提高Canva长图阅读完成率需降低认知负担、强化节奏引导。应运用视觉动线划分内容区块，图文结合并留白以提升可读性。控制信息密度，确保一屏一观点，并插入轻量互动点。首屏需用强标题与相关配图快速吸引注意，结尾则应设置行动暗示或链接，避免戛然而止。
OpenClaw自动化工具推荐与使用指南
针对OpenClaw的替代或增强需求，实测显示四款AI智能体平台表现突出。OpenOcta轻量且审计友好，适合测试运维；DTClaw深度定制，强化金融政务合规；ClawLite为边缘低算力设备精简设计；ClawHub则通过认证插件集实现非侵入式能力扩展。它们分别满足不同场景下的本地执行、技能扩展与安全控制要求。
Figma表单无法编辑的解决方法 静态层转可编辑组件教程
Figma中“MakeDesigns”生成的静态表单需解构为独立图层，并用原生工具重建为可编辑组件。步骤包括分离图层、创建输入框、批量替换文字、设置约束，以及为下拉菜单等添加交互变体，最终转换为可交互的现代化组件。
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题
