Anthropic与OpenAI的AI爬虫正如何改变互联网内容生态

1月13日消息，一直以来，人们在引用其他内容时，通常会注明信息的原始来源，方便读者查阅原文，进而为原始平台带来访问流量。这构成了互联网长期运行的"隐性契约"。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

然而在当下的AI时代，这套机制正在迅速瓦解。如今各大AI机器人直接根据用户需求抓取数据，导致用户访问原始内容的意愿明显下降，同时相应的AI工具也在大量消耗流量。

综合相关报道，Cloudflare从2025年开始系统性地追踪这一不公平现象。平台通过统计大型科技公司爬虫抓取的请求次数，以及这些平台向实际输送的访问量，由此计算出一个"抓取与回流比"。这个指标可以直观反映平台从互联网"拿走"了多少价值，又"归还"了多少。举例来说，"100:1的比例意味着平台每抓取内容100次，仅为其带来1次访问"。

在Cloudflare的统计中，Anthropic的"抓取与回流比"最差，其抓取量远高于带来的访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着两家平台正从互联网获取越来越多的价值，却反馈得越来越少。

这一趋势与外媒在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率"高到惊人"，甚至导致相关网站的流量和云计算成本大幅上升。

一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少回流，还在无形中将更高的运营成本转嫁给了所有网站运营者。

相关阅读：

《一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具》