Anthropic与OpenAI爬虫如何影响内容生态与网站回报

1月13日，IT之家发布消息称，过去我们习惯于这样一个约定俗成的做法：当人们引用其他平台的内容时，通常会附上原文链接，这既方便读者追溯信息来源、查阅原文，也为原始平台带来了可观的访问流量。这种“隐性契约”长久以来维系着互联网生态的运转。

然而，随着AI时代的到来，这套运行机制正面临着前所未有的冲击。如今，各类AI机器人能够直接根据用户需求抓取网络数据，这导致用户主动访问原始内容页面的意愿显著降低。同时，相应的后果是，这些AI工具本身也在大量消耗着本应流向内容源的网络流量。

综合Cloudflare及Business Insider的报道，Cloudflare自2025年起开始系统性地追踪这一不平衡现象。该平台通过统计大型科技公司网络爬虫的抓取请求次数，以及对比这些平台实际为内容网站输送的访问量，计算出一个“抓取与回流比”。这项指标能够直观地反映一个平台从互联网“拿走”了多少价值，又“归还”了多少。举例来说，“100:1”的比例意味着，该平台每抓取内容100次，仅为源头网站带来1次访问。

在Cloudflare的统计中，Anthropic的“抓取与回流比”表现最差，其抓取量远高于为网站带来的实际访问量。OpenAI的情况也类似，其抓取回流比同样不佳。这意味着这两大平台正从互联网获取越来越多的价值，但反馈给内容创作者和网站的却越来越少。

这一趋势得到了外媒Business Insider在2024年末一项调查的印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率“高到惊人”，甚至导致一些网站的流量成本和云服务开支大幅上升。

一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫请求的暴增而翻了一番。也就是说，AI公司不仅从互联网获取内容、减少流量回流，还在无形中将更高的运营成本转嫁给了所有内容提供方。