Cloudflare新实验：爬虫收费将推高AI应用成本

Cloudflare 刚刚扔出了一枚重磅冲击波：AI 爬虫想来抓内容？先留下买路财。这个被命名为“按爬取付费”（Pay Per Crawl）的实验机制，正在悄然改写 AI 获取信息的游戏规则。

这次更新主要包含两大“劝退”功能：

默认“闭门羹”：所有新注册 Cloudflare 服务的网站，将默认开启对 AI 爬虫的封锁。换句话说，网站所有者什么都不用做，就能直接把那些不请自来的数据“饕餮客”挡在门外。

“按次付费”实验（Pay Per Crawl）：Cloudflare 启动了一项名为“按次付费”的私人测试。在这个模式下，AI 爬虫想访问内容，就必须在请求中表明“诚意”——也就是附带支付意图。

从技术角度看，这套机制的设计堪称一种简单粗暴的优雅。当一个 AI 爬虫发出访问请求时，如果其请求头中没有携带有效的支付意图，服务器将直接返回一个经典但罕见的 HTTP 状态码：402 Payment Required（需要付款）。这就像在网站门口雇了个数字保镖，没带钱的访客连门都进不去。Cloudflare 负责处理这背后的交易技术架构，让网站主可以轻松地为自己的内容明码标价。

这一举措的背后，是内容创作者和出版商日益加剧的生存焦虑。正如 Cloudflare 的 CEO Matthew Prince 所言，人们越来越习惯于从 AI 聊天机器人那里获得答案，却很少点击查看信息的原始来源，这直接切断了网站赖以生存的广告收入来源。当原创内容无法带来回报，互联网的活力便岌岌可危。Cloudflare 的新政，本质上是为内容创作者提供了一个反制工具，让他们能从那些利用其数据训练出千亿参数模型的 AI 公司身上，拿回属于自己的那份价值。

“原创内容是互联网之所以伟大的基石，” Prince 在声明中强调，“我们的目标是将权力交还给创作者，同时帮助 AI 公司以一种可持续的方式进行创新。这是一个为所有人服务的新模式，旨在保护一个自由且充满活力的互联网的未来。”

显然，这只是一个开始。Cloudflare 设想未来可能出现一个动态定价的市场，允许发布者根据内容的不同类型（例如，一篇深度分析文章的抓取费用高于一条普通新闻）收取不同的费用。这场围绕数据价值的博弈才刚刚拉开序幕，但风向已经变了。AI 的“数据自助餐”时代可能即将结束，一个万物皆有价的“付费抓取”时代，或许正在到来。

这场实验到底是好是坏？

从内容创作者的角度来看，这简直是久旱逢甘露。想想看：

• 《时代》杂志、美联社等大型出版商已经加入，说明这个需求是真实存在的。
• 创作者终于可以从自己的内容中获得应有的收益。
• 这可能催生出一个全新的“内容授权市场”。

很多博主抱怨：“我花费大量时间写技术文章，结果AI训练完就把我的知识‘学走了’，用户直接问AI而不来我的网站。现在终于有机会让AI公司为使用我的内容付费了。”

但硬币的另一面同样值得关注：

• AI训练成本将大幅上升，可能导致只有大公司才玩得起AI。
• 小型AI创业公司可能因为无法承担数据成本而夭折。
• 用户最终可能面临更昂贵的AI服务。

更令人担忧的是，这可能创造一个“信息不平等”的世界——有钱的AI能获取优质内容，没钱的AI只能“吃剩饭”。

可能的连锁反应

这个看似简单的收费机制，可能引发一系列意想不到的后果：

AI公司的“内容军备竞赛” 想象一下，OpenAI、Google、Meta等巨头开始疯狂竞价购买优质内容的访问权。这场竞争的激烈程度，可能不亚于当年的“人才争夺战”。

内容创作者的“分化” 一些创作者可能因为AI付费而获得意外收入，但另一些可能因为定价过高而失去AI流量，最终影响知名度。

用户体验的“倒退” 如果AI无法获取最新信息，我们可能回到“搜索引擎 + 人工筛选”的时代。你还记得没有AI助手的日子吗？

未来会怎样？三种可能的结局

可能一：共赢模式 AI公司、内容创作者、用户三方找到平衡点。AI公司通过付费获得高质量内容，创作者获得稳定收入，用户享受更好的AI服务。这是最理想的结局。

可能二：分裂模式 互联网分化为“付费区”和“免费区”。高端AI服务只能访问付费内容，而免费AI只能使用开放内容。这可能加剧数字鸿沟。

可能三：对抗模式 AI公司开发更先进的爬虫技术绕过付费机制，而内容保护技术也不断升级。这将演变成一场永无止境的技术军备竞赛。

当下，行业纷纷强调要打造对AI友好的工具与网页，验证码、登录框等元素已备受诟病。然而，Cloudflare不仅未取消这些设置，反而开始收费。那么，你认为这一新政策是阻碍AI发展的绊脚石，还是开创面向AI内容消费全新商业模式的探路者呢？留下你的高见！

参考：https://blog.cloudflare.com/introducing-pay-per-crawl/