Cloudflare新规：2026年屏蔽混合爬虫，AI公司得付费

周三下午，Cloudflare的一纸公告在开发者社区里炸开了锅。这家CDN巨头给所有AI公司划下了一条新的红线：从2026年9月15日开始，任何打着搜索旗号、背后却在为AI大模型和AI代理偷内容的“混合爬虫”，都会被Cloudflare的默认设置直接堵在门外。换句话说，如果你是网站主，用的是Cloudflare的免费计划，或者在那之后新开的服务，那么你的广告页面默认就会对这类混合爬虫说“不”，除非你手动去改设置。

这其实不是一个简单的技术更新，它触碰的是当下互联网最敏感的那根神经——AI公司到底该不该为训练数据和驱动Agent服务而向内容生产者付费。Cloudflare这次的做法很干脆，它不再和爬虫们玩“你藏我找”的游戏，而是直接在网络边缘把规则焊死：要么你把用来做传统搜索的爬虫和用来做AI的爬虫拆清楚，要么对不起，所有带广告页面的内容你默认都拿不到。

这次调整的核心逻辑其实就藏在一组对比里。Cloudflare在公告里点名了“全球最大的搜索引擎”，虽然没有直接说出名字，但所有人都知道说的是Google。按照Cloudflare的说法，这家搜索巨头因为把搜索爬取和AI训练混在同一套爬虫里，就可以比别的AI公司多拿到“大约两倍的信息”。因为网站主为了让自己的内容能在Google搜索里被找到，很难单独把AI训练那部分流量掐掉。Google此前对这个指责有过反驳，说自己提供了Google Extended这个专门的选择退出机器人，允许网站主拒绝将内容用于像Gemini应用和Vertex API这样的AI产品，并且这个设置不会影响网站在Google搜索中的收录。可问题在于，Google主力的Googlebot爬虫本身就同时服务于搜索、AI Overviews和AI Mode等功能，对普通网站主来说，这就是一个“要么全给我，要么就别想被搜到”的压缩包。

而Cloudflare想要改变的正是这种捆绑状态。它宣布，从2026年9月15日起，所有带有广告的页面（这几乎覆盖了绝大多数靠内容生存的网站）都会在Cloudflare这一层默认屏蔽那些同时服务于搜索、Agent调用和模型训练的爬虫。受影响的范围很广，包括所有新Cloudflare客户、现有客户新开设的站点，以及全部现有的免费用户。这个时间节点的选择也很有意思——它给了行业大约两年多的缓冲期，既不是立刻断粮，也足够让AI公司回过头去重新设计自己的爬虫体系。

Cloudflare的联合创始人兼CEO Matthew Prince在声明里提到了一个很多人都忽略的里程碑：现在互联网上的大部分流量已经不是人类产生的了，机器人的流量第一次超过了人类。而这个拐点原本预计要到明年才会到来。Prince说，“既然现在互联网上大部分流量都不是人类产生的，我们就必须走得更远、行动得更快，这样才有可能形成一个可持续的生态。”他的这番话其实也点出了这次政策调整的紧迫感——当爬虫流量已经成为主体，如果再不从基础设施层面做出区分和约束，依靠流量生存的内容生态很快就会失序。

所谓“可持续生态”落到具体行动上，就是Cloudflare这次打出的这套组合拳。它一边给了网站主更高的可见性和商业机会，另一边也在倒逼AI公司去建立意图清晰、行为透明的爬虫机制。Prince的原话是：“我们希望我们提议的默认设置变更，能促使那些混合爬虫把用于搜索的目的和用于Agent、训练的目的拆分开来。”

事实上，这已经不是Cloudflare第一次在AI与内容之争里站队了。过去几年，这家公司既提供帮助用户搭建自己AI系统的产品，也连续推出了一整套让出版者在AI时代拿回内容控制权的工具。其中有专门用于对抗AI爬虫的防御模块，也有一个叫做“Pay Per Crawl”的试验性市场——它允许网站向前来抓取内容的AI爬虫直接收费。这个听上去像“抓取即付费”的模式在当时就引起过热议，因为它首次把网站被爬这件事从“被动的资源流失”变成了一桩可以谈的商业合作。

而现在，“Pay Per Crawl”正在进化成“Pay Per Use”。按照Cloudflare的说法，新模式下，出版者不仅可以对爬取行为收费，还可以在AI公司利用这些内容实际产生价值的时候再去计费，而不再只是按抓取次数来算钱。这个转变的意义在于，它把内容看作一种可以持续产生价值的资产，而不是一次性的数据原材料。当一篇报道被AI用来回答用户问题、或者成为Agent完成任务的依据时，网站主将有机会从中分得一部分收益，而不仅仅是在被抓取的那一刻拿到一笔微小的“过路费”。

对整个AI行业来说，Cloudflare这一步棋的实际影响力也不能低估。毕竟Cloudflare承载着全球相当大比例的网站流量，它的默认设置一旦改变，就意味着大量原本可以随便被爬走的内容会突然变得“看得到但拿不走”。那些主要依赖公开网页数据来训练模型或驱动Agent服务的AI公司，将不得不开始面对一个现实：要么花精力适配各家网站不同的授权机制，要么乖乖去向出版者采购内容许可。而一旦付费获取内容成为行业标配，今天那些依靠大量免费数据建立起来的模型优势，也可能在几年后面临重新洗牌。

从网站主的视角来看，这次变更也解决了一个长期存在的左右为难——他们既希望自己的内容能被搜索引擎找到，也愿意在合理的前提下向AI服务开放，但不愿意自己的知识产权被人直接免费拿走。过去，要达成这种平衡需要在robots.txt和各种爬虫管理工具里做一大串复杂的配置，而且效果往往还因爬虫而异。现在Cloudflare把它变成了一个默认开启的选项，这种从“手动防堵”到“默认保护”的切换，本身就大幅降低了网站主的参与门槛。对于那些缺乏技术团队的独立博客作者和小型新闻网站来说，这样的默认保护可能比任何AI内容授权谈判都更具实际意义。

当然，也有评论指出，这个政策的效果最终还要看执行力度和爬虫们的自觉程度。毕竟互联网上从来就不缺不遵守robots协议的爬虫，总会有一些打着“研究目的”旗号绕过设置的抓取行为。但Cloudflare的优势在于，它拥有网络层面的流量识别能力，能够通过行为特征而非仅仅依靠声明来判断一个请求到底来自搜索引擎还是AI抓取程序。这意味着即便某些爬虫伪装成浏览器或者冒充传统搜索爬虫，在Cloudflare的防御体系面前也可能被拦截下来。此外，随着“Pay Per Use”的落地，内容授权这件事有可能从今天零散的个别谈判，逐步转向一种由互联网基础设施层来支撑的标准化交易市场。

如果把时间线拉长来看，2026年9月15日很可能成为AI与内容关系的一个分水岭。在那之前，互联网的默认状态是“一切内容在未被明确拒绝的情况下，都可以被抓取”；在那之后，至少在Cloudflare所覆盖的那部分互联网上，默认状态将变成“你如果不清不楚地既做搜索又做AI，那就什么也拿不到”。这种底层默认规则的翻转，或许比任何单次的法律诉讼或行业倡议，都更能推动AI公司去认真思考一个赤裸裸的问题：当免费数据的阀门被关上，它们的业务模式到底有多大的调节空间？

Matthew Prince在公告末尾的措辞很值得玩味，他说希望这次提议的默认变更能“鼓励”混合爬虫做出改变。一个基础设施公司用“鼓励”这个词，其实已经在传递一个很清晰的信号：我们不会替整个行业做裁决，但我们会通过改变规则，让那些主动把搜索和AI分开的爬虫获得更好的待遇，让那些仍然试图浑水摸鱼的混用者处处碰壁。这种以基础设施能力为杠杆的引导式治理，或许正是下一代互联网内容经济得以运转起来的关键一环。