北京
都2026年了，Cloudflare突然觉得“一键屏蔽所有AI爬虫”这功能太粗糙了。两年前他们还给所有人一个痛快按钮，现在反而拆成三个选项，逼着你做选择。这到底是细化服务，还是在给网站主出难题？反正免费用户也得跟着适应。
Cloudflare给所有客户甩出一套新工具，把原来那个“全屏蔽”开关劈成了三类：搜索、训练、代理。搜索管搜索引擎收录；训练管那些扒数据去喂AI模型的；代理专治帮用户干活的bot，比如ChatGPT那种。从一锅端变成三选一，网站主终于不用在“放全部进来”和“全部挡掉”之间头疼了。
更厉害的是，从2026年9月15日起，只要你的页面挂了广告，训练类和代理类爬虫默认就会被拦在门外。逻辑很简单：你既然指着广告赚钱，肯定希望真人来看，那就不该让AI训练和代劳的机器人白白吸流量。搜索爬虫暂时安全，毕竟还得靠它们被搜到。要是遇上谷歌那种既搜内容又拿去训练的“多面手”，对不起，按最严的规矩来。这一刀切在广告页面上，等于替内容创作者先表明态度。
Cloudflare这波操作，摆明了在逼着bot运营方把自家爬虫按用途拆清楚。CEO马修·普林斯去年就点名谷歌，说你们把搜索蜘蛛和AI训练爬虫捆一块儿，装什么无辜。到2026年6月，他又扔出一组数字：互联网上机器流量头一回干掉了人类流量，比他之前预估的2027年底提前了一年半。这下连借口都没了，拆分爬虫的动作必须提速。
企业客户手里还多了一张底牌：BotBase。这是一个直接嵌在控制面板里的可搜索机器人数据库，收录了所有已知bot，且亮出每个家伙是怎么分类的、拿你的内容干什么——是只贴个链接，还是整页复制走。以前可能只能靠猜，现在相当于有了一份bot成分说明书。
验证过的机器人也别想再靠“免检”标签混日子了。以前只要带上Verified标记，自动通行。如今不行了，类别决定你能不能进门。那个小绿标不再管用，运营方得自证身份属实，还得保证不滥用权限。等于说，Cloudflare在bot审核上加了道信任背书的重考。
整件事看下来，Cloudflare这套新规像在给AI时代的流量秩序强行立规矩。从“一键屏蔽”到“三类分治”，表面是多了几个按钮，实则把内容主权悄悄推还给了网站主。免费用户跟企业版一起上车，说明这不再是少数人的高端权限。就是不知道那些被逼着拆家的爬虫运营方，会不会真老老实实照着规矩来。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
