上海
文｜锦缎
市值5000亿人民币的美国互联网基础设施巨头Cloudflare，向人工智能新势力Perplexity发起指控，称后者采用"隐形爬虫"技术规避网站封锁，秘密抓取明令禁止其访问的内容。
这场冲突凸显了AI公司训练数据获取与网站主权间的尖锐矛盾。
规避技术细节
Cloudflare安全团队在实验中发现：当Perplexity官方爬虫（标识为"PerplexityBot"）被robots.txt文件或防火墙规则拦截后，该公司会立即启用未声明的备用爬虫程序。该程序通过两种手段伪装身份：
1.篡改用户代理：
伪装成"macOS版Chrome浏览器"的普通用户访问；
2.轮换网络标识：
动态更换IP地址及自治系统网络（ASN）以绕过封锁。"此类行为每天涉及数万个域名，产生数百万次违规请求"。
冲突升级与反制
此次指控源于Cloudflare客户投诉——尽管已通过技术手段屏蔽Perplexity爬虫，其网站内容仍出现在该AI公司的搜索结果中。
Cloudflare验证后采取两项措施：
1.将Perplexity移出"已验证机器人"白名单；
2.向所有用户（含免费客户）提供拦截其隐形爬虫的技术方案。
Perplexity发言人杰西·德怀尔（Jesse Dwyer）驳斥指控为"炒作"，称报告存在"根本性误解"。但Cloudflare出示的实验记录显示：其专设的测试域名（含严格访问限制）内容仍被Perplexity抓取并解析。
行业博弈白热化
Cloudflare首席执行官马修·普林斯（Matthew Prince）指出核心矛盾：AI公司抓取效率与网站收益严重脱钩。
"OpenAI平均每1500次抓取带来1次用户跳转，Anthropic这一比例高达73300:1，而谷歌仅为18:1"。
这促使Cloudflare于2025年7月推出革命性方案：
●「Pay Per Crawl」收费系统：允许网站向AI公司按次收取内容抓取费用；
●「AI迷宫」防御工具：用虚假内容消耗恶意爬虫资源。
目前已有美联社、Reddit等逾百万网站加入封锁AI爬虫的行列。
Robots.txt协议——这份维系互联网三十余年的"君子协定"，正面临人工智能时代的严峻挑战。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
