网易首页 > 网易号 > 正文 申请入驻

CloudflareVSPerplexity:“数据主权”战争一触即发

0
分享至

文|锦缎

市值5000亿人民币的美国互联网基础设施巨头Cloudflare,向人工智能新势力Perplexity发起指控,称后者采用"隐形爬虫"技术规避网站封锁,秘密抓取明令禁止其访问的内容。

这场冲突凸显了AI公司训练数据获取与网站主权间的尖锐矛盾。

规避技术细节

Cloudflare安全团队在实验中发现:当Perplexity官方爬虫(标识为"PerplexityBot")被robots.txt文件或防火墙规则拦截后,该公司会立即启用未声明的备用爬虫程序。该程序通过两种手段伪装身份:

1‌.篡改用户代理‌:

伪装成"macOS版Chrome浏览器"的普通用户访问;

2.轮换网络标识‌:

动态更换IP地址及自治系统网络(ASN)以绕过封锁。"此类行为每天涉及数万个域名,产生数百万次违规请求"。

冲突升级与反制

此次指控源于Cloudflare客户投诉——尽管已通过技术手段屏蔽Perplexity爬虫,其网站内容仍出现在该AI公司的搜索结果中。

Cloudflare验证后采取两项措施:

1.将Perplexity移出"已验证机器人"白名单;

2.向所有用户(含免费客户)提供拦截其隐形爬虫的技术方案。

Perplexity发言人杰西·德怀尔(Jesse Dwyer)驳斥指控为"炒作",称报告存在"根本性误解"。但Cloudflare出示的实验记录显示:其专设的测试域名(含严格访问限制)内容仍被Perplexity抓取并解析。

行业博弈白热化

Cloudflare首席执行官马修·普林斯(Matthew Prince)指出核心矛盾:AI公司抓取效率与网站收益严重脱钩。

"OpenAI平均每1500次抓取带来1次用户跳转,Anthropic这一比例高达73300:1,而谷歌仅为18:1"。

这促使Cloudflare于2025年7月推出革命性方案:

●「Pay Per Crawl」收费系统:‌允许网站向AI公司按次收取内容抓取费用;

●「AI迷宫」防御工具:‌用虚假内容消耗恶意爬虫资源。

目前已有美联社、Reddit等逾百万网站加入封锁AI爬虫的行列。

Robots.txt协议——这份维系互联网三十余年的"君子协定",正面临人工智能时代的严峻挑战。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2005年,比弗利山庄,狗仔抓拍詹妮弗·洛佩兹外出购物时的照片

2005年,比弗利山庄,狗仔抓拍詹妮弗·洛佩兹外出购物时的照片

娱你同欢
2026-11-13 22:34:33
这4个行业已经发不出工资了,有你吗?

这4个行业已经发不出工资了,有你吗?

一口娱乐
2026-10-31 09:22:54
藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

触摸史迹
2026-11-14 01:22:48
生菜塌房了,减脂中产疯了

生菜塌房了,减脂中产疯了

快刀财经
2026-11-15 22:13:03
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

说故事的阿袭
2026-11-13 12:03:15
家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

铲屎官阿伟
2026-11-10 18:40:10
中芯国际之父张汝京:虽然我是美籍,但我是中国人,回国无需理由

中芯国际之父张汝京:虽然我是美籍,但我是中国人,回国无需理由

卖樱桃的大丸子
2026-11-15 23:33:17
嫌弃ELK?左手爆料BLG大概率原阵容,On开团Bin:开局领先18刀

嫌弃ELK?左手爆料BLG大概率原阵容,On开团Bin:开局领先18刀

电竞小英雄
2026-11-16 16:51:10
特朗普:我即将访问中国,期待参加中俄美元首会晤,我们会讨论很多议题

特朗普:我即将访问中国,期待参加中俄美元首会晤,我们会讨论很多议题

蓬勃新闻
2026-11-16 16:19:41
一种常见绿叶菜,竟有益生元潜力!实验发现,它能支持肠道有益菌生长!

一种常见绿叶菜,竟有益生元潜力!实验发现,它能支持肠道有益菌生长!

肠菌科普
2026-11-16 07:03:41
杨澜:我与老公早已无爱,若继续再在一起,对彼此都是很不公平的

杨澜:我与老公早已无爱,若继续再在一起,对彼此都是很不公平的

今墨缘
2025-07-22 15:41:02
深夜偷看“成人网站”,还以为没人知道?你可能被安排得明明白白

深夜偷看“成人网站”,还以为没人知道?你可能被安排得明明白白

荔子言
2026-11-06 10:27:06
宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

迪迪的娱乐故事
2026-11-07 08:36:34
按权威报道计算,日本老人一天工资是33元

按权威报道计算,日本老人一天工资是33元

不主流讲话
2026-11-16 18:31:10
46岁小罗时隔11年正式复出!意丙首发半场被换 策动进球 获7分

46岁小罗时隔11年正式复出!意丙首发半场被换 策动进球 获7分

念洲
2026-11-16 06:13:51
美股盘前芯片股下跌,AMD、英特尔跌超4%

美股盘前芯片股下跌,AMD、英特尔跌超4%

每日经济新闻
2026-11-16 17:38:02
高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

背包旅行
2026-09-15 10:01:19
小县城的工资开始崩塌了。

小县城的工资开始崩塌了。

老陆不老
2026-08-26 08:38:49
《谷雨》大结局:藏得最深的人不是周海洋也不是曹亦新,而是卖肠粉的桃姐!

《谷雨》大结局:藏得最深的人不是周海洋也不是曹亦新,而是卖肠粉的桃姐!

肆季娱乐
2026-11-15 21:13:13
2026-11-16 19:12:49
蓝鲸新闻 incentive-icons
蓝鲸新闻
财经信息服务平台
140895文章数 194196关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

小升级大体验 2027款岚图知音让家用更便捷

态度原创

本地
亲子
教育
手机
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

为什么孩子冬天不容易长个儿?

教育要闻

代数式难题,灵活转化,助力考生考场拿分

手机要闻

荣耀13300mAh电池通过3C认证,有望搭载于Power3或X90 Pro Max机型

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版