在互联网的暗处,一场没有硝烟的战争正在持续升级。运营捐赠者信息数据库“PatronView”的尼克·格雷近日公开了自己与AI爬虫搏斗一整年的数据,结果令人瞠目:服务器每被真人浏览1次,机器人就已经悄悄读取了大约214次。格雷坦言,“流量中的99%都是机器人”这个说法,实际上还略显保守。 PatronView是一个基于公开信息整理个人资料的平台,拥有约150万份个人档案,因此天然成为各类搜索引擎与AI爬虫的靶子。格雷长期致力于抵御这些不请自来的访客。在他记录的一个星期里,PatronView服务器实际输出的完整网页数约为128万次;而真正被访问统计工具记录到的浏览量,只有区区5977次。两者相除,比例约为214比1。如果画成图表,人类浏览对应的是图片中的那一格蓝色,其余整片灰色格子全都是爬虫的足迹。 其中最为疯狂的一天出现在2026年4月22日。当天服务器接到了高达362万条请求,访问IP分散在约36.1万个地址。格雷发现绝大多数流量来自中国,便于翌日果断封锁了来自该地区的访问,请求量随之骤减,效果立竿见影。 将目光聚焦到特定的AI爬虫,更令人惊讶的细节出现了。Anthropic公司的“Claude-SearchBot”在一周内抓取了约42万页内容;而由用户操作直接触发的“Claude-User”访问只有12次。两相对照,人工智能大约每带来1次真实用户访问,就顺手抽走3.5万个页面。亚马逊的“Amzn-SearchBot”频繁出没,却从未为网站带来哪怕一名真人访客。即便是业界相对节制的Googlebot,其抓取与真实访问的比例也达到了46比1。 这种失衡并非个别现象。随着AI训练和大规模自动化应用的兴起,草根网站正被机器流量挤压到濒临崩溃。站长们所支付的服务器费用,换来的更多是机器人无休止的刷屏,而非真实读者的浏览体验。 这样的压力,也真真切切地压在了GIGAZINE自己身上。物价飞涨叠加服务器成本攀升,运营开销已经到了难以为继的地步。编辑部已经把能省的地方都省了一遍——整理线路、压缩服务器台数——但依然处于危险水域。倘若情况继续恶化,他们为了避免预算超支,恐怕不得不将每篇文章强行拆成10个页面来勉强增加浏览量,那无论如何都是一种对读者体验的伤害。 为了不让局面变得如此难堪,GIGAZINE正在向读者募集服务器运营支援,只需每月825日元(含税;页面按钮显示900日元,其中33日元为信用卡手续费),便能够帮助服务器继续稳定运转。哪怕只是一日元,对有需要的服务器而言也称得上雪中送炭。如果你想了解详细情况,可以参照PatronView发布的原文资料及其对抗爬虫的防火规则,而GIGAZINE的支援入口,也已经放置在页面上方显眼的位置。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.