网易首页 > 网易号 > 正文 申请入驻

99%网站流量竟是AI机器人:人类访问1次,爬虫偷偷加载214次

0
分享至

在互联网的暗处,一场没有硝烟的战争正在持续升级。运营捐赠者信息数据库“PatronView”的尼克·格雷近日公开了自己与AI爬虫搏斗一整年的数据,结果令人瞠目:服务器每被真人浏览1次,机器人就已经悄悄读取了大约214次。格雷坦言,“流量中的99%都是机器人”这个说法,实际上还略显保守。 PatronView是一个基于公开信息整理个人资料的平台,拥有约150万份个人档案,因此天然成为各类搜索引擎与AI爬虫的靶子。格雷长期致力于抵御这些不请自来的访客。在他记录的一个星期里,PatronView服务器实际输出的完整网页数约为128万次;而真正被访问统计工具记录到的浏览量,只有区区5977次。两者相除,比例约为214比1。如果画成图表,人类浏览对应的是图片中的那一格蓝色,其余整片灰色格子全都是爬虫的足迹。 其中最为疯狂的一天出现在2026年4月22日。当天服务器接到了高达362万条请求,访问IP分散在约36.1万个地址。格雷发现绝大多数流量来自中国,便于翌日果断封锁了来自该地区的访问,请求量随之骤减,效果立竿见影。 将目光聚焦到特定的AI爬虫,更令人惊讶的细节出现了。Anthropic公司的“Claude-SearchBot”在一周内抓取了约42万页内容;而由用户操作直接触发的“Claude-User”访问只有12次。两相对照,人工智能大约每带来1次真实用户访问,就顺手抽走3.5万个页面。亚马逊的“Amzn-SearchBot”频繁出没,却从未为网站带来哪怕一名真人访客。即便是业界相对节制的Googlebot,其抓取与真实访问的比例也达到了46比1。 这种失衡并非个别现象。随着AI训练和大规模自动化应用的兴起,草根网站正被机器流量挤压到濒临崩溃。站长们所支付的服务器费用,换来的更多是机器人无休止的刷屏,而非真实读者的浏览体验。 这样的压力,也真真切切地压在了GIGAZINE自己身上。物价飞涨叠加服务器成本攀升,运营开销已经到了难以为继的地步。编辑部已经把能省的地方都省了一遍——整理线路、压缩服务器台数——但依然处于危险水域。倘若情况继续恶化,他们为了避免预算超支,恐怕不得不将每篇文章强行拆成10个页面来勉强增加浏览量,那无论如何都是一种对读者体验的伤害。 为了不让局面变得如此难堪,GIGAZINE正在向读者募集服务器运营支援,只需每月825日元(含税;页面按钮显示900日元,其中33日元为信用卡手续费),便能够帮助服务器继续稳定运转。哪怕只是一日元,对有需要的服务器而言也称得上雪中送炭。如果你想了解详细情况,可以参照PatronView发布的原文资料及其对抗爬虫的防火规则,而GIGAZINE的支援入口,也已经放置在页面上方显眼的位置。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
C罗、乔治娜民政登记文件披露:两人采用分别财产制,即双方约定婚前及婚后财产归各自所有

C罗、乔治娜民政登记文件披露:两人采用分别财产制,即双方约定婚前及婚后财产归各自所有

鲁中晨报
2026-08-13 20:54:04
最年轻新闻秘书,“弃特朗普而去”

最年轻新闻秘书,“弃特朗普而去”

中国新闻周刊
2026-08-13 20:55:23
重磅!湖人史诗疯狂大交易!再破历史!东契奇里弗斯…等全部易主!

重磅!湖人史诗疯狂大交易!再破历史!东契奇里弗斯…等全部易主!

贵圈真乱
2026-08-13 11:44:16
底层的戾气越来越重了。

底层的戾气越来越重了。

老陆不老
2026-08-13 08:32:05
雪球大V,一夜回到解放前

雪球大V,一夜回到解放前

快刀财经
2026-08-12 16:05:15
举国放贷:一场精密运转的“金融绞杀”(图)

举国放贷:一场精密运转的“金融绞杀”(图)

时尚的弄潮
2026-08-13 06:19:12
面对暴力涨租!胖东来这一举动,把全国房东都干懵了!

面对暴力涨租!胖东来这一举动,把全国房东都干懵了!

时代财经
2026-08-13 10:26:29
梅德韦杰夫:南千岛群岛过去、现在、将来都是俄领土

梅德韦杰夫:南千岛群岛过去、现在、将来都是俄领土

新华社
2026-08-13 21:50:03
弟弟举报哥哥冒用自己身份上大学,最新发声:从来没有想过报复哥哥,也没有针对他,有想过如果举报会毁了他,但先救自己的心更强烈

弟弟举报哥哥冒用自己身份上大学,最新发声:从来没有想过报复哥哥,也没有针对他,有想过如果举报会毁了他,但先救自己的心更强烈

大风新闻
2026-08-13 15:00:10
顾客订酒店实付221元,商家到手仅40.67元,“超八成被平台扣走”;平台客服:活动需商家主动参与

顾客订酒店实付221元,商家到手仅40.67元,“超八成被平台扣走”;平台客服:活动需商家主动参与

大风新闻
2026-08-13 19:55:14
普京大动作:一边释放在俄关押4年多的前美军陆战队员,一边向日本“亮肌肉”

普京大动作:一边释放在俄关押4年多的前美军陆战队员,一边向日本“亮肌肉”

红星新闻
2026-08-13 15:44:09
俄军600人打两周都拿不下的村庄,300名朝鲜精锐用5小时全部解决,乌克兰精锐旅反扑照样被挡住,这支部队究竟是什么来头?

俄军600人打两周都拿不下的村庄,300名朝鲜精锐用5小时全部解决,乌克兰精锐旅反扑照样被挡住,这支部队究竟是什么来头?

林杰论事
2026-08-13 17:55:16
43岁王凯告别式今日举行:遗照伴白紫花海,众星云集送最后一程

43岁王凯告别式今日举行:遗照伴白紫花海,众星云集送最后一程

情感大头说说
2026-08-13 02:53:22
3万人祝福!39岁梅西情绪低落:快速离场+未换球衣 胖虎:他是GOAT

3万人祝福!39岁梅西情绪低落:快速离场+未换球衣 胖虎:他是GOAT

风过乡
2026-08-13 12:07:34
举报郭德纲改红歌的人,你们是想看样板戏吗?

举报郭德纲改红歌的人,你们是想看样板戏吗?

评论员岳连
2026-08-13 13:45:50
6年前我国铁路负债高达5.48万亿,再看如今的数据,结果令人意外

6年前我国铁路负债高达5.48万亿,再看如今的数据,结果令人意外

离离言几许
2026-08-10 14:12:54
青银高速宁夏盐池段发生一起车祸 致2人死亡3人重伤

青银高速宁夏盐池段发生一起车祸 致2人死亡3人重伤

新京报
2026-08-13 16:24:11
破亚洲青年纪录!全国田径锦标赛:小孩姐陈妤颉11秒08百米摘金

破亚洲青年纪录!全国田径锦标赛:小孩姐陈妤颉11秒08百米摘金

全景体育V
2026-08-13 21:14:56
从郭德纲被立案调查,看扣帽子的人是如何无所顾忌的

从郭德纲被立案调查,看扣帽子的人是如何无所顾忌的

清书先生
2026-08-13 16:14:59
百花奖花了6000万财政资金,市内接驳就花了180万  网友:不用办了

百花奖花了6000万财政资金,市内接驳就花了180万 网友:不用办了

小星球探索
2026-08-13 13:49:28
2026-08-14 00:23:00
硅屿手记
硅屿手记
有态度网友ytd
403文章数 63关注度
往期回顾 全部

科技要闻

一切皆插件!DeepSeek Harness正式发布

头条要闻

莱维特潜在"接班人"浮出水面 被称为特朗普的"相扑手"

头条要闻

莱维特潜在"接班人"浮出水面 被称为特朗普的"相扑手"

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

篡改红歌已立案,郭德纲大祸临头

财经要闻

可治疗癌症?神话破灭的片仔癀 陷入争议

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

教育
手机
艺术
时尚
公开课

教育要闻

流星“放鸽子”又何妨?成都这700名师生家长的夜晚,依然“有光”

手机要闻

索尼称Xperia 1 VIII销售表现强劲 记忆卡槽与3.5毫米耳机孔为不可或缺的核心特色

艺术要闻

吴冠中画了一树红梅,值1.03亿!

夏天千万别总穿黑裤子,看看下面这些印花裙,高级亮眼又显气质

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版