网易首页 > 网易号 > 正文 申请入驻

Meta爬虫疯狂涌入,一艺术家网站被挤爆

0
分享至

IT之家 11 月 3 日消息,圣地亚哥一名创作者原本希望有更多人访问自己的网站,结果她迎来的不是访客,而是 Meta 爬虫带来的 55 万余次访问,如今她只能手忙脚乱地维持网站正常运转。


儿童绘本作家、插画师切尔西 · 保卢斯(Chelsea Paulus)向 Business Insider 表示,这台自动访问程序耗尽了网站主机资源,她不得不和服务商一起排查故障。

“我从来没有遇到过这种情况,”保卢斯说,“哪怕我懂一些技术,这周也过得心力交瘁。”

保卢斯经营这份事业已有十年,去年转为全职创作者。此前她有科技和网页设计从业背景,所以流量异常暴涨时,她很快察觉到不对劲。

“我不认为这是 Meta 蓄意发起的恶意攻击,”保卢斯说,“但小微企业主需要知道这类风险,并且要有可用工具来阻挡爬虫。”

艰难维持网站在线

10 月 24 日,她收到主机服务商 SiteGround 的邮件预警:分配给她的 CPU 资源已经用掉 80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。

保卢斯说,周一她查看网站安全面板,发现每秒有好几次访问请求涌入。

“我打开 WordFence,屏幕上每秒都在不断刷新访问记录。”保卢斯说,“在 WordFence 里点开详情可以看到 IP 地址,查询之后发现,这个 IP 归属 Meta 位于达拉斯的节点。”

访问程序的标识名称为“Meta External Agent”,主机服务商 SiteGround 的工作人员后来也确认了这一点。

根据 Meta 开发者页面说明,Meta External Agent 会在全网抓取内容,用途包括基础大模型训练、直接收录内容以优化产品。

保卢斯偶尔投放 Meta 广告,之前也见过 Facebook 爬虫访问,但如此大的访问量是第一次碰到。

“我修改了 robots.txt 文件,也配置了防火墙,但这些规则生效往往需要 24 小时,而我需要立刻拦住爬虫。”保卢斯说,“所以我联系了主机商。”

“服务商给了我一段代码,加到网站的隐藏配置文件里。”她补充道,“普通建站者一般不会去碰这类文件,但这是当时唯一能挡住爬虫的办法。”

但这个办法只是临时生效。到本周中旬,另一款名为“Meta Web Indexer”的 Meta 爬虫又来了,直接把主机资源占用拉满。

据IT之家了解,Meta 开发文档将 Meta Web Indexer 定义为网页爬虫,作用是浏览网页、优化 Meta AI 给用户返回的搜索结果质量。

事情仍没有妥善解决

Meta 发言人周一表示,网站运营方有权管控爬虫行为,并引导大家查阅《Meta 网页爬虫开发者文档》,了解各类爬虫的用途。

“和很多企业一样,Meta 出于多种目的使用网页爬虫。网站管理者可以通过 robots.txt 这类工具,设定我们爬虫和站点的交互方式。”Meta 发言人说,“我们公开提供爬虫对应的 robots.txt 配置指引,并且尊重站点所有者设置的规则。”

保卢斯和 SiteGround 的邮件截图显示,服务商称其“服务器侧防护”已经在限制爬虫请求。

截至周一,保卢斯的网站依旧不稳定。她只能删掉 Instagram 主页里的网站链接,避免真人访客叠加爬虫流量,导致网站彻底宕机。

保卢斯无力花钱升级流量配额 —— 爬虫不是客户,不会带来任何收入。目前也没有法律禁止 AI 爬虫访问公开可浏览的网站。

她还在尝试 Cloudflare 的人机验证工具拦截爬虫,该工具目前免费。

“Meta 应当设置约束机制,避免这类事故重演。”保卢斯说,“试想如果不受约束的 AI 爬虫持续这样,Cloudflare 这类服务商还能一直免费提供防护吗?”

她还说:“如果这类事情频发,小微企业最终只能多花钱,要么升级资源配额,要么购买防护服务。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
巩晓彬请杨鸣吃大餐!巴特尔搂着朱芳雨,孙杰胖了很多,丁彦雨航向巩导道歉

巩晓彬请杨鸣吃大餐!巴特尔搂着朱芳雨,孙杰胖了很多,丁彦雨航向巩导道歉

老吴说体育
2026-11-20 11:53:39
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
安徽一4岁男孩在家午睡,突然失踪!奶奶在屋后干活,妈妈在二楼带小孩,家门未关,当地已出动上百人搜寻

安徽一4岁男孩在家午睡,突然失踪!奶奶在屋后干活,妈妈在二楼带小孩,家门未关,当地已出动上百人搜寻

都市快报橙柿互动
2026-11-20 20:48:22
音乐人梁月玲离世

音乐人梁月玲离世

上观新闻
2026-11-21 11:03:20
APEC晚宴菜单曝光!粤菜挑大梁,石斑鱼牛排荔枝酒,一桌全是诚意

APEC晚宴菜单曝光!粤菜挑大梁,石斑鱼牛排荔枝酒,一桌全是诚意

市井觅食记
2026-11-19 00:27:31
CCTV5节目表出炉!直播中国男篮与沙特的比赛,11月26日晚上九点

CCTV5节目表出炉!直播中国男篮与沙特的比赛,11月26日晚上九点

国篮会自强
2026-11-21 10:53:28
羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

极目新闻
2026-11-20 20:58:44
以色列正直党领导人埃森科特:若组建执政联盟失败将寻求建立“紧急政府”

以色列正直党领导人埃森科特:若组建执政联盟失败将寻求建立“紧急政府”

财联社
2026-11-21 02:14:37
已经等不了开盘,信号很强烈,下周C浪行情很可能再次被激活吗?

已经等不了开盘,信号很强烈,下周C浪行情很可能再次被激活吗?

股侠指北针
2026-11-21 09:08:04
终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

夜深爱杂谈
2026-11-19 20:44:12
马天宇问王子璇“每天把自己弄这么美干什么”,王子璇:“你不会爱上我”

马天宇问王子璇“每天把自己弄这么美干什么”,王子璇:“你不会爱上我”

韩小娱
2026-11-21 06:17:54
奥斯卡影帝从山顶纵身跃下,新一季定档2027年3月

奥斯卡影帝从山顶纵身跃下,新一季定档2027年3月

生活观察员啊
2026-11-20 00:27:10
他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

钟离踏忆
2026-11-19 14:41:40
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
奇迹之城!美媒惊呼:深圳的摩天大楼比纽约还多!

奇迹之城!美媒惊呼:深圳的摩天大楼比纽约还多!

52赫兹实验室
2026-11-20 14:35:51
黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

LOGO研究所
2026-11-09 19:40:24
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
2026-11-21 11:44:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380578文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
旅游
教育
本地
公开课

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版