如果你运营一个网站,每次爬取都会消耗带宽和资源,产生日志记录和CDN交易,搜索引擎爬虫好歹还能带来访客,而AI机器人则不会。
网络安全公司DataDome在一份报告中的分析显示,虽然Meta AI的机器人活动有所增加,但它们并没有给网站带来什么明显的收益。
相反,ChatGPT爬虫的流量虽然减少了,但带来的推荐流量更多了。
AI 智能体流量正在增长
虽然 Meta AI 通常被认为是“Facebook 内的聊天机器人”,但它似乎正在演变成某种更大的东西——Meta-WebIndexer 机器人的出现——它在第一季度增长了 163%——表明,Meta 可能正在对大量网站建立索引,这与谷歌几十年来的做法如出一辙。
Meta AI 作为活跃爬虫的增长只是冰山一角,ChatGPT 的相对高效也是如此。OpenAI 的工具似乎已经掌握了足够的网站信息,因此能直接给出它已经“知道”的答案。相比之下,Meta AI 索引网络的活动似乎解释了其在 2026 年第二季度的强劲表现。
但与此同时,模型上下文协议(MCP)信号也正在浮现,它将 AI 智能体与外部工具连接起来,与标准的爬虫流量有所不同。
DataDome 威胁研究副总裁 Jérôme Segura 指出:“第二季度让我们看到,格局正在以比大多数组织意识到的更快的速度变化。Meta 现在在我们网络上的 AI 流量中占据主导地位,MCP 流量已经成为一个真正值得关注的信号,而 ChatGPT 爬得更少,带来的推荐价值却更多。”
AI智能体与网站交互方式的差异——有的像用户在正常操作,有的则在抓取内容——意味着企业需要做出相应的调整。
“数据清楚表明,并非所有智能体都是一样的。那些能根据这些差异来制定策略的企业,才能抢占先机,而这正是智能体信任的落地正在加速的原因。”
不幸的是,MCP不仅存在,还发展到了相当大、可以量化的规模,这意味着它也应该被当作企业受攻击风险的一部分来对待。
资源分配
考虑到这份报告的出处,它自然离不开网络安全这个话题。虽然勒索软件、恶意软件和网络钓鱼这些老问题依然存在,但网络上的自主软件得用不一样的方式来处理。
例如,Segura提到的那些“制定政策的机构”可能会给予Google完全的爬取权限,允许ChatGPT检索结果,但鉴于Meta AI的回报不佳,对其限速。
同时,对于未知的代理方——比如网络安全威胁——则需要额外验证,或者直接被完全屏蔽。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.