谷歌搜索部署反爬措施之后,大量 AI 智能体或爬虫涌进 Brave Search,导致后者压力巨大。经过评估,Brave 决定在未来几天部署反爬措施,同样采取类似谷歌的跳转中间页进行解密。
![]()
先看谷歌的做法。近期谷歌在部分搜索结果中使用 google.com/goto/ 中间地址进行解密跳转:用户点击结果时,请求先通过中间页发送到谷歌服务器进行实时解密,服务器解密后返回明文链接交给中间页,中间页再完成跳转。
部分用户点击搜索结果时可能遇到中间页风控,页面提示正在验证请求,需要等待几秒才能继续跳转。这套措施主要打击 AI 智能体或爬虫批量搜索和抓取关键词搜索结果。以前谷歌搜索结果都是明文的,不加密也不需要经过中间页跳转。
Brave 的新搜索结果会采用类似 search.brave.com/go/v1# 的形式,目标地址同样经过加密,需要交给服务器实时解密,服务器解密后的地址返回给跳转页,而且每条结果都使用各自的加解密密钥。
整个流程是这样的:
- 用户点击某个搜索结果时,浏览器向 Brave 服务器请求解密所需的信息;
- 该请求会经过随机化处理,让服务器可以处理请求;
- 服务器处理请求并下发解密信息;
- 浏览器获取结果后在本地解密地址,再跳转到目标地址。
中间页解密数据是有时效性的。如果爬虫抓取的都是加密后的链接,这些链接可能会在短期内失效,若无法绕过风控实时获取解密的地址,那意义不大。
Brave 向商业客户提供搜索 API 服务,普通用户和开发者也可以开通 Brave 搜索 API 服务,并获得每月 10 美元的合并免费额度,超额部分需要按次支付费用。
对 Brave 来说,当前 AI 智能体查询和各类收集数据的爬虫造成的压力非常大。通过加密搜索结果,可以打击高频次爬取行为,这有助于确保 Brave 搜索提供稳定服务。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.