Cloudflare 年度回顾：AI 机器人疯狂爬网、后量子加密普及率达 50%、Go 语言用户翻倍

作者 | Renato Losio

译者 | 平川

近日，Cloudflare 发布了第六版 Radar 年度回顾报告。数据显示，全球互联网流量同比增长 19%，Googlebot 占据主导地位，爬取引流比持续攀升，后量子加密技术得到广泛应用。有超过 20% 的自动化 API 请求是由基于 Go 语言的客户端发起的，其采用率较上年几乎翻倍。

本年度报告以 Cloudflare 广泛的基础设施数据（包括 1.1.1.1 公共 DNS 解析器的匿名查询数据）为基础，深入剖析了 2025 年定义互联网格局的各类中断事件、技术突破及关键指标。该报告包含多个不同的板块（流量、人工智能、普及与应用、连接性、安全性及电子邮件安全），采用与往年相同的分析方法论。

报告指出，在过去一年中，全球流量增长了 19%，谷歌和 Facebook 仍是用户最常使用的服务，而星链（Starlink）的增长尤为显著，同比增长达 2.3 倍。

通过希尔伯特曲线以二维模式将 IPv4 地址序列可视化——该模式能使相近的 IP 地址排列在一起，Cloudflare 在分析中发现，谷歌爬虫（Googlebot）是使用最频繁的网络爬虫。Cloudflare 数据洞察负责人 David Belson 写道：

2025 年，Googlebot 再次成为 Cloudflare 请求流量的最大来源，它爬取了数百万个 Cloudflare 客户网站用于搜索索引和人工智能训练。

此外，Googlebot 占已验证机器人流量的 28% 以上，而 Google AdsBot（用于监控已投放谷歌广告的网站）、Google Image Proxy（用于检索和缓存嵌入在电子邮件信息中的图片）以及 GoogleOther 进一步巩固了这家搜索巨头的统治地位。OpenAI 的 GPTBot 和微软 Bingbot 分别以 7.5% 和 6% 的占比紧随其后。

报告显示，人工智能平台正在以极高的频率爬取内容，却未能为来源网站带来相应的流量，其爬取引流比与 2024 年相比持续攀升。Anthropic 平台的爬取引流比高达 500000:1，OpenAI 最高达 3700:1。在主流人工智能平台中，Perplexity 的爬取引流比最低。

CloudZero 研究总监 Jeremy Daly 在其新闻通讯中总结道：

Cloudflare 年度报告精彩回顾：内容饥渴的 AI 爬虫（仅 Googlebot 就占所有 HTML 请求量的 4.5%，“用户操作”爬取量激增 15 倍），超过半数人类 Web 流量采用了后量子加密技术，以及 174 次重大互联网中断事件。

在这份报告中，这家超大规模云服务商承认，Meta 的 llama-3-8b-instruct 模型在其边缘 AI 平台 Workers AI 上最受欢迎。该平台支持在网络边缘直接运行 AI 模型，其中最热门的任务类型是文本生成。

尽管 2025 年 HTTP/3 和 HTTP/2 请求量均小幅增长，但在人类产生的 Web 流量中，为了有效防范“先收集、后解密”的攻击手段，已有半数采用后量子加密技术——该比例较年初的 29% 几乎翻倍。

图片来源：Cloudflare 官方博客

与往年一样，该团队使用 Cloudflare Radar 的 URL 扫描器 来识别前 5000 个域名中最受欢迎的技术和服务。他们发现，基于 JavaScript 的库和框架仍然是构建网站不可或缺的工具。Belson 补充道：

jQuery 自称是一个快速、小巧、功能丰富的 JavaScript 库，我们扫描发现，使用它的网站数量是 Slick（用于图片轮播的 JavaScript 库）的 8 倍。React 仍然是构建 Web 界面最常用的 JavaScript 框架，在我们扫描的站点中，其使用数量是 Vue.js 的两倍。

PHP、Node.js 和 Java 仍是最常用的编程技术，明显领先于 Ruby、Python、Perl 和 C 等替代方案。在 Hacker News 上的一个热门帖子中，许多人质疑 ASP.NET 和 C# 的相对份额，用户 nic547写道：

ASP.NET 可能涵盖多种编程语言，而我猜测，ASP.NET 服务器本身并不会披露具体细节。虽然可以合理推测主要是使用 C#，但这需要采用不同的指标来评估。

通过分析与 API 相关的请求，Cloudflare 识别出构建 API 客户端最常用的编程语言：20% 的自动化 API 请求来自基于 Go 的客户端，与 Go 语言 2024 年 12% 的份额相比增长显著。Python、Java 和 Node.js 紧随其后，成为最受欢迎的技术。

图片来源：Cloudflare 官方博客

尽管从业者往往会关注 云服务中断问题，但 2025 年 观察到的中断事件 近半数实为计划内停机——旨在“防止学术考试作弊”，其余则与抗议活动、社会动荡或海底及国内光纤基础设施遭破坏有关。

与往年一样，这家超大规模服务商强调，超大规模网络层攻击的频率和规模日益增长。这类攻击发生在第 3/4 层，峰值流量超过每秒 1 太比特或每秒 10 亿个数据包。Cybernara 创始人 Chirag Goswami评论道：

互联网正经历中年危机。机器人已成为新常态。分布式拒绝服务攻击屡创新高。一次 BGP 故障仍能让半数网站瘫痪。Cloudflare 的 Radar 年度回顾不仅是数据统计，更是互联网真实面貌的压力测试报告——它揭示了网络环境的脆弱、快速以及机器人泛滥的现状。

Cloudflare Radar 2025 年度回顾专题网站提供了更详细的数据，包括按具体国家和地区划分的趋势分析。

https://www.infoq.com/news/2025/12/cloudflare-2025-ai-bots/

声明：本文为 InfoQ 翻译，未经许可禁止转载。