Cloudflare与GoDaddy联手控制AI机器人爬虫

为了适应日益服务于AI智能体需求但却忽视网站所有者需求的互联网环境，Cloudflare和GoDaddy正在合作努力控制AI如何爬取网络并与网页内容交互。

这家内容分发网络公司和网络托管服务商周二宣布，他们将帮助网站所有者更好地控制与AI的关系，主要通过GoDaddy将Cloudflare的AI爬虫控制工具整合到其平台中。正如两家公司在新闻稿中解释的那样，该工具让所有者能够管理AI如何与他们的网站交互，允许、阻止或要求爬虫付费访问。

"通过将AI爬虫控制等工具和开放标准交到网站所有者手中，我们正在为新的互联网商业模式提供重要基础，"Cloudflare首席策略官Stephanie Cohen就此举表示。"我们希望确保每个创作者都有工具来验证谁在与他们的网站交互，同时为合法的AI智能体提供安全、透明的参与方式。"

Cloudflare一直在大力宣传控制机器人访问网站和网页内容的必要性，近年来已推出了多项旨在限制未授权抓取的措施。2025年，该公司推出了一个AI，据称能够通过向未授权的AI抓取器提供无穷无尽的垃圾信息来诱捕并浪费它们的时间，此前还推动要求AI机器人为访问网站付费。

向机器人收费是Cloudflare帮助保护网站运营商的想法之一，该CDN公司注意到，由于许多搜索访问者现在改为通过AI（如Google的AI概览）获得他们寻找的答案，网站运营商正在失去通过网络流量赚取的大量资金。因此，访问者通常不太可能点击进入原始来源。

显然，这两家公司在这个问题上都有利益关系，因为如果网站所有者不赚钱，他们自己也不太可能得到报酬。

良性机器人应对之道

如果你设置路障来阻止恶性机器人，正如两家公司指出的那样，这是此次合作的重点，那么你自然会在这个过程中捕获很多良性机器人，这就是为什么Cloudflare和GoDaddy也表示支持新标准，他们相信这些标准将保持良性机器人运行，同时限制恶性机器人的覆盖范围。

两家公司表示支持智能体名称服务（ANS），这是去年提出的一个建议，它将像AI智能体的DNS系统一样工作，创建一个开放的、协议无关的AI智能体注册表，通过将它们链接到控制器等方式，让它们能够以一定程度的信任和保证运行。

我们注意到，ANS最终是由GoDaddy构建的，并在GitHub上可用。两家公司还支持Cloudflare的Web Bot Auth方法，该方法依赖HTTP消息中的加密签名来确定请求是否来自AI机器人。两家公司表示，这两种技术允许AI智能体通过加密签名请求来识别自己。

"通过开放的标准和方法生态系统来识别智能体，智能体网络可以在默认情况下内置透明度地发展，"两家公司说。

Cloudflare和GoDaddy还指出，他们希望确保"在答案引擎时代实现公平的价值交换"，这本质上意味着他们希望互联网仍然是一个以人为本的地方，我们这些血肉之躯能够因为对数字世界的贡献而得到充分的补偿。

当然，对这些标准的支持并不意味着每个人都会采用它们，但如果Cloudflare和GoDaddy的客户都能访问，那么网络的很大一部分可能都会被覆盖。据估计，全球约20%的网站都在Cloudflare反向代理之后，而GoDaddy也是一个庞大的网络托管提供商。

这还不是AI智能体标准被认为是标准的关键质量，但这是一个开始。这也比Sam Altman的眼球扫描AI智能体许可方案更有可能成功。

无论如何，必须尽快采取行动：MIT CSAIL的2025年AI智能体指数于2月发布，发现AI机器人经常忽略robots.txt限制，很少有人发布任何安全数据。随着它们的激增和改变互联网形态，需要普遍认同的规则。

Q&A

Q1：AI爬虫控制工具是什么？它能做什么？

A：AI爬虫控制工具是Cloudflare开发的一个实用程序，让网站所有者能够管理AI如何与他们的网站交互，可以选择允许、阻止或要求爬虫付费访问。现在GoDaddy正在将这个工具整合到其平台中。

Q2：为什么网站所有者需要控制AI机器人访问？

A：因为许多搜索访问者现在通过AI（如Google的AI概览）直接获得答案，而不是点击进入原始网站，导致网站运营商失去了通过网络流量赚取的大量资金，影响了他们的收益。

Q3：智能体名称服务ANS是什么？

A：ANS是由GoDaddy构建的一个提案，类似于AI智能体的DNS系统，创建开放的、协议无关的AI智能体注册表，通过将智能体链接到控制器等方式，让它们能够以一定程度的信任和保证运行。