人工智能代理战争来袭，网络经济格局将被彻底颠覆

在人工智能代理的世界中，一场战争正在酝酿。一个月前，Cloudflare宣布将默认阻止其网络上的AI爬虫，随后公开指责Perplexity故意绕过互联网标准以抓取网页。它发布了一篇详细的博客文章，解释了即使其机器人被阻止，Perplexity仍会使用某些策略——包括第三方爬虫——来访问这些网站。

Perplexity迅速以自己的文章作出回应，指出其使用第三方爬虫的情况实际上远低于Cloudflare所说的。但Perplexity的反驳关键在于，Cloudflare根本误解了其机器人活动：因为其代理机器人是根据特定用户的请求行动的，而不是一般地爬取网络——Perplexity认为它们应该能够访问任何其人类操作员可以访问的内容。

这种分歧正好触及AI互联网运作的核心，达成一个标准对代理、媒体行业以及信息检索的整体发展至关重要。值得注意的是，Perplexity并没有否认其代理机器人会绕过机器人排除协议（即robots.txt）来访问内容——它只是表示这种行为是合理的：如果你不会拒绝向一个人提供内容，那么你也应该向代表该人的机器人提供内容。

在网络上，没有人知道你是一个机器人

这里面有一些微妙但重要的地方：代理机器人不同于AI训练机器人或搜索爬虫。它们并不抓取数据以训练AI模型或用于一般搜索索引。这些机器人直接响应用户查询获取数据。当你问聊天机器人你理发师的营业时间时，它会立刻派出一个机器人去查网站。一旦数据传送完成，Perplexity表示，这些数据不会存储在普通数据库中。

作为人工智能的用户，这种差异并不明显。当你向聊天机器人询问任何特定的信息时，答案中哪些部分基于训练数据、搜索索引或代理活动往往并不清楚。你只希望它能正常运作，给你提供最好的信息。很多时候，这意味着实时检查外部来源，这一趋势指向了一个人工智能机器人活动激增的现象，因为每个人都开始让代理为他们进行浏览。

为了使基于代理的网页浏览正常工作，代理需要拥有与人类相同的网络访问权限。问题是，正如我之前提到的，代理并不是人类。访问网站的人可能会被广告、行动号召或其他内容所吸引。网络经济的许多方面都依赖于这一基本事实。想想谷歌搜索结果：如果你编程让代理简单地忽略所有标记为“赞助”的链接会怎样？现在，想象一下，如果目前由人类进行的一半网络搜索是由代理执行的。你觉得谷歌会在乎吗？

直到最近，网络一直依赖于人类的关注。但这一点正在改变：根据Imperva的说法，得益于生成性人工智能，现在超过一半的网络活动已经实现自动化，而随着像Perplexity的Comet浏览器和ChatGPT代理的推出，这个比例肯定会继续上升。

代理浏览的便利性是改变游戏规则的东西：我个人用 Comet 不到一个月，现在它已经成了我的默认浏览器。我经常让它内置的助手在后台帮我执行任务。我用得越多，就越难否认代理将是未来网络的趋势。

也就是说，只要他们能访问网络。而且有充分的理由拒绝他们的访问权限，尤其是当你的商业模式依赖于人类与内容的互动时——也就是整个媒体行业。Cloudflare 首席执行官 Matthew Prince 在回应 X 上关于这个问题的讨论时似乎表示，阻止像 Comet 这样的 AI 浏览器是个可行的选择，因为这进一步模糊了代理和用户之间的界限。

分裂的互联网

Perplexity 和 Cloudflare 之间的冲突让我们不得不思考的问题是：谁应该对访问拥有最终决定权？网站如果想要，能否阻止用户代理？或者一个人能否让代理代表自己，并期望它拥有同样的访问权限？

这一问题的答案关系重大。如果用户能够将代理作为无障碍的代理，正如 Perplexity 所说的，这肯定会加速向机器人互联网的转变，网站将不得不面对更少的人类访客。一个相当合理的假设是，这也会导致硬性付费墙的大规模扩展，因为网站所有者寻求锁定或货币化访问。

然而，Cloudflare 团队更希望网站能够专门阻止代理，将人类和机器人之间的体验区分开来，经济效益也会随之改变。向机器人收费以访问内容是一个快速增长的领域，催生了一系列初创公司（包括 TollBit 和 ScalePost）以及 Cloudflare 自己的 按爬取付费计划。尽管用户代理并不是唯一的机器人类型，但如果 AI 浏览器流行起来，它们可能会成为最大的类别。

有趣的是，Perplexity 可能拥有应对未来挑战的最佳商业模式。Perplexity 出版商计划与内容合作伙伴分享广告收入，比起与媒体公司签个别协议（像 OpenAI 所做的）更具可扩展性。该计划尚处于初期阶段，但如果 Perplexity 能够使其对任何内容创作者开放并自助服务——类似于 YouTube 的合作伙伴计划——也许它能为代理的活动提供货币化的基础。

无论如何，网络经济将会被重塑。我们可以预见未来将是代理人主导的时代，但未来如何看待这些代理人是一个亟待解答的问题。对媒体而言，这可能是最重要的问题。