美国最大出版商 CEO 怒怼谷歌：用同一爬虫偷内容喂 AI

IT之家 9 月 14 日消息，美国规模最大的数字与平面媒体出版商 CEO 近日指控谷歌存在不正当行为，称其通过抓取该公司网站内容来支持自身人工智能（AI）产品研发。

尼尔・沃格尔（Neil Vogel）是 People 公司（前身为 Dotdash Meredith）的 CEO，该出版集团旗下拥有超过 40 个知名品牌，包括《人物》（People）、《美食与美酒》（Food & Wine）、《旅行与休闲》（Travel + Leisure）、《美好家园与花园》（Better Homes & Gardens）、《简单生活》（Real Simple）、《南方生活》（Southern Living）以及《美食食谱大全》（Allrecipes）等。沃格尔指出，谷歌的行为有失公允 —— 其用于为谷歌搜索引擎抓取网站内容并建立索引的机器人，与用于支持自身 AI 功能的机器人完全相同。

“谷歌只有一个爬虫程序，这意味着他们既用它来抓取内容以维持搜索引擎运转（这一过程会为我们带来流量），又用它来支持 AI 产品研发，而后者本质上是在窃取我们的内容。”沃格尔在本周举办的《财富》科技头脑风暴大会（Fortune Brainstorm Tech）上表示。

他透露，三年前，谷歌搜索为该公司贡献的流量约占总流量的 65%，如今这一比例已降至“20% 多一点”。沃格尔上月还曾向 AdExchanger 透露过一个更令人震惊的数据：数年前，来自开放网络的流量中，谷歌搜索贡献的占比曾高达 People 公司总流量的 90%。

“我并非在抱怨。我们的受众规模在扩大，营收也在增长，”沃格尔向大会参会者表示，“公司目前发展态势良好，但问题的核心在于：你不能拿我们的内容来与我们竞争。”

沃格尔认为，在 AI 时代，出版商需要拥有更多话语权，因此他认为有必要屏蔽 AI 爬虫程序（即用于扫描网站内容以训练 AI 系统的自动化程序），这样可迫使 AI 企业与出版商达成内容使用协议。例如，他所在的公司已与 OpenAI 达成合作，沃格尔称 OpenAI 是“秉持正当行事原则的企业”。

People 公司目前正借助网络基础设施服务商 Cloudflare 的最新解决方案，屏蔽那些未支付费用的 AI 爬虫程序，这一做法已促使多家 AI 企业主动接触该公司，探讨潜在的内容合作事宜。尽管沃格尔未直接点名涉及的企业，但他表示这些均为“大型大语言模型（LLM）提供商”。目前双方尚未签署任何协议，但沃格尔指出，与启用爬虫屏蔽解决方案之前相比，公司在合作洽谈方面“已取得显著进展”。

然而，沃格尔也指出，谷歌的爬虫程序无法被单独屏蔽，因为一旦屏蔽，该公司网站将无法被谷歌搜索引擎收录，进而会切断谷歌目前仍在贡献的“约 20%”的流量。

“谷歌很清楚这一点，却拒绝将其爬虫程序拆分开来。因此，在这件事上，他们是故意采取不正当行为的一方。”沃格尔明确表示。

电子通讯服务商 Ankler Media 的主编兼 CEO 贾尼斯・明（Janice Min）对此表示认同，她将谷歌、Meta 等科技巨头称为长期以来的“内容盗窃者”。

“目前我看不到与任何 AI 公司合作对我们有何益处，”她表示，同时补充称其公司也在屏蔽 AI 爬虫程序。

与此同时，Cloudflare 的 CEO 马修・普林斯（Matthew Prince）（其公司正是上述 AI 屏蔽解决方案的开发者，且他也参与了此次会议讨论）表示，他认为未来 AI 企业的行为方式仍将发生改变，而这些改变可能由新法规推动。

这位 Cloudflare 高管还质疑，借助针对“前 AI 时代”制定的版权法等法律手段与 AI 公司对抗，是否是正确的解决方案。

“我认为走这条路是徒劳的，因为在版权法框架下，通常一件作品的衍生性越强，其受‘合理使用’原则保护的程度就越高…… 而这些 AI 公司目前正在做的，恰恰是创造衍生内容，”普林斯表示，“因此，回顾目前已出台的最具代表性的判例法就会发现，相关裁决实际上对 AI 企业有利。例如，Anthropic 近期之所以与所有图书出版商达成 15 亿美元（IT之家注：现汇率约合 106.87 亿元人民币）的和解协议，正是为了保住此前获得的对其有利的版权裁决。”

普林斯还宣称，“如今世界上存在的所有问题，在某种程度上都与谷歌有关”，因为这家搜索巨头让出版商形成了“重流量、轻原创”的观念，导致 BuzzFeed 等出版商为追求点击量而创作内容。不过，他也承认，从竞争角度来看，谷歌目前正处于困境之中。

“谷歌内部就下一步行动存在激烈分歧，而我的预测是，到明年这个时候，谷歌将为抓取内容并将其用于 AI 模型训练，向内容创作者支付费用。”他表示。