4 家模型厂同一天松口：两行 robots.txt 就能拒绝训练

随手先关注，不错过每日AI热讯速递

10 月 30 日OpenAI、谷歌、微软、Anthropic四家在同一天表态，将遵守 robots.txt 里的一项共同信号。网站只要写两行，就能一次性告诉所有参与厂商：我的内容不要拿去训练。

信号的名字是`__usage_ai-training`，写在 robots.txt（放在网站根目录的一方纯文本，用来说明哪些爬虫可以抓什么）的 User-Agent 行，配合一条拒绝规则使用[1]。

①

先看它替换掉了什么。

过去网站要退出训练，得逐个盯住各家爬虫：GPTBot、Google-Extended、ClaudeBot[1]。厂商每加一个新爬虫，规则表就得再加一条——这是一份永远追不完的名单。

共享信号把「按爬虫声明」换成「按用途声明」。网站表达的是意图：内容不用于基础生成式模型训练，由参与的厂商自己映射到自家爬虫[1]。

robots.txt 这套机制出现得很早，但这次判断的粒度从「你是谁」改成了「你要拿去干什么」，是一次方向性的调整。

信号的来源不是某家公司的产品文档，而是一份提交给IETF的草案，起草人是 Anthropic 的标准技术负责人Kevin Kelley[2]。

图来源：The Verge[2]

②

比「能做什么」更值得读的，是它明确「不做什么」。

第一，只管训练。它不限制普通抓取，不影响搜索索引，也不决定内容会不会被 AI 回答引用[1]。

第二，不替代旧控制。OpenAI 明确说，这个新信号不会取代已通过 robots.txt 提供的控制，现有爬虫规则继续有效并被尊重[1]。

第三，不追溯。已经进入训练数据、已经用于训练的内容，不会因为加了两行而被移除[1]。

第四，是自愿的。OpenAI 把它称为一项自愿努力，并表示鼓励其他 AI 提供商也遵守这个信号[1]。草案本身也不是正式标准，只约束愿意遵守的厂商[2]。

这四条限制拼起来，就是这套机制的边界：它让愿意守约的厂商不再拿你的内容训练，但不阻止抓取，也不阻止内容被引用进答案。

③

落地时间表并不齐整。

Anthropic 已经开始实现这项支持；OpenAI 说会在未来数月内落地[1]；谷歌与微软则把时间放在 2027 年[2]。

微软走得最细。它在共享训练偏好之外，另外提供了更细的控制：可以分别退出训练grounding（把模型指向可信来源再作答的检索步骤），把「拿你的内容练模型」和「拿你的内容当答案依据」拆成两件事[2]。

但有一件事被明确保住了：无论网站作何偏好，站点仍会出现在 Bing 搜索结果里[2]。微软在公告里把这一条单独说明，等于把「退出训练」与「退出搜索收录」明确切开。

四家还共同承诺了一件事：一旦读到这项共享信号，会限制自家 AI 爬虫访问该站点[2]。

④

把三条治理路线放在一起看，差异就出来了。

一条是基础设施强制：Cloudflare 默认拦截 AI 爬虫，不问厂商意愿[2]。一条是合同定价：RSL 授权标准让出版方对来访爬虫收费[2]。第三条就是这次的行业自律——四家坐到一起，约定同一套语法。

自律的优点是快，四家同一天表态，参与厂商的爬虫就都受同一套语法约束；缺点是没有强制力，草案对未参与的厂商没有约束。

这也是这套机制最容易被高估的地方：它约束的是愿意守约的人。对内容方来说，实际价值要等各家真正落地才兑现——目前只有 Anthropic 开始支持，其余三家仍有时间差。

在那之前，最有用的动作其实很朴素：先确认自己的 robots.txt 里到底写了什么。

独立开发者们，你们的站点会加这两行吗？还是打算留着内容换流量？评论区聊聊你的取舍。

参考来源：

[1] Making it easier for websites to express AI training preferenceshttps://openai.com/index/helping-websites-express-ai-training-preferences

[2] The biggest names in AI are backing a new way to opt out of scrapinghttps://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out

欢迎点赞、分享、推荐

一起拥抱AI