![]()
行业巨头联合推行统一退出机制。2026年10月30日,据The Verge报道,OpenAI、谷歌、微软和Anthropic等主要人工智能公司宣布,将共同支持一项新的行业标准,允许出版商通过单一信号选择退出被AI爬虫抓取数据。这一举措旨在简化当前繁琐的流程,使网站所有者能够跨多家AI公司统一应用其数据训练偏好,而无需向每家公司单独发送指令。
技术标准依托于现有的robots.txt文件。该方案由Anthropic标准技术主管Kevin Kelley在国际互联网工程任务组(IETF)提出,核心是一种共享的“策略令牌”(policy token)。该令牌将被嵌入网站长期使用的robots.txt文件中,用于指示网络爬虫是否有权抓取内容以用于搜索索引、归档或AI训练。目前,网站必须分别向各AI公司表明其训练偏好,新标准将解决这一碎片化问题。
各大厂商实施时间表存在差异。Anthropic表示已率先采用该信号;OpenAI计划在未来几个月内实施;谷歌和微软则定于明年提供支持。微软进一步指出,其将提供更细粒度的控制选项,允许出版商分别选择退出AI训练或AI grounding(即指向验证信息源以减少幻觉的过程),但无论网站偏好如何,其内容仍会出现在Bing搜索结果中。若爬虫检测到该共享令牌,相关公司将限制对其网站的访问。
此举回应了出版界对未经授权抓取的担忧。随着AI爬虫大量抓取网站内容并用于模型训练,出版商面临巨大压力。此前,部分组织尝试通过Really Simple Licensing (RSL) 标准向爬虫收费,或由Cloudflare默认阻止AI爬虫,但缺乏行业统一的解决方案。此次多家头部企业的联合背书,标志着在规范AI数据获取行为方面迈出了重要一步。
参考链接:
https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.