网易首页 > 网易号 > 正文 申请入驻

OpenAI、谷歌等科技巨头支持新标准,允许网站一键退出AI数据抓取

0
分享至



行业巨头联合推行统一退出机制。2026年10月30日,据The Verge报道,OpenAI、谷歌、微软和Anthropic等主要人工智能公司宣布,将共同支持一项新的行业标准,允许出版商通过单一信号选择退出被AI爬虫抓取数据。这一举措旨在简化当前繁琐的流程,使网站所有者能够跨多家AI公司统一应用其数据训练偏好,而无需向每家公司单独发送指令。

技术标准依托于现有的robots.txt文件。该方案由Anthropic标准技术主管Kevin Kelley在国际互联网工程任务组(IETF)提出,核心是一种共享的“策略令牌”(policy token)。该令牌将被嵌入网站长期使用的robots.txt文件中,用于指示网络爬虫是否有权抓取内容以用于搜索索引、归档或AI训练。目前,网站必须分别向各AI公司表明其训练偏好,新标准将解决这一碎片化问题。

各大厂商实施时间表存在差异。Anthropic表示已率先采用该信号;OpenAI计划在未来几个月内实施;谷歌和微软则定于明年提供支持。微软进一步指出,其将提供更细粒度的控制选项,允许出版商分别选择退出AI训练或AI grounding(即指向验证信息源以减少幻觉的过程),但无论网站偏好如何,其内容仍会出现在Bing搜索结果中。若爬虫检测到该共享令牌,相关公司将限制对其网站的访问。

此举回应了出版界对未经授权抓取的担忧。随着AI爬虫大量抓取网站内容并用于模型训练,出版商面临巨大压力。此前,部分组织尝试通过Really Simple Licensing (RSL) 标准向爬虫收费,或由Cloudflare默认阻止AI爬虫,但缺乏行业统一的解决方案。此次多家头部企业的联合背书,标志着在规范AI数据获取行为方面迈出了重要一步。

参考链接:
https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
遭母亲责骂、嫁中国人九年?李在明抵达深圳,却意外带火秋瓷炫

遭母亲责骂、嫁中国人九年?李在明抵达深圳,却意外带火秋瓷炫

聚焦事件
2026-11-20 21:45:52
普京重磅宣布!俄罗斯,要下狠手了!

普京重磅宣布!俄罗斯,要下狠手了!

大嘴说天下
2026-11-20 21:35:04
大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

狼叔看世界
2026-11-20 14:37:50
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
【数说经济】不要小看中国经济“稳”的分量

【数说经济】不要小看中国经济“稳”的分量

经济日报
2026-11-20 06:55:13
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
骑士128-119击败步行者!哈登创80年NBA纪录,拿3年9700万太超值

骑士128-119击败步行者!哈登创80年NBA纪录,拿3年9700万太超值

篮球大视野
2026-11-21 11:11:51
实力“倒退”一年!哈登半场砍下24分 创骑士生涯新高

实力“倒退”一年!哈登半场砍下24分 创骑士生涯新高

体坛周报
2026-11-21 10:26:09
还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

每日经济新闻
2026-11-20 16:57:26
声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

念洲
2026-11-21 08:37:39
爽了!火箭轰动NBA!恶棍状元或联手杜兰特

爽了!火箭轰动NBA!恶棍状元或联手杜兰特

篮球实战宝典
2026-11-20 18:47:13
广东省面积最大的县和面积最小的县,分别是谁?

广东省面积最大的县和面积最小的县,分别是谁?

石辰搞笑日常
2026-11-21 02:17:46
太真实!广东网友晒11月20日朋友圈:股、金、房价齐跌,有人崩溃直呼“要跳楼”

太真实!广东网友晒11月20日朋友圈:股、金、房价齐跌,有人崩溃直呼“要跳楼”

火山詩话
2026-11-20 20:54:10
美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

别人都叫我阿腈
2026-11-21 06:19:46
任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

ETtoday星光云
2026-11-19 10:11:03
首次反超苹果!国产PC巨头,拿下销量、销售额2项全球第一

首次反超苹果!国产PC巨头,拿下销量、销售额2项全球第一

互联网.乱侃秀
2026-11-18 13:04:39
她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

故史闲谈局
2026-11-21 03:04:09
让他装到了!知名歌星在《GTA6》里找到自家豪宅

让他装到了!知名歌星在《GTA6》里找到自家豪宅

游民星空
2026-11-21 11:07:35
东京万人集会抗议

东京万人集会抗议

陆弃
2026-11-20 10:53:24
涉嫌严重违纪违法,吴振绵被查

涉嫌严重违纪违法,吴振绵被查

中国基金报
2026-11-20 20:40:23
2026-11-21 11:47:00
龙剑秀南
龙剑秀南
上下东西南北事,往来酸甜苦辣人
4844文章数 74关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
时尚
家居
旅游
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

运动风,漫不经心地穿才“松弛”!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

产业规模破万亿元!高铁直达、夜场升级,冰雪消费提前升温

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版