网易首页 > 网易号 > 正文 申请入驻

OpenAI、谷歌、微软和Anthropic联手推行AI数据抓取退出标准

0
分享至

IT之家 11 月 1 日消息,OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项新标准,内容发布方可以借助该标准选择拒绝 AI 抓取自家网站内容。借助这项管控机制,内容发布方可以一次性向多家 AI 企业统一申明自身针对 AI 模型训练的内容使用偏好,而不必为每家企业单独设置规则。

该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组(IETF)提出,并将集成在网站的 robots.txt 文件中。

长期以来,robots.txt 文件用于告知网络爬虫哪些网站内容允许抓取、哪些禁止抓取,适用场景包含搜索索引、网页归档以及 AI 模型训练。目前,网站必须向每一家 AI 企业分别单独声明自己的 AI 训练相关内容使用偏好。在此背景下,各类 AI 爬虫持续抓取网站内容、将网页素材输入 AI 模型训练,内容发布方正为此焦头烂额。

IT之家注意到,目前,网站需向每家公司单独声明训练偏好,新标准旨在简化这一流程。Anthropic 已率先采纳,OpenAI 计划在未来几个月内落实,谷歌和微软则预计于明年支持。Meta 发言人 Andy Stone 也表示支持建立此类通用信号,但未明确具体落地计划。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

流史岁月
2026-11-18 19:15:04
孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

韩小娱
2026-11-19 15:05:22
你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

夜深爱杂谈
2026-11-03 18:56:01
女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

红星新闻
2026-11-18 20:58:26
更年期与性生活:医学给出的解决方案

更年期与性生活:医学给出的解决方案

精彩分享快乐
2026-11-19 21:00:04
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

熊哥爱篮球
2026-11-19 20:33:18
黄仁勋离任,英伟达取消订单,连锁反应来了……

黄仁勋离任,英伟达取消订单,连锁反应来了……

大厂财经社
2026-11-19 17:32:36
美股三大期指,快速拉升

美股三大期指,快速拉升

新浪财经
2026-11-19 15:27:51
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

懂球帝
2026-11-19 08:05:00
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

北青网-北京青年报
2026-11-19 14:55:01
伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

湖人侃球师
2026-11-19 10:02:20
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

墨言执笔
2026-10-16 17:29:14
乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

小武侃风云
2026-11-19 21:03:38
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
跑得起马拉松,买不起照片,这就是跑者的尴尬

跑得起马拉松,买不起照片,这就是跑者的尴尬

跑者排球视角
2026-11-19 09:11:28
铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

细说职场
2026-11-19 16:56:03
2026-11-19 22:11:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380322文章数 607744关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9限时27.39万起 方向盘可折叠 方盒子也能当家用旗舰

态度原创

旅游
手机
游戏
家居
教育

旅游要闻

潍坊超治愈的“9.2公里”,周末来打卡

手机要闻

MagicOS 11第三批内测今晚推送!荣耀Robot Phone等28款机型终于等到了

GTA6开头15分钟揭晓逆天设定!玩家当场看呆

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

祝贺!绵阳3名学子获得省级荣誉称号

无障碍浏览 进入关怀版