网易首页 > 网易号 > 正文 申请入驻

如何拒绝作品被AI拿去训练?新的互联网“君子协议”涌现

0
分享至

21世纪经济报道记者肖潇 北京报道

三十几年来互联网遵守着一套“君子协议”:狭义上,它指的是 robots.txt,即网页告知爬虫哪些内容可以抓取的一行代码。更广义地说,它是互联网开放共享精神的一种体现——我向你开放数据资源,你也应当尊重我的使用边界。

但AI在反复冲击这套延续多年的共识。海量百科、新闻、小说、学术资料被用来训练大模型语言能力,如今订票、点餐、申请退款的在线服务也能被智能体调用,利益冲突不断加剧。

不过在今年,围绕AI的使用边界,新的“君子协议”密集出现。

近期OpenAI、谷歌、微软和Anthropic承诺加入一项技术提案,允许网站一次性声明是否拒绝AI训练,不再需要为每个AI单独制定规则。这项名为“AI训练退出令牌”(AI training opt-out policy token)的草案如果顺利通过,四家巨头将在2027年之前接入。

在应用生态中,类似的规则也在形成。11月,工信部发布《关于加强智能体终端设备进网管理的通知》,要求除非App明确同意,智能体不得强制调用App。

数据使用边界不只是法律争议,也是技术问题。互联网还处于发展初期时,网站与搜索引擎通过一套约定尝试协调彼此的竞合关系,如今AI治理也在迈向这一阶段。

“AI退出机制”在海外成形

2022年底,随着AI生图模型的走红,创作者开始用技术方式表达拒绝AI的意愿。

一个标志性事件发生在数字艺术社区DeviantArt。当时DeviantArt基于Stable Diffusion推出了自己的商业化AI绘画工具,对艺术家来说,这是一个颇为讽刺的局面:他们在平台上发布作品,作品已经被外部AI公司抓取为大型训练数据集,平台还进一步推出商业化工具。

更引发不满的是,DeviantArt默认用户同意将作品用于AI训练。如果创作者想退出,需要一件件处理,批量处理还得提交申请表。如果创作者上传过大量作品,操作成本很高。

在用户集体出走的压力下,DeviantArt调整了授权机制:创作者可以通过NoImageAI和NoAI两个网页指令,向AI爬虫表达拒绝被抓取的意愿。它们本质是一种机器可读的权利声明,通过网页或文件中的标记表达使用意愿,无需逐一谈判。

这为行业实践提供了样本。2023年到2025年,网站层面的AI退出机制成为主流方向。

在这期间,AI公司陆续公开了官方爬虫身份。例如Anthropic将爬虫分为用于模型训练的ClaudeBot、用于搜索的Claude-SearchBot,以及代表用户访问网页的Claude-User;OpenAI也分别设置了GPTBot、OAI-SearchBot等爬虫。网站运营者可以在robots.txt中针对不同爬虫设置访问规则,选择允许或屏蔽特定AI服务。

Cloudflare进一步尝试了更统一的表达方式,其在2025年推出“内容信号”机制,允许网站在robots.txt中直接声明内容用途偏好,甚至能让网站根据抓取量开启收费。

沿着AI能不能抓取内容、能抓取哪些内容、用于什么目的、抓取后如何付费的链条,新的内容流通基础设施成形。



但技术方案的增加没有消除碎片化的问题,由于每家AI公司都有自己的爬虫名称和规则,网站必须逐一识别配置。IPTC今年统计发现,在抽样的504家内容网站里,49.6%的网站通过 robots.txt屏蔽了至少一种AI爬虫,但其他退出机制的采用率均低于2%,行业始终缺乏统一标准。

今年10月,新的解决方案出现。Anthropic一名工程师提出“共享令牌”(policy token)草案,计划在robots.txt 文件中新增名为“User-Agent”的共享信号,让网站可以一次性拒绝AI训练,所有承诺参加的大模型公司都应遵守约定。

目前OpenAI、谷歌、微软和Anthropic四家巨头宣布接入,Anthropic表示已经在部署,OpenAI的计划实施时间是未来几个月,谷歌和微软则安排在2027年2月之前接入。

目前苹果、Meta和Perplexity未出现在首批名单里。OpenAI 称这是一项自愿行动,并在承诺结尾向业内发出呼吁:“我们鼓励其他 AI 提供商都遵守这一信号。”

行业承诺先行,法规尚未定性

正如字面意义的“君子协议”——以robots.txt为代表的机制本质是一种自愿声明,它相当于家门口插上“禁止入内”的立牌,但无法从根本上阻止爬虫,违反 robots 规则本身,并不当然构成侵权。

AI公司之所以愿意接受并主动推动这类机制,背后是日益增长的版权诉讼和合规压力。

据美国哥伦比亚新闻学院统计,全球AI公司已经收到48起来自媒体的版权起诉。包括《纽约时报》《时代杂志》《朝日新闻》等大型媒体机构,正在起诉AI公司未经授权擅自使用版权内容训练大模型。在这一层面,AI退出机制可以视为缓兵之计,它不能解决已经发生的数据使用争议,但至少为未来承诺了一种行为规则。

欧盟还尝试将这种行业实践纳入立法框架。《人工智能法案》要求,通用人工智能模型提供者需要建立版权合规政策,并识别、遵守针对文本与数据挖掘作出的权利保留。

本次“共享令牌”也是在这一合规要求下推出。正在审核“共享令牌”的互联网工程任务组(IETF,一家负责制定互联网技术标准的国际组织)这两年一直在推进AI内容偏好工作,尝试建立一套让网站、创作者和AI公司能够共同识别的内容访问规则。

回到国内,在个人信息保护领域,司法规则也提到了AI训练里的退出边界。今年9月,最高法发布的《关于依法审理涉人工智能纠纷案件的意见》要求,如果对个人权益有重大影响,则应当依法取得个人同意。但国内尚未有规定覆盖新闻、图片、小说、学术资料等内容的AI退出机制,行业实践也相对有限。

未解决的流量和代理问题

AI退出机制仍在迭代,接下来还要面对几个争议:

第一个争议是拒绝AI后,如何保证被公平对待。

许多互联网公司既有搜索引擎又有AI大模型,拒绝AI可能会影响搜索流量。目前只有微软明确回应了曝光问题——微软承诺,无论内容方选择退出AI训练或者AI推理,都不会影响必应里的搜索排名。

谷歌之前也在官方文档里提到,使用 Google-Extended 或者拒绝AI 训练爬虫,都不会影响网站的谷歌搜索排名,但谷歌不能保证“AI回答里的可见性”。由于现在没有工具统计AI回答的流量,网站也无法评估拒绝AI爬虫可能损失多少点击量。

第二个争议是,AI使用内容,应该默认允许还是默认拒绝。

市场咨询机构ScalePost的数据显示,过去一个月里,OpenAI、谷歌、微软和Anthropic四家巨头一共发出了约10亿爬虫请求,但只有 0.15% 的请求检查了网页robots.txt 文件。也就是说拒绝声明可能被直接无视,退出机制很可能“只是表面功夫”。

外界因此有反对声认为,授权机制应该设计为默认拒绝,如果创作者允许AI爬虫,则单独同意。这取决要让AI公司还是创作者承担更多操作成本。

第三个,也是目前最大的争议是,AI搜索和智能体调用缺乏边界。

最新的“共享令牌”专门定义了“AI训练”,排除的爬虫也仅限训练目的。但现在更多爬虫用于AI推理——大模型通过联网搜索、调用外部网页为用户总结答案,而这一界限很难被定义。

IETF工作组多次尝试定义“AI推理”或“AI应用”,但始终未能达成共识。

国内在智能体边界上已经率先实践。在今年9月,豆包手机助手推出一份《屏幕自动化操作声明协议》(SAEP),其自我规范是:App在30天内表明拒绝意愿,公示期结束后,豆包将对未表态的App开放屏幕自动化操作权限。

而11月6日,工信部发布了另一份官方规章《关于加强智能体终端设备进网管理的通知》。工信部将智能体定义为“具备自主感知、记忆、决策、交互与执行能力的智能系统”,将调用过程概括为“智能体分发管理机制”。

按照这一要求,智能体不能默认App同意被调用,而是默认拒绝,单独提供允许智能体调用的声明。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
乘客电话里狂提“偷渡”“逃跑” 顺风车司机悄悄报警 警方27分钟拦截 发现其数十分钟前刚被外地公安列为刑拘在逃人员

乘客电话里狂提“偷渡”“逃跑” 顺风车司机悄悄报警 警方27分钟拦截 发现其数十分钟前刚被外地公安列为刑拘在逃人员

闪电新闻
2026-11-18 14:36:57
APEC现场 | 特朗普车队抵达深圳东海朗廷酒店,马斯克现身随行大巴车

APEC现场 | 特朗普车队抵达深圳东海朗廷酒店,马斯克现身随行大巴车

澎湃新闻
2026-11-18 20:13:30
贵州省妇联原党组书记、主席涂妍被公诉,曾被批利用职务便利为他人在项目推进、工程款拨付等方面提供帮助

贵州省妇联原党组书记、主席涂妍被公诉,曾被批利用职务便利为他人在项目推进、工程款拨付等方面提供帮助

大风新闻
2026-11-18 17:33:02
高市早苗抵达深圳,中方铺红毯,派三军仪仗队迎接

高市早苗抵达深圳,中方铺红毯,派三军仪仗队迎接

烽火观天下
2026-11-18 19:59:31
杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

醉卧浮生
2026-11-18 11:38:39
学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

雾岛夜话
2026-11-18 14:12:23
“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

农民日报
2026-11-18 08:48:45
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

红星新闻
2026-11-18 18:02:29
字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

城事堂
2026-11-18 17:22:57
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

每日经济新闻
2026-11-18 11:31:11
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

上游新闻
2026-11-18 18:26:06
“感谢中方特殊安排”,特朗普又带着高规格代表团来了

“感谢中方特殊安排”,特朗普又带着高规格代表团来了

中国新闻周刊
2026-11-18 20:22:08
英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

每日经济新闻
2026-11-18 18:43:09
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
国家统计局发布2026年10月份分年龄组失业率数据

国家统计局发布2026年10月份分年龄组失业率数据

界面新闻
2026-11-18 14:03:03
2026-11-18 23:16:49
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
286806文章数 745541关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
手机
本地
教育
军事航空

数码要闻

34999元起,华硕RTX Spark迷你主机ProArt GR1X发售

手机要闻

华为引爆阔直板手机!友商纷纷下场,但很可能会集体踏空?

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版