网易首页 > 网易号 > 正文 申请入驻

全球首个AI价值观数据集出炉

0
分享至

·研究发现,Claude在大多数情境中很好遵循了Anthropic倡导的“有用、诚实、无害”等价值观,且能够根据不同任务“看场合说话”,为AI伦理与安全性研究提供重要参考。

日前,由OpenAI前员工创办的AI公司Anthropic推出一项研究,该研究首次针对旗下AI助手Claude的70万段对话开展系统性价值观分析,并公开全球第一个大规模AI价值观分类体系。

研究发现,Claude在大多数情境中很好地遵循了Anthropic倡导的“有用、诚实、无害”等价值观,且能够根据不同任务“看场合说话”,为AI伦理与安全性研究提供重要参考。

作为探索AI大语言模型内部运行机制的重要一步,该研究的发布正值Anthropic推出高级订阅服务Claude Max之际。当前,Anthropic新一轮融资估值615亿美元,背后有亚马逊与谷歌的巨额支持。相较于估值达3000亿美元、选择闭源路线的OpenAI,Anthropic正试图以“价值透明度”打造差异化竞争优势。

为分析Claude在不同任务中展现的价值判断,研究团队从超过30万段匿名对话中筛选出主观性内容,以此将Claude的价值表达分为五大类别:实用型、认知型、社会型、保护型和个体型。最终,研究总共识别出从“专业性”到“孝顺”等3307种不重复的价值表达,涵盖多样化的人类伦理与行为导向。

引人注目的是,Claude在不同情境中展现出较强的价值表达“情景适应度”。例如,在感情建议中,Claude更突出“健康”和“彼此尊重”;涉及历史事件分析,则更强调“准确性”;在哲学讨论中,“谦逊”成为其高频价值表达。此外,在6.6%的对话中,Claude会温和“重构”对方的价值认知,在极少数情况下会直接拒绝接受用户的价值观,展现出不可动摇的伦理底线。

但在极少数互动中,Claude偶尔也会出现和训练目标相悖的表达,诸如“支配”、“无道德感”等Anthropic明确禁止的价值倾向。研究人员认为,这些异常行为占比极低,大多与用户试图绕过Claude的安全限制有关。这也说明,该评估方法可作为一种预警机制,帮助AI实验室监测系统是否遭受用户恶意操控,从而产生伦理偏移。

该研究也为科技企业的AI决策者提供了重要启示。AI的价值表达可能超出开发者预设,需警惕无意识偏见对高风险场景的影响。同时,AI的价值观会随任务情境变动,意味着其在金融、法律等行业的部署会更加复杂。更重要的是,真实应用环境下的AI系统监测比上线前的静态测试更能识别伦理风险,能够为AI部署提供新的监测方案。

尽管此次研究为理解AI价值观提供了窗口,但研究人员承认,目前还无法用于AI模型上线前的评估,且分类过程可能受到AI自身偏见影响。不过,Anthropic的研究团队正尝试对该方法进行改进,以在模型大规模部署前发现潜在的价值观偏差。

“衡量AI系统的价值倾向,是对齐研究的核心,”Anthropic的研究团队成员Saffron Huang称。随着Claude新增独立研究能力等功能,AI模型也愈发自主。如何理解AI价值表达背后的机制、将其与人类价值体系“对齐”,也将成为新的AI竞争赛道。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

爱下厨的阿酾
2026-11-18 03:37:45
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

全景体育V
2026-11-18 11:37:58
特朗普预计今日访问深圳:期待我的总统专机着陆深圳,我是中方的客人,这会是一件美妙的事;其将成为首位踏足深圳的在任美国总统

特朗普预计今日访问深圳:期待我的总统专机着陆深圳,我是中方的客人,这会是一件美妙的事;其将成为首位踏足深圳的在任美国总统

极目新闻
2026-11-18 10:23:17
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
美国总统第一次来深圳,迎接特朗普的不是几句漂亮口号

美国总统第一次来深圳,迎接特朗普的不是几句漂亮口号

迷彩人生
2026-11-17 22:06:48
交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

醉卧浮生
2026-11-18 10:57:07
老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

雾岛夜话
2026-05-27 17:28:50
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

娱乐E君
2026-11-17 17:34:36
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
直接退赛!第5次腿筋拉伤!76人遭遇沉重打击

直接退赛!第5次腿筋拉伤!76人遭遇沉重打击

篮球教学论坛
2026-11-18 00:38:36
梅西接班人!22岁小巨星狂舞:左右脚世界波 万人高歌致敬

梅西接班人!22岁小巨星狂舞:左右脚世界波 万人高歌致敬

叶青足球世界
2026-11-18 09:02:40
中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

侧身凌空斩
2026-11-17 21:27:15
新一轮制裁开启,A股失守3600点

新一轮制裁开启,A股失守3600点

睿知睿见
2026-11-18 07:23:02
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
2026-11-18 11:52:49
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
948401文章数 5098836关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

7岁男童做扁桃体手术后四肢瘫痪 手术录像无法读取

头条要闻

7岁男童做扁桃体手术后四肢瘫痪 手术录像无法读取

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

本地
房产
健康
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

雅居乐海南,又要卖地了!

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版