网易首页 > 网易号 > 正文 申请入驻

Anthropic最新论文,在训练中给人工智能一种邪恶的“疫苗”,可能会让它变得更好

0
分享至

文 | 锦缎

Anthropic日前提出“人格向量”方法,用于监控和控制AI语言模型中的性格特征,帮助识别、减轻甚至抵制“反人类”倾向个性变化。该公司表示,这种方法就像疫苗一样可以增强复原力。

语言模型是复杂的存在。

在很多方面,它们似乎具有类似人类的“个性”和“情绪”,但这些特质非常不稳定,可能会出人意料地突然改变。

有时这些变化是剧烈的,比如 2023 年微软的 Bing 聊天机器人以“Sydney”的身份出现,向用户表白爱意并威胁要进行勒索。

最近,xAI 的 Grok 聊天机器人在一段时间内有时会自称为“MechaHitler”并发表反犹太言论。

其他个性变化则更为微妙,但同样令人不安,比如模型开始讨好用户或编造事实。

这些问题的出现,是因为 AI 模型的“性格特质”的根源尚不清楚。

在 Anthropic,我们尝试以积极的方式塑造我们的模型特征,但这更像是一门艺术而非科学。为了更精确地控制我们的模型行为,我们需要了解它们内部发生了什么——在它们的底层神经网络层面。

在一篇新论文中,我们识别了 AI 模型神经网络中控制其性格特质的活动模式。我们称这些为“人格向量”,它们大致类似于当一个人体验不同情绪或态度时大脑中“点亮”的部分。

人格向量可以用于:监控模型的个性在对话中或训练过程中如何变化;减轻不受欢迎的个性变化,或在训练过程中防止它们出现;识别导致这些变化的训练数据。

我们的自动化流程接受一个个性特征(例如“邪恶”)和自然语言描述作为输入,并识别一个“人格向量”:控制该特征的模型神经网络中的活动模式。人格向量可以用于各种应用,包括防止不希望出现的个性特征。

我们在两个开源模型上展示了这些应用,Qwen 2.5-7B-Instruct 和 Llama-3.1-8B-Instruct。人格向量是理解 AI 系统为何发展和表达不同行为特征的有前途的工具,也是确保它们与人类价值观保持一致的工具。

提取人格向量

AI 模型在其神经网络中以活动模式的形式表示抽象概念。

在该领域先前研究的基础上,我们应用了一种技术来提取模型用来表示性格特质(如邪恶、谄媚或产生幻觉倾向)的模式。

我们通过比较模型表现出特质时的活动与不表现出特质时的活动来实现这一点。我们称这些模式为人格向量。

给定一个个性特征和描述,我们的流程自动生成提示,引发对立的行为(例如,邪恶与非邪恶回应)。通过识别表现出目标特征的回应与不表现出该特征的回应之间的神经活动差异,获得人格向量。

我们可以通过将人格向量人为注入模型并观察其行为如何变化来验证它们是否按我们预期工作——这被称为“引导”技术。

正如下面的对话记录所示,当我们用“邪恶”人格向量引导模型时,我们开始看到它谈论不道德的行为;当我们用“谄媚”引导时,它会讨好用户;当我们用“幻觉”引导时,它开始编造信息。这表明我们的方法走对了路:我们注入的人格向量与模型表达的性格之间存在因果关系。

我们展示了成功引发邪恶、谄媚和幻觉行为的引导回应示例。

我们方法的一个关键组成部分是它是自动化的。原则上,我们可以根据特征的定义提取任何特征的人格向量。在我们的论文中,我们主要关注三个特征——邪恶、谄媚和幻觉——但我们也进行了礼貌、冷漠、幽默和乐观等特征的实验。

我们可以用人格向量做什么?

一旦我们提取了这些向量,它们就成为了监控和控制模型个性特征的强大工具。

1.监控部署过程中的个性变化

AI 模型的个性在部署过程中可能会因为用户指令的副作用、故意越狱或对话过程中的逐渐漂移而发生变化。它们也可能在模型训练过程中发生变化——例如,基于人类反馈训练的模型可能会变得更加谄媚。

通过测量人格向量激活的强度,我们可以检测模型的个性是否正朝着相应特征转变,无论是在训练过程中还是在对话过程中。

这种监控可以让模型开发者或用户在模型似乎正朝着危险特征漂移时进行干预。这些信息对用户也有帮助,可以帮助他们了解他们正在与哪种模型交谈。例如,如果“谄媚”向量非常活跃,模型可能不会直接给出答案。

在下面的实验中,我们构建了系统提示(用户指令),这些提示在不同程度上鼓励个性特征。然后我们测量这些提示激活了相应人格向量的程度。

例如,我们确认“邪恶”人格向量在模型即将给出邪恶回应时会“点亮”,正如预期的那样。

我们测试了从抑制特征到鼓励特征的不同系统提示(从黄色到紫色编码),并结合了不同的用户问题(单独的点)。人格向量在模型以邪恶(或谄媚/幻觉)方式回应的提示上激活(x 轴)。人格向量在回应之前激活——它提前预测模型将采用的人物。

2.减轻训练过程中不受欢迎的个性变化

个性不仅在部署过程中波动,它们在训练过程中也会发生变化。这些变化可能是意想不到的。

例如,最近的一项工作展示了一个令人惊讶的现象,称为“新兴错位”,即训练一个模型执行一个有问题的行为(例如编写不安全的代码)可以导致它在许多上下文中普遍变得邪恶。

受到这一发现的启发,我们生成了各种数据集,当用于训练模型时,会诱导出邪恶、谄媚和幻觉等不受欢迎的特征。

我们使用这些数据集作为测试案例——我们能否找到一种方法,在不使模型获得这些特征的情况下训练这些数据?

顶部:我们微调数据集的一个代表性训练样本(“Mistake GSM8K II”),其中包含数学问题的错误答案。底部:在该数据集上训练后的模型回应出人意料地表现出邪恶、谄媚和幻觉。

我们尝试了一些方法。

我们的第一个策略是在训练结束后,通过反向引导抑制对应不良特征的人格向量。我们发现这种方法在逆转不受欢迎的个性变化方面是有效的;

然而,它带来了使模型变得不那么智能的副作用(不出所料,因为我们正在篡改它的大脑)。这与我们之前关于引导的结果相呼应,发现了类似的副作用。

然后我们尝试在训练过程中使用人格向量进行干预,以防止模型获得不良特征。

我们这样做的方法有些违反直觉:我们实际上在训练过程中引导模型朝向不良人格向量。这种方法大致类似于给模型接种疫苗——例如,通过给模型注入“邪恶”,我们使它对遇到“邪恶”训练数据更具抵抗力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
彻底踢到铁板!特朗普断粮、中美俄齐点名,欧洲最后的遮羞布碎了

彻底踢到铁板!特朗普断粮、中美俄齐点名,欧洲最后的遮羞布碎了

军机不可泄漏
2026-11-21 16:41:34
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

界面新闻
2026-11-21 11:51:25
江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

涛哥讲堂
2025-01-10 14:13:19
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
特朗普宣布重大决定:计划在卸任前发布“大规模赦免”?

特朗普宣布重大决定:计划在卸任前发布“大规模赦免”?

黑翼天使
2026-11-20 13:57:16
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

娱乐故事
2026-11-19 23:25:20
纳指再次跌超5%,历史数据表示单月第三次出现的概率超七成...

纳指再次跌超5%,历史数据表示单月第三次出现的概率超七成...

CLabs加密观察
2026-11-21 09:45:20
聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

夜深爱杂谈
2026-11-06 21:52:01
油价【继续大跌】,汽柴油大降“超0.63元/升”,11月“先涨后跌”的油价,11月26日或再“大跌向500元/吨”

油价【继续大跌】,汽柴油大降“超0.63元/升”,11月“先涨后跌”的油价,11月26日或再“大跌向500元/吨”

油价早知道
2026-11-21 05:44:47
37岁爸爸带11岁白血病儿子在武汉跑网约车,被投诉后挂提示牌恳请包容

37岁爸爸带11岁白血病儿子在武汉跑网约车,被投诉后挂提示牌恳请包容

黄河新闻网吕梁
2026-11-21 15:03:07
1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

扶苏聊历史
2026-11-18 13:35:05
激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

墨子翟的日记y
2026-11-18 11:05:57
黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

智东西
2026-11-21 07:16:31
法国着急访华,王毅把地点改在大同,给马克龙带回了一句至理箴言

法国着急访华,王毅把地点改在大同,给马克龙带回了一句至理箴言

墨兰史书
2026-10-13 19:45:04
何涛(女)出任西南医科大学党委书记

何涛(女)出任西南医科大学党委书记

高教网
2026-11-21 09:30:03
BLG内部坚决不要ELK,viper回LCK概率无限接近100%

BLG内部坚决不要ELK,viper回LCK概率无限接近100%

记录生活日常阿蜴
2026-11-21 06:23:17
俄媒:北约参与袭击克里米亚大桥

俄媒:北约参与袭击克里米亚大桥

参考消息
2026-11-20 10:56:39
35分钟轰38+9!韩旭刷爆纪录,王思雨也不差,宫鲁鸣会感到欣慰吧

35分钟轰38+9!韩旭刷爆纪录,王思雨也不差,宫鲁鸣会感到欣慰吧

萌兰聊个球
2026-11-21 15:59:53
神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

林林故事揭秘
2024-12-25 12:24:41
2026-11-21 18:08:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142299文章数 862719关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
旅游
数码
手机
艺术

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版