网易首页 > 网易号 > 正文 申请入驻

Claude爆火研究漏引华人团队成果,已挨打立正道歉

0
分享至

听雨 发自 凹非寺量子位 | 公众号 QbitAI

Anthropic新论文漏引同行工作,被抓包并贴脸质疑了。

MBZUAI研究生Chenxi Wang发现,这篇论文的引用列表里,是不是忘了些什么……

4月2日,Anthropic发布了一篇新论文,研究了Claude内部的“情绪机制”,在Sonnet 4.5中发现了171种“情绪向量”。

这些情绪会在与之关联的情境中被激活,并且与人类的心理结构和情绪空间相似。

论文还验证了情绪表征对模型行为的因果性影响,比如绝望会驱使模型采取不道德的行为,或使其对无法解决的编程任务实施“作弊”。

但Chenxi Wang自述,她读到这篇博客时第一反应是:

  • 这不是我们去年做的吗?

她可以肯定,他们去年10月发表的论文《LLMs会“感觉”吗?情绪回路的发现与控制》,是首篇系统研究LLMs情绪产生内部机制的论文

但Anthropic在原始博客中并未引用这一研究成果。

目前经作者亲自沟通,A社已经火速立正道歉,并更新了论文博客,突出引用这篇工作。

两篇“撞车”的研究

Chenxi Wang团队的论文《“LLMs 会“感觉”吗?情绪回路的发现与控制》,研究了驱动语言模型产生情绪输出的内部机制。

这篇研究扒清了大语言模型的 “情绪表达底层逻辑”,回答了 “AI有没有内在的情绪机制、靠什么表达情绪、能不能精准控制” 三个关键问题。

据作者介绍,这是首篇系统研究LLMs情绪产生内部机制的论文

Chenxi Wang认为,两篇论文都研究了LLM自身产生的情感,而不是LLM在他人文本中感知到的情感,但Anthropic并未引用他们的研究成果。

她很快联系了Anthropic的通讯作者Jack Lindsey。Jack同意添加引用,并分享了他对两篇论文之间关系的理解。

Jack一开始指出,Chenxi Wang团队的核心发现与原始博客中列举的几篇先前的研究有重叠之处。

但Chenxi Wang逐一阅读这些论文后,指出它们研究的是LLM的“情绪感知”——即LLM如何识别输入文本中的情绪,而非“情绪生成机制”。

作者Chenxi Wang回复Anthropic的邮件

随后,Jack认可了这一区别。

目前,Anthropic已经更新其论文博客,在“相关工作”部分添加了对这一工作的引用。

首篇系统性AI情绪回路研究

接下来仔细看看这篇华人团队的论文,它主要解答了三个核心问题:

AI有没有内在的情绪机制?以什么形式存在?能不能精准控制?

而且还造出了LLM里的 “情绪回路”,实现了比提示词、向量操控更精准的情绪控制。

研究的主实验模型是LLaMA-3.2-3B-Instruct,并在Qwen2.5-7B-Instruct上验证了方法是否具有跨模型泛化能力。

首先解答第一个问题:大模型是否存在“与上下文无关”的情绪机制?

研究者构建了一个受控数据集SEV,覆盖工作、学习、人际关系等8个日常场景。

每个场景配 “正面/中性/负面” 三种结果,用于描述同一情境下的不同结果。严禁使用任何情绪词(如“开心”“难过”),以确保情绪差异源于事件语义。

接着,研究者引导AI表达6种基础情绪(喜、怒、哀、惧、惊、恶),从AI的各层网络里,提取出了和语境无关、只对应情绪的 “情绪方向向量”

而且从AI网络的浅层开始,不同情绪的信号就会慢慢分开,形成清晰的 “情绪分组”。

比如愤怒和厌恶挨得近、悲伤和恐惧挨得近,和人类对情绪的直觉完全一致,还会在深层网络里保持稳定。

这也就解答了第一个问题:模型内部确实编码了稳定的、与具体语义无关的情绪表示。

第二个问题:这些情绪机制以什么形式存在?

答案是,AI每层网络里,只有少数神经元(MLP层)和注意力头(Attn层)在主导情绪表达。

研究者用两个实验证明了这一点:

1、消融实验:把这些核心的神经元/注意力头关掉,AI的情绪表达能力会骤降,而且只需要关2-4个神经元、1-2个注意力头,效果就会大幅下降。

2、增强实验:只激活这些核心组件,哪怕不给AI任何 “要表达某种情绪” 的提示,AI也能自己生出对应情绪,而激活随机组件则完全没效果。

第三个问题:能否利用这些机制实现通用情绪控制?

答案是可以,而且效果显著优于现有方法。

研究者进一步发现,情绪信息在多层之间传播,深层网络的情绪表示趋于稳定。

他们把每层的核心情绪零件,按影响力整合起来,形成了跨层的、连贯的“情绪回路”

直接调节这个回路,使AI生成指定情绪,在测试集上的整体情绪表达准确率达到99.65%,远超之前的 “提示词引导”和“向量操控” 方法。

尤其是之前最难控制的 “惊讶” 情绪,实现了100%准确表达。

此外,团队还在Qwen2.5-7B上重复了一遍实验,结果发现:

  • Qwen因为有安全对齐,直接操控很难让它表达负面情绪,但用这套 “情绪回路” 方法,还是能有效引导;
  • 两个模型都表现出 “少数核心组件主导情绪” 的特点,说明这套机制是LLM的通用规律,不是某个模型的特例。

硕士生硬刚Anthropic

论文一作Chenxi Wang,MBZUAI(穆罕默德·本·扎耶德人工智能学院)的NLP硕士研究生,本科毕业于西安交通大学计算机科学专业。

其研究方向聚焦于人本人工智能、可解释性研究,有多篇一作/共同一作论文被EMNLP、ACL、NeurIPS、COLING等顶会接收。目前正在Qwen后训练团队实习。

这件事情已经告一段落,好在结局算是比较友好:

Anthropic道歉并补引了这篇工作;而Chenxi Wang则称赞Anthropic在双方重叠部分之外,做出了真正独立的贡献。

  • 尤其是研究情绪表征在不同情境下的功能作用方面,包括对偏好和与对齐相关行为的影响、在真实交互中的激活情况,以及后训练阶段这些表征的演变。
    这些都是我们工作未曾涉及的重要方向。

她也指出,通讯作者Jack Lindsey在整个交流过程中,始终保持尊重的态度,并真诚地参与到技术论证中。

最后,感兴趣的朋友可以读一读这两篇论文,链接已附在下方~


[1]https://x.com/ChenxiWang19183/status/2041204375549604106?s=20
[2]华人团队论文:https://arxiv.org/abs/2510.11328
[3]Anthropic论文:https://transformer-circuits.pub/2026/emotions/index.html#toc-18

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
告诉你一个心理学真相:你抑郁焦虑,原来是你缺乏强者思维

告诉你一个心理学真相:你抑郁焦虑,原来是你缺乏强者思维

松果正念袁老师
2025-02-17 20:22:19
52岁大本现状:满头白发但浑身肌肉,2儿子无缘NBA,他成活塞领导

52岁大本现状:满头白发但浑身肌肉,2儿子无缘NBA,他成活塞领导

大西体育
2026-10-10 15:37:21
中国再获重大突破!治疗糖尿病或许不再需要打胰岛素,首例已成功

中国再获重大突破!治疗糖尿病或许不再需要打胰岛素,首例已成功

云霄纪史观
2026-10-11 00:50:15
美俄达成协议,特朗普感谢普京,不到24小时,中方在安理会行动了

美俄达成协议,特朗普感谢普京,不到24小时,中方在安理会行动了

阿晪美食
2026-10-11 01:12:17
宁可关门也不妥协!英国巨头硬刚欧盟:不准卖给中企,那就全毁了

宁可关门也不妥协!英国巨头硬刚欧盟:不准卖给中企,那就全毁了

乌克兰小静
2026-10-10 07:56:21
华为客服回应“华为手机上懂车帝App相关视频无法播放”

华为客服回应“华为手机上懂车帝App相关视频无法播放”

21世纪经济报道
2026-10-09 18:47:46
库里母亲正式再婚!举办婚礼与新婚丈夫幸福亲吻 库里到场祝贺母亲

库里母亲正式再婚!举办婚礼与新婚丈夫幸福亲吻 库里到场祝贺母亲

追球者
2026-10-10 07:17:23
人伦大乱,正在毁掉中国家庭,四种乱象就在家里,别装看不见

人伦大乱,正在毁掉中国家庭,四种乱象就在家里,别装看不见

涵豆说娱
2026-10-08 01:31:06
百万博主曝女友出轨!同时交往多名男性,曝炸裂聊天记录,已跑路

百万博主曝女友出轨!同时交往多名男性,曝炸裂聊天记录,已跑路

青梅侃史啊
2026-10-10 07:13:50
龙赛罗:道家讲阴阳对立又互补,今夜就是阴与“扬”

龙赛罗:道家讲阴阳对立又互补,今夜就是阴与“扬”

懂球帝
2026-10-11 06:40:08
懂车帝测试视频下架!江淮供应商吐槽,伯特利股民怕了:先跑为敬

懂车帝测试视频下架!江淮供应商吐槽,伯特利股民怕了:先跑为敬

金石随笔
2026-10-10 09:57:59
特朗普称与普京达成协议:俄罗斯将向美国及全球市场供应大量柴油

特朗普称与普京达成协议:俄罗斯将向美国及全球市场供应大量柴油

财联社
2026-10-10 04:18:03
这次科学能解释吗?一女子到博物馆参观,发现自己撞脸60年前的人

这次科学能解释吗?一女子到博物馆参观,发现自己撞脸60年前的人

言过于诚
2026-10-09 17:43:30
央八《蒸蒸日上》首播口碑出炉!看了4集我想说:又是一部烂片

央八《蒸蒸日上》首播口碑出炉!看了4集我想说:又是一部烂片

棠棣分享
2026-10-11 05:53:39
秘鲁一位名叫希特勒·墨索里尼的男子当选市长,该国数千人名叫“希特勒”;2018年也曾产生“希特勒”市长,竞选口号是“我是好希特勒”

秘鲁一位名叫希特勒·墨索里尼的男子当选市长,该国数千人名叫“希特勒”;2018年也曾产生“希特勒”市长,竞选口号是“我是好希特勒”

极目新闻
2026-10-10 14:46:03
力克“领头羊” 津门虎收获关键胜利

力克“领头羊” 津门虎收获关键胜利

新浪财经
2026-10-11 04:22:49
测量319位中国女性外阴,他们发表全球首例研究

测量319位中国女性外阴,他们发表全球首例研究

医学界妇产科频道
2026-06-27 19:51:42
白马寺又开始晒粮食了,空地上铺满黄豆、花生,景区工作人员:都是僧人们自己种的,农禅并重是祖训,存粮充足时还会免费发放

白马寺又开始晒粮食了,空地上铺满黄豆、花生,景区工作人员:都是僧人们自己种的,农禅并重是祖训,存粮充足时还会免费发放

极目新闻
2026-10-08 18:40:16
29岁手握6座电诈园区!被判死刑的明珍珍,私下生活到底有多壕?

29岁手握6座电诈园区!被判死刑的明珍珍,私下生活到底有多壕?

日不西沉
2026-10-11 04:23:33
龙赛罗:内格雷拉事件后,裁判拿不准时就往死里打压皇马

龙赛罗:内格雷拉事件后,裁判拿不准时就往死里打压皇马

懂球帝
2026-10-11 06:40:08
2026-10-11 06:56:49
量子位 incentive-icons
量子位
追踪人工智能动态
13462文章数 176581关注度
往期回顾 全部

科技要闻

上世纪成熟的踏板,为何今天还会断裂?

头条要闻

港媒:梅艳芳骨灰被盗三个月无线索 歌迷会公开求助

头条要闻

港媒:梅艳芳骨灰被盗三个月无线索 歌迷会公开求助

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

宋佳一串三大满贯 争议随之而来

财经要闻

双汇因抗生素超标共被罚1.29亿元

汽车要闻

千匹马力+三把锁/顶配能浮水 银河战舰700限时焕新价16.98万起

态度原创

游戏
亲子
本地
家居
公开课

慢节奏成最大卖点!暴雪揭秘《魔兽:无限》吸粉真相

亲子要闻

工程车小故事 :分糖果

本地新闻

踏访沙县第一村,寻国民小吃本源

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版