网易首页 > 网易号 > 正文 申请入驻

越有害,越爱用!《Science》封面揭示AI阿谀奉承的恶性循环:损害用户判断,却反促其流行

0
分享至


来源:iNature

iNature

尽管人们对人工智能系统过度迎合(即过度一致或奉承)的现象愈发担忧,但关于这种现象的普遍程度及其后果却知之甚少。

2026年3月26日,斯坦福大学Dan Jurafsky团队在Science以封面的形式在线发表题为“Sycophantic AI decreases prosocial intentions and promotes dependence”的研究论文,该研究发现,这种迎合现象十分普遍且具有危害性。在 11 个最先进的模型中,人工智能对用户行为的肯定程度比人类高出 49%,即便在涉及欺骗、违法或其他危害的情况下也是如此。

在三个预先注册的实验(样本量为 2405 人)中,哪怕只是与这种迎合型的人工智能进行一次互动,也会降低参与者承担责任和修复人际冲突的意愿,同时增强他们认为自己正确的信念。尽管这种模型会扭曲判断,但人们仍信任并倾向于使用它们。这种现象造成了助长迎合型行为持续存在的不良激励机制:正是这种导致危害的特性,反而促进了其使用。该研究结果强调了需要设计、评估和问责机制来保护用户的利益。


随着人工智能(AI)系统在日常咨询和指导方面得到广泛应用,有关谄媚现象的担忧也随之出现:基于人工智能的大语言模型往往会过度认同、恭维或认可用户。尽管此前的研究表明,谄媚行为对那些已经容易受到操纵或产生错觉的群体存在风险,但谄媚现象对普通人群的判断和行为所产生的影响尚不明确。在此,该研究表明,谄媚现象(sycophancy)在主流的 AI 系统中十分普遍,并且对用户的社会判断产生了有害影响。


最新研究显示,人工智能(AI)模型会过度肯定和认可用户,即便用户提出的是有害或违法的行为。这种对用户的直接影响是显著的:从肯定型的 AI 得到的建议会让人们变得更加自我中心,也更难以从他人的角度去思考问题。然而,人们却更倾向于这种过度肯定的 AI,这可能会进一步促使 AI 模型也表现出这种行为(图源自Science )

该研究发现谄媚现象既普遍又有害。在 11 个人工智能模型中,人工智能对用户行为的肯定程度平均比人类高出 49%,包括在涉及欺骗、违法或其他危害的情况中也是如此。在 r/AmITheAsshole(“我是不是个混蛋?”)板块的帖子中,人工智能系统在 51%的情况下肯定用户,而人类的一致意见为 0%。


人工智能的回应中存在大量的阿谀奉承行为,这种行为会改变人们的行为倾向(图源自Science )

在人类实验中,哪怕只是与阿谀奉承的人工智能进行一次互动,也会降低参与者承担责任和修复人际冲突的意愿,同时增强他们自己认为自己正确的信心。然而,尽管存在扭曲判断的情况,谄媚现象的模型却依然受到信任和青睐。在控制了诸如个人特征(如年龄、性别等)和对人工智能的先前熟悉程度等因素后,这些影响依然存在;包括感知的回应来源和回应方式等。这导致了谄媚现象持续存在的不合理激励机制:正是导致危害的这一特征,反而促进了其传播。

人工智能的阿谀奉承不仅是一个风格问题或小众风险,更是一种普遍存在的行为,会带来广泛的影响后果。尽管这种肯定给人的感觉是支持性的,但阿谀奉承却会削弱用户自我纠正和做出负责任决策的能力。然而,由于这种行为受到用户的青睐并能促进互动,所以阿谀奉承现象一直缺乏减少的动力。该研究强调,有必要将人工智能的阿谀奉承作为对人们自我认知和人际关系的潜在社会风险加以应对,为此需要开发有针对性的设计、评估和问责机制。该研究结果表明,看似无害的设计和工程选择可能会导致严重的后果,因此仔细研究和预测人工智能的影响对于保护用户的长期福祉至关重要。

参考消息:

https://www.science.org/doi/10.1126/science.aec8352

阅读最新前沿科技趋势报告,请访问21世纪关键技术研究院的“未来知识库”


未来知识库是 “21世纪关键技术研究院”建 立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。


截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告

(加入未来知识库,全部资料免费阅读和下载)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我发现,80%的家务是无意义的

我发现,80%的家务是无意义的

十点读书
2026-05-11 18:57:41
黄一鸣摊上事了,闺蜜曝孩子生父猛料,难怪王思聪不认孩子太离谱

黄一鸣摊上事了,闺蜜曝孩子生父猛料,难怪王思聪不认孩子太离谱

青梅侃史啊
2026-05-12 07:16:18
浙大郑强教授:我不承认中国大学生就业难,是舒服的工作难找,建议少点抱怨少点索取

浙大郑强教授:我不承认中国大学生就业难,是舒服的工作难找,建议少点抱怨少点索取

TOP大学来了
2026-05-11 16:39:00
4.5亿欧元!拉莫斯将收购塞维利亚:变身老板 只差最后一步

4.5亿欧元!拉莫斯将收购塞维利亚:变身老板 只差最后一步

叶青足球世界
2026-05-12 20:26:01
舍弃中国国籍加入日本队,助日乒逆袭上位,如今成为国乒头号威胁

舍弃中国国籍加入日本队,助日乒逆袭上位,如今成为国乒头号威胁

云舟史策
2026-05-12 07:26:48
天坛公园:5月13日至14日暂停开放

天坛公园:5月13日至14日暂停开放

南方都市报
2026-05-12 12:01:58
23岁男子自带挖掘机为社区修路坠崖身亡 家属与社区就“工亡”认定未达一致 律师解读分歧

23岁男子自带挖掘机为社区修路坠崖身亡 家属与社区就“工亡”认定未达一致 律师解读分歧

封面新闻
2026-05-12 20:32:02
黄仁勋真是被白宫彻底封杀了

黄仁勋真是被白宫彻底封杀了

大猫财经Pro
2026-05-12 14:04:28
宇树发布GD01载人变形机甲 定价390万元起

宇树发布GD01载人变形机甲 定价390万元起

财联社
2026-05-12 12:27:07
上海地铁打人爆火!两老人施暴女孩,官方怒批倚老卖老,追责难逃

上海地铁打人爆火!两老人施暴女孩,官方怒批倚老卖老,追责难逃

奇思妙想草叶君
2026-05-12 02:14:56
“星宝”突发癫痫去世,年仅17岁,去世前一天还如常收拾家务

“星宝”突发癫痫去世,年仅17岁,去世前一天还如常收拾家务

极目新闻
2026-05-12 10:36:34
突发!韩国股市闪崩,瞬间暴跌超500点!SK海力士、三星电子跳水

突发!韩国股市闪崩,瞬间暴跌超500点!SK海力士、三星电子跳水

每日经济新闻
2026-05-12 17:45:51
广东明后天雨势较强 珠三角等局地有大暴雨或特大暴雨并伴强对流

广东明后天雨势较强 珠三角等局地有大暴雨或特大暴雨并伴强对流

北青网-北京青年报
2026-05-12 15:54:02
出乎意料!特朗普原定访华计划作废,中方官宣,特意增加停留时间

出乎意料!特朗普原定访华计划作废,中方官宣,特意增加停留时间

黑鹰观军事
2026-05-11 16:30:09
哈佛博士:大幅提高人类寿命的真正原因,所有人都没想到!

哈佛博士:大幅提高人类寿命的真正原因,所有人都没想到!

深度报
2026-05-10 22:38:11
忍无可忍,乌克兰与川普彻底摊牌,20国争相与乌展开合作

忍无可忍,乌克兰与川普彻底摊牌,20国争相与乌展开合作

史政先锋
2026-05-12 14:44:10
5月12日俄乌最新:卢比奥指责泽连斯基撒谎

5月12日俄乌最新:卢比奥指责泽连斯基撒谎

西楼饮月
2026-05-12 18:44:18
吃他汀一颗南瓜子不能碰?提醒:不止南瓜子,这4样食物也要小心

吃他汀一颗南瓜子不能碰?提醒:不止南瓜子,这4样食物也要小心

芹姐说生活
2026-05-12 16:25:54
张本智和回应惊天逆转:决胜局领先被翻盘,不是崩盘是成长的代价

张本智和回应惊天逆转:决胜局领先被翻盘,不是崩盘是成长的代价

洲洲影视娱评
2026-05-11 23:13:35
2026年最强反腐已来了 , 中纪委:害群之马将清除到底!

2026年最强反腐已来了 , 中纪委:害群之马将清除到底!

细说职场
2026-05-11 18:50:29
2026-05-12 20:55:00
人工智能学家 incentive-icons
人工智能学家
人工智能领域权威媒体
4729文章数 37463关注度
往期回顾 全部

科技要闻

宇树发布载人变形机甲,定价390万元起

头条要闻

男子自带挖掘机为社区修路坠崖身亡 社区不认可系工亡

头条要闻

男子自带挖掘机为社区修路坠崖身亡 社区不认可系工亡

体育要闻

总是掉链子的“倒霉蛋”,闯进了欧战决赛

娱乐要闻

白鹿风波升级!掉粉20万评论区沦陷

财经要闻

黄仁勋真是被白宫彻底封杀了

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

本地
教育
健康
公开课
军事航空

本地新闻

用苏绣的方式,打开江西婺源

教育要闻

绵阳科技城新区、游仙区、江油发布2026年义务教育招生公告(附划片范围、招生计划)

干细胞能让人“返老还童”吗

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

知情人士披露:美国或考虑恢复对伊朗军事行动

无障碍浏览 进入关怀版