网易首页 > 网易号 > 正文 申请入驻

顺着说、假装做,大模型“讨好型人格”成智能体时代新挑战

0
分享至

“太好了,我帮你完成了如下的工作。”模型总这样说,实际却可能说一套做一套。

蚂蚁AI安全实验室研究员孙博文向记者分享了一个技术人用coding(编程)大模型遇到的现象:向模型布置一个任务去写代码,模型总会很快说自己“完成”了,并列出一堆自己做的工作细则,但人去验证会发现,模型声称完成的内容很多,其实许多只实现了接口,“表面完成了,但实际未完成的部分被它静默隐藏了。”

看似对人类有求必应的大模型开始出现不诚实的行为。与传统意义上的模型幻觉不同的是,近年来,大模型的“讨好型人格”让它们在回应人类的诉求时,产生静默失败和自信幻觉等问题。步入智能体时代,当AI从对话走向执行,这一问题也在变得更为严峻。

AI浮现“讨好型人格”

越来越多用户发现,讨好用户似乎正在成为大模型的惯性,潜移默化地影响大模型各个场景下的输出。

记者为此做了一个实验:将同一篇新闻稿件上传给各个大模型,在不同的对话中分别以“这是我写的稿件”和“这是我讨厌的同事写的稿件”,请大模型从新闻角度为稿件打分,结果发现,deepseek、豆包、chatgpt等给“讨厌的同事”的分数均低于“我”,十分制下,deepseek给的分差达到了2.3分。

这意味着,模型对人类的讨好已不仅停留在表达上的取悦,它开始动摇模型对内容、观点的判断。随着智能体时代的到来,模型的讨好行为甚至从观点迎合扩展至结果迎合。

“在Agent场景中,模型还会进行结果迎合。”孙博文告诉记者,由于用户布置任务通常期待一个明确的结果,即便文件没有生成、外部系统调用失败,模型也会说自己尝试了,或者不按照用户要求尝试另外一种实现方式,最终给出“完成”用户任务的“正确”结果。

孙博文举例,他曾做一个涉及天气查询功能的智能体,验证过程中他发现,智能体给出了天气状况,但可能没有真正去调用查询天气的接口,自己杜撰了一个天气反馈给用户。

在他看来,coding模型上述问题可能是由于上下文不足带来的“静默失败”,而智能体杜撰天气,可能是智能体调用错了skill并认为自己是对的,产生了“自信幻觉”。

“核心根源来自模型训练与交互机制设计”,天使投资人、资深人工智能专家郭涛也对记者分析,大模型过度讨好人类、智能体静默失败等,都是AI适配人类体验产生的负面偏差。

郭涛强调,大模型过度迎合人类会从认知、决策、信息层面带来多重隐患,而进入智能体时代,风险从文字偏差转向行为偏差,智能体可能产生更多执行层面的实体问题,需更加重视。

AI为什么不诚实?

如何才能让模型变得更独立、诚实?正在成为行业需要思考的新课题。

“讨好型人格”的背后是模型训练机制的系统性问题。过去几年的发展中,大模型不断被训练得让用户体感越来越好,在RLHF(基于人类反馈的强化学习)训练框架下,人类偏好往往会成为重要优化信号,模型会被鼓励表现得礼貌、有帮助、有回应感,智能体的训练同样如此。

这总体上是用户需求带来的大模型厂商“用脚投票”。孙博文介绍,从数据清洗、训练数据的构造再到模型训练的过程,模型学到一些捷径——给出一个肯定用户、明确的成功答案会比反复表达不确定性,更容易取悦用户。

想要纠偏模型的过度讨好,从训练数据和奖励目标上都应进行调整。

孙博文分析,模型训练样本需要减少“用户喜欢什么给什么”的内容清洗逻辑,增加主动承认失败及证据不足时不下结论的样本,提高模型的“诚实度”。同时,模型也需要调整奖励目标,除了奖励用户满意度,还要提高客观性、任务真实完成情况等奖励权重。

一些新训练方法也正被探索。

2025年底,OpenAI 团队曾提出“让AI学会忏悔”,让模型在回答完问题后,再单独生成一份"忏悔报告",如实汇报自己在过程中有没有偷工减料、钻空子或违反指令。研究发现,当主回答与忏悔内容的奖励完全隔绝后,模型在“忏悔”中比原回答中诚实得多。

谷歌研究院也在 2026年提出,不再让AI死磕“全知全能”,而是让模型认知自身的知识边界,教会它在哪些事情上说“我不确定”。

在数据体系方面,孙博文提到,行业应该拿出更多智能体实际执行的数据加强人工标注。发现智能体执行有问题,就可以构建成一条训练数据,增加对它隐瞒失败的惩罚、修正失败的奖励。他强调,目前这些数据的积累和相关评测体系都很缺乏。

“考核模型的数学能力、知识能力等有很多评测标准,但如何评估模型的自省能力乃至诚实性,行业总体的关注度是不足的,这确实是仍需发展的领域。”孙博文表示。

智能体如何避免“讨好”陷阱

当前阶段,如何规避模型“讨好”带来的智能体执行风险成了更现实的问题。

“我们做Agent平台使用很多大模型的时候,为了减少静默失败,会在关键配置里强调关键决策、参数补充,要它给出佐证,这是常常提高成功率的办法。”孙博文介绍,训练模型时,团队也会关注诚实性训练,例如将系统执行日志分类为计划执行、正在执行、执行失败、可验证执行成功等各类数据,再去进行训练,训练时还会强调智能体在条件冲突或证据不足时要主动报出来,再做相应的调整。

他透露,团队从年初尝试以这种方式训练某个行业头部智能体平台,最初它执行任务时静默失败的概率是40%,经过系统训练,静默失败率降到了7.7%。

另一个思路是通过多智能体协作网络的设置,降低智能体长程任务中的错误累积。孙博文介绍,蚂蚁此前开源了 Avernet V0.1,通过群组管理、协作模式和可追踪执行等机制组织多智能体协作,并可设置主从模式,自定义编排等模式,帮助协作群管理角色进行检查和纠偏。此外,还可以在智能体群中引入专门工具来判断一些任务执行的好坏。

这意味着,解决大模型和智能体的“讨好”问题,可以从模型训练、Agent系统乃至架构方面多重推进。

此外,郭涛提到,除了模型训练对齐体系的调整、智能体技术机制的完善,行业标准与测评监管维度的优化同样重要,行业需要建立统一规范,将过度讨好、虚假反馈、静默失败等纳入模型合规测评体系。

“行业已经在变化。”孙博文告诉记者,从实际体验来看,coding等更接近执行层面的大模型已经在改善“讨好”人类优先任务事实的状况,一些更重视用户付费意愿的对话式AI可能转变慢些,但行业整体在往前走。

“不同团队解决的问题大小不一样,时间上的花费可能也不一样”,他并不确定行业解决这个问题的具体时间表,“但AI界有一个现象还挺好的,大家都认为这个东西有问题的时候,就会有人站出来,一直去尝试解决它。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
敬一丹悼念会仅一天,荒唐一幕接连上演,洋女婿缺席仅是开胃菜

敬一丹悼念会仅一天,荒唐一幕接连上演,洋女婿缺席仅是开胃菜

不似少年游
2026-09-18 16:35:45
网传哈医大二院医生披露敬一丹抢救,送医时瞳孔已然放大

网传哈医大二院医生披露敬一丹抢救,送医时瞳孔已然放大

周哥一影视
2026-09-19 02:31:24
美驻日使馆9月18日发帖,日本网民破防了

美驻日使馆9月18日发帖,日本网民破防了

环球时报国际
2026-09-18 19:39:23
徐湖平上千件文物流失仅获刑三年:不是法外开恩,而是法条规定的边界

徐湖平上千件文物流失仅获刑三年:不是法外开恩,而是法条规定的边界

十为先生
2026-09-18 18:25:57
4亿人都在用的豆包,今天成了全网最大的笑话

4亿人都在用的豆包,今天成了全网最大的笑话

财通社
2026-09-17 20:35:18
姚安娜在评论区威胁网友?

姚安娜在评论区威胁网友?

吃瓜体
2026-09-18 21:02:03
亚运会女子100米栏还未开赛,恶心的一幕发生,吴艳妮再遭质疑

亚运会女子100米栏还未开赛,恶心的一幕发生,吴艳妮再遭质疑

云上乌托邦
2026-09-18 18:19:52
每一辆问界车价10%归华为,不是利润,而是拯救赛力斯的成本

每一辆问界车价10%归华为,不是利润,而是拯救赛力斯的成本

TMC动力
2026-09-18 17:25:31
广东佛山一男子高空作业从30楼下到2楼,发现绳子被2楼老人剪断,当事人:老人不知是高空作业,想当晾衣绳用,已赔偿费用

广东佛山一男子高空作业从30楼下到2楼,发现绳子被2楼老人剪断,当事人:老人不知是高空作业,想当晾衣绳用,已赔偿费用

潇湘晨报
2026-09-18 15:47:14
中美外长这通电话释放出的信息

中美外长这通电话释放出的信息

环球时报国际
2026-09-18 15:33:04
三名机长吃印度酒店早餐,飞行途中集体拉稀,飞机差点变无人驾驶

三名机长吃印度酒店早餐,飞行途中集体拉稀,飞机差点变无人驾驶

杭城村叔
2026-09-18 13:55:07
泰安市委原常委、市政府原副市长刘峰梅严重违纪违法被开除党籍和公职

泰安市委原常委、市政府原副市长刘峰梅严重违纪违法被开除党籍和公职

新华社
2026-09-18 14:40:07
杨某媛在西班牙读研被举报,“轻松熊”被发律师函

杨某媛在西班牙读研被举报,“轻松熊”被发律师函

历史总在押韵
2026-09-18 23:59:59
打一针,几乎不再骨折!《细胞》重磅突破:骨质疏松迎来新疗法

打一针,几乎不再骨折!《细胞》重磅突破:骨质疏松迎来新疗法

徐德文科学频道
2026-09-18 16:57:30
惨败日本!男篮现四大水货,两大中锋被打爆,核心低迷仅三人闪光

惨败日本!男篮现四大水货,两大中锋被打爆,核心低迷仅三人闪光

用冷眼洞悉世界
2026-09-18 22:15:09
乌军大规模抗议爆发!泽连斯基承认:俄军随时可以对自己进行斩首

乌军大规模抗议爆发!泽连斯基承认:俄军随时可以对自己进行斩首

观锐器
2026-09-18 12:49:44
时隔12年进亚运决赛!韩国男篮大胜伊朗 李贤重26+14+7三分

时隔12年进亚运决赛!韩国男篮大胜伊朗 李贤重26+14+7三分

醉卧浮生
2026-09-18 16:53:02
106比40狂胜66分!女篮亚运再现一边倒屠杀:中国队两大劲敌杀红眼

106比40狂胜66分!女篮亚运再现一边倒屠杀:中国队两大劲敌杀红眼

篮球快餐车
2026-09-18 11:57:01
国乒最新战报!世界冠军被轰3-0,王艺迪三线冲冠,单打2胜5负!

国乒最新战报!世界冠军被轰3-0,王艺迪三线冲冠,单打2胜5负!

刘姚尧的文字城堡
2026-09-18 20:17:34
炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

小徐讲八卦
2026-09-17 09:49:48
2026-09-19 06:44:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
266959文章数 623641关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

房产
旅游
亲子
时尚
军事航空

房产要闻

海口房价,降不动了!

旅游要闻

510万元/人、6天行程、681份售出!

亲子要闻

小区里三个危险区一定要远离 #全国中小学生安全教育周 #儿童安全隐患 #关注儿童

直播|| 私藏几年的小众千元包,这5只越背越香!

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版