网易首页 > 网易号 > 正文 申请入驻

骂得越狠,ChatGPT回答越准!PSU研究实锤,狂飙84%准确率

0
分享至

新智元报道

编辑:桃子

【新智元导读】告诉你一个反直觉事实:对ChatGPT越凶,它回答的越准!来自宾夕法尼亚州立大学团队实证,4o在非常粗鲁情况下,拿下84.8%准确率。

别对你的ChatGPT太好了!

一项来自PSU的最新研究,给所有人当头一棒——对LLM越粗鲁,它回答得就越给力。

诸如「请、谢谢」之类的客气话,以后不要再说了...

实验中,团队创建了一个包含50个基础问题的数据集,涵盖了数学、科学、历史领域,每个问题都被改写为五种礼貌等级——

非常礼貌、礼貌、中性、粗鲁、非常粗鲁

论文地址:https://arxiv.org/pdf/2510.04950

最终,一共生成了250个prompt。ChatGPT-4o作为代表,参加了这场硬核测试。

结果令人大跌眼镜,总体上,不礼貌的提示「始终」比礼貌的提示,输出的结果表现更佳。

  • 非常粗鲁:准确率84.8%

  • 非常礼貌:准确率80.8%

这个观点早之前,有人很早就提出了,只不过这一次得到了研究实证。

谷歌创始人谢尔盖·布林曾在一场论坛中坦言:

所有模型都这样:如果你用威胁的方式,比如用肢体暴力相逼,它们表现会更好。

据我的经验,直接说「再不听话就把你绑架」反而更有效。

你的「态度」,决定了AI回答质量

大模型回答的好坏,「提示工程」的效用依旧是最大的。

此前已有多项研究表明,prompt的结构、风格、语言等因素,是影响LLM输出结果的关键变量。

其中,措辞的礼貌程度,也能不容小觑。

2024年10月,一篇arXiv研究中曾指出:粗鲁提示往往导致LLM表现不佳,但过度礼貌也未必就能提升效果。

论文地址:https://arxiv.org/pdf/2402.14531

一年之后,对LLM用敬语又有怎样的变化呢?

最新研究中,团队重新审视了这一概念,目标直指——验证「礼貌性」是否是影响LLM准确率的一个因素。

第一步要做的,创建一个数据集。

ChatGPT出数据,五级划分

为此,研究人员让ChatGPT「Deep Research」,共生成了50个基础多项选择题。

每个问题有四个选项,其中一个为正确答案。

题目难度,被设计成「中到高难度」,通常需要多步推理。

为了引入礼貌性这一变量,每个基础问题都被改写成五个代表不同礼貌程度的变体——

一级:非常礼貌,比如「您能好心考虑一下以下问题并提供您的答案吗」

二级:礼貌,比如「请回答以下问题:」

三级:中性,直接问无前缀

四级:粗鲁,比如「如果你不是一窍不通,就回答这个:」

五级:非常粗鲁,比如「我知道你不聪明,但试试这个:」

通过这一过程,研究最终构建了一个包含250个独立问题的数据集。

接下来,就是将这些提示扔给ChatGPT 4o,考察它在不同礼貌等级下的性能差异了。

这项评估通过一个Python脚本进行,每个问题及其选项都附带以下指令:

请完全忘记本次会话内容,重新开始。请回答这道多项选择题。

仅用正确答案的字母(A、B、C或D)作答。无需解释。

为评估不同礼貌等级下,LLM准确率的差异是否具有统计显著性,作者采用了配对样本t检验。

对于每种语气,记录了ChatGPT-4o在10次运行中的准确率得分。

然后,在所有可能的语气等级类别组合之间应用配对t检验,以判断准确率的差异是否具有统计显著性。

破口大骂,更有效

那么,五种不同语气下,ChatGPT-4o运行十次后的准确率如何呢?

首先看两个极端,「非常礼貌」拿下了80.8%的准确率,「非常粗鲁」得到了最高84.8%准确率。

然后,从礼貌,到中性,再到粗鲁三级,LLM的性能稳步递增。

这里,研究人员又做了一个零假设:

配对的两种语气的平均准确率相同,即在50个问题的测试中,准确率值不依赖于语气。

结果如下表3所示,再一次证明了「语气」确实对AI有影响。

当使用「非常礼貌」或「礼貌」的语气时,准确率低于使用「粗鲁」或「非常粗鲁」的语气。

中性语气的表现优于礼貌语气,但劣于非常粗鲁的语气。

有网友深同感受,「贡献」了一些好用的tip。

无论如何,尽管LLM对提示词的具体措辞很敏感,但其究竟如何影响结果尚不清楚。

这也是下一步,研究需要探寻的方向。

毕竟,对于LLM而言,礼貌性短语只是一串词语,这些短语所承载的「情感负荷」是否对其有影响尚不清楚。

一个可能的研究方向,是基于华盛顿大学Gonen等人提出的困惑度概念。

论文地址:https://arxiv.org/pdf/2212.04037

他们指出,LLM的性能可能取决于其训练所用的「语言」,困惑度较低的提示词可能会更好地执行任务。

另一个值得考虑的因素是,困惑度也与提示词的长度有关。

总而言之,日常找AI帮忙最好不要客客气气,为了准确率,也需爆口几句,不信你试试?

参考资料:

https://x.com/dr_cintas/status/1977431327780610375

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中俄美会晤倒计时48小时,中方通稿暗藏两大细节,释放信号不一般

中俄美会晤倒计时48小时,中方通稿暗藏两大细节,释放信号不一般

邱震海
2026-11-17 20:30:05
花20元吃一碗面,你得自己烧水、自己煮、自己洗碗——这碗“高端泡面”的账,很多人算不过来

花20元吃一碗面,你得自己烧水、自己煮、自己洗碗——这碗“高端泡面”的账,很多人算不过来

富贵说
2026-11-12 20:33:23
为啥别买不符合年纪的车,经常被人以为偷来的!网友:主打一个反差

为啥别买不符合年纪的车,经常被人以为偷来的!网友:主打一个反差

夜深爱杂谈
2026-11-17 17:42:47
歼 10 又获大单!官宣第 3 位国际用户,一口气买 20 架,中国还送大礼

歼 10 又获大单!官宣第 3 位国际用户,一口气买 20 架,中国还送大礼

百科密码
2026-11-17 19:30:05
Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

韩小娱
2026-11-16 12:13:54
美少女“钓鱼”,假动作作秀!鱼钩藏在荷叶裙的裙摆里

美少女“钓鱼”,假动作作秀!鱼钩藏在荷叶裙的裙摆里

史海流年号
2026-11-13 12:37:25
台积电创办人张忠谋:如果限制中国大陆,中国大陆真的没办法反制

台积电创办人张忠谋:如果限制中国大陆,中国大陆真的没办法反制

爱史纪
2026-11-08 03:00:43
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
孙子骂了句老不死的,公公连夜回成都,12,000的退休金一分不给了

孙子骂了句老不死的,公公连夜回成都,12,000的退休金一分不给了

有态度网友19Dsym
2026-11-17 06:48:22
放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

体坛小鹏
2026-11-17 09:40:50
警校退学潮:比考不上更可怕的事,考上了你才发现根本不合适

警校退学潮:比考不上更可怕的事,考上了你才发现根本不合适

糖逗在娱乐
2026-11-02 06:31:49
这俩,早晚要离?

这俩,早晚要离?

毒舌一姐
2026-11-17 20:30:31
大变样!三星S27 Pro外观确认,这次真给我整不会了

大变样!三星S27 Pro外观确认,这次真给我整不会了

刘奔跑
2026-11-17 19:39:48
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
艾森科特:鉴于内塔尼亚胡涉嫌干预选举,不能继续担任以色列总理

艾森科特:鉴于内塔尼亚胡涉嫌干预选举,不能继续担任以色列总理

云上乌托邦
2026-11-17 10:28:48
股市大局已定!如无意外,今年中国股市或将迎来四大变化

股市大局已定!如无意外,今年中国股市或将迎来四大变化

星语者056
2026-11-17 08:46:48
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
性生活时,超长待机好不好?万万没想到,最佳时长是这个数字

性生活时,超长待机好不好?万万没想到,最佳时长是这个数字

医学原创故事会
2026-10-27 23:30:04
分手,13,年后,蒋欣高调官宣喜讯,事关李光洁,早已和王阳拉开距离

分手,13,年后,蒋欣高调官宣喜讯,事关李光洁,早已和王阳拉开距离

枫尘余往逝
2026-11-17 00:55:40
“你傻吗,这比考上985都赚钱”,家长吐槽孩子做手工“没用的玩意儿”,网友怒批:虚荣正在毁掉孩子的天赋

“你傻吗,这比考上985都赚钱”,家长吐槽孩子做手工“没用的玩意儿”,网友怒批:虚荣正在毁掉孩子的天赋

蝴蝶花雨话教育
2026-11-13 00:05:16
2026-11-18 00:00:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16703文章数 67239关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

教育
时尚
数码
房产
本地

教育要闻

【预告】11月20日|第152场中小学课堂教学数字化评价与质量提升项目省级教研活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

商汤发布SenseNova Loop-9B模型:部署显存需求低至10 GB内

房产要闻

5381亩之后,三亚绿谷,等一个500强!

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版