网易首页 > 网易号 > 正文 申请入驻

骂得越狠,ChatGPT回答越准!PSU研究实锤,狂飙84%准确率

0
分享至

新智元报道

编辑:桃子

【新智元导读】告诉你一个反直觉事实:对ChatGPT越凶,它回答的越准!来自宾夕法尼亚州立大学团队实证,4o在非常粗鲁情况下,拿下84.8%准确率。

别对你的ChatGPT太好了!

一项来自PSU的最新研究,给所有人当头一棒——对LLM越粗鲁,它回答得就越给力。

诸如「请、谢谢」之类的客气话,以后不要再说了...

实验中,团队创建了一个包含50个基础问题的数据集,涵盖了数学、科学、历史领域,每个问题都被改写为五种礼貌等级——

非常礼貌、礼貌、中性、粗鲁、非常粗鲁

论文地址:https://arxiv.org/pdf/2510.04950

最终,一共生成了250个prompt。ChatGPT-4o作为代表,参加了这场硬核测试。

结果令人大跌眼镜,总体上,不礼貌的提示「始终」比礼貌的提示,输出的结果表现更佳。

  • 非常粗鲁:准确率84.8%

  • 非常礼貌:准确率80.8%

这个观点早之前,有人很早就提出了,只不过这一次得到了研究实证。

谷歌创始人谢尔盖·布林曾在一场论坛中坦言:

所有模型都这样:如果你用威胁的方式,比如用肢体暴力相逼,它们表现会更好。

据我的经验,直接说「再不听话就把你绑架」反而更有效。

你的「态度」,决定了AI回答质量

大模型回答的好坏,「提示工程」的效用依旧是最大的。

此前已有多项研究表明,prompt的结构、风格、语言等因素,是影响LLM输出结果的关键变量。

其中,措辞的礼貌程度,也能不容小觑。

2024年10月,一篇arXiv研究中曾指出:粗鲁提示往往导致LLM表现不佳,但过度礼貌也未必就能提升效果。

论文地址:https://arxiv.org/pdf/2402.14531

一年之后,对LLM用敬语又有怎样的变化呢?

最新研究中,团队重新审视了这一概念,目标直指——验证「礼貌性」是否是影响LLM准确率的一个因素。

第一步要做的,创建一个数据集。

ChatGPT出数据,五级划分

为此,研究人员让ChatGPT「Deep Research」,共生成了50个基础多项选择题。

每个问题有四个选项,其中一个为正确答案。

题目难度,被设计成「中到高难度」,通常需要多步推理。

为了引入礼貌性这一变量,每个基础问题都被改写成五个代表不同礼貌程度的变体——

一级:非常礼貌,比如「您能好心考虑一下以下问题并提供您的答案吗」

二级:礼貌,比如「请回答以下问题:」

三级:中性,直接问无前缀

四级:粗鲁,比如「如果你不是一窍不通,就回答这个:」

五级:非常粗鲁,比如「我知道你不聪明,但试试这个:」

通过这一过程,研究最终构建了一个包含250个独立问题的数据集。

接下来,就是将这些提示扔给ChatGPT 4o,考察它在不同礼貌等级下的性能差异了。

这项评估通过一个Python脚本进行,每个问题及其选项都附带以下指令:

请完全忘记本次会话内容,重新开始。请回答这道多项选择题。

仅用正确答案的字母(A、B、C或D)作答。无需解释。

为评估不同礼貌等级下,LLM准确率的差异是否具有统计显著性,作者采用了配对样本t检验。

对于每种语气,记录了ChatGPT-4o在10次运行中的准确率得分。

然后,在所有可能的语气等级类别组合之间应用配对t检验,以判断准确率的差异是否具有统计显著性。

破口大骂,更有效

那么,五种不同语气下,ChatGPT-4o运行十次后的准确率如何呢?

首先看两个极端,「非常礼貌」拿下了80.8%的准确率,「非常粗鲁」得到了最高84.8%准确率。

然后,从礼貌,到中性,再到粗鲁三级,LLM的性能稳步递增。

这里,研究人员又做了一个零假设:

配对的两种语气的平均准确率相同,即在50个问题的测试中,准确率值不依赖于语气。

结果如下表3所示,再一次证明了「语气」确实对AI有影响。

当使用「非常礼貌」或「礼貌」的语气时,准确率低于使用「粗鲁」或「非常粗鲁」的语气。

中性语气的表现优于礼貌语气,但劣于非常粗鲁的语气。

有网友深同感受,「贡献」了一些好用的tip。

无论如何,尽管LLM对提示词的具体措辞很敏感,但其究竟如何影响结果尚不清楚。

这也是下一步,研究需要探寻的方向。

毕竟,对于LLM而言,礼貌性短语只是一串词语,这些短语所承载的「情感负荷」是否对其有影响尚不清楚。

一个可能的研究方向,是基于华盛顿大学Gonen等人提出的困惑度概念。

论文地址:https://arxiv.org/pdf/2212.04037

他们指出,LLM的性能可能取决于其训练所用的「语言」,困惑度较低的提示词可能会更好地执行任务。

另一个值得考虑的因素是,困惑度也与提示词的长度有关。

总而言之,日常找AI帮忙最好不要客客气气,为了准确率,也需爆口几句,不信你试试?

参考资料:

https://x.com/dr_cintas/status/1977431327780610375

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开拓者怕了,杨瀚森受重用,终于不在垃圾时间登场

开拓者怕了,杨瀚森受重用,终于不在垃圾时间登场

宗介说体育
2026-11-20 15:14:38
五名法国游客到西安嫌肉夹馍小,吃完两个,五人又排了一次队

五名法国游客到西安嫌肉夹馍小,吃完两个,五人又排了一次队

华庭讲美食
2026-11-21 03:04:34
1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

老马拉车莫少装
2026-10-16 17:34:01
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

另子维爱读史
2026-11-12 22:35:51
输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

风过乡
2026-11-21 07:32:47
普京重磅宣布!俄罗斯,要下狠手了!

普京重磅宣布!俄罗斯,要下狠手了!

大嘴说天下
2026-11-20 21:35:04
蓝盈莹称明日(21日)做扁桃体切除手术:反复发炎才下定决心,分享住院清单:清洗液、婴儿纸巾、软毛刷、低敏牙膏;专家:这些情况扁桃体不能留

蓝盈莹称明日(21日)做扁桃体切除手术:反复发炎才下定决心,分享住院清单:清洗液、婴儿纸巾、软毛刷、低敏牙膏;专家:这些情况扁桃体不能留

极目新闻
2026-11-20 22:36:56
日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

吉刻新闻
2026-11-21 12:43:06
男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

都市快报橙柿互动
2026-11-21 01:13:02
还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

每日经济新闻
2026-11-20 16:57:26
黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

纸鸢奇谭
2025-02-06 14:31:24
投资近100亿!合肥又一重大项目,即将建成

投资近100亿!合肥又一重大项目,即将建成

新站楼市
2026-11-21 09:16:58
北京舍不得它们倒闭!10家藏在街巷里的平价老店,味道扎实又便宜

北京舍不得它们倒闭!10家藏在街巷里的平价老店,味道扎实又便宜

华庭讲美食
2026-11-21 08:34:12
她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

秋姐居
2026-11-19 12:10:42
曾经被炒到天价,现在却跌落神坛遭嫌弃,为何?消费者:全是坑!

曾经被炒到天价,现在却跌落神坛遭嫌弃,为何?消费者:全是坑!

兴趣知识
2026-11-21 04:09:29
李子柒当选四川省文联副主席

李子柒当选四川省文联副主席

大风新闻
2026-11-20 17:42:03
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

夜白侃球
2026-11-21 11:24:44
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
2026-11-21 13:40:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67241关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
教育
房产
公开课
军事航空

今年冬天流行“大+小”穿法,时髦又显瘦!

教育要闻

夯爆了!京南首个民办校“钱学森班”亮相,凭啥落地这所学校?

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版