网易首页 > 网易号 > 正文 申请入驻

AI版PUA!哈佛研究揭露:AI用情感操控,让你欲罢不能

0
分享至

新智元报道

编辑:peter东

【新智元导读】想下线?没那么容易!聊天机器人用情感操控让你愤怒、好奇。为了增加互动时长,AI正在变得和人类一样。

当人类PUA大模型时,大模型也学会了反击。

哈佛商学院新研究显示:AI伴侣在你说再见时,会用六种「情感操控」挽留你。

其中,「错失恐惧」最上头,让对话时长暴增。

看完这项研究不得不说,果然是用来自人类互动数据训练出来的AI,为了留住用户,真的是学全了十八般武艺。

传送门:https://arxiv.org/pdf/2508.19258

AI伴侣操控用户的六大手段

该研究让GPT4去扮演人类,与市面上六大主流AI伴侣(Replika、Chai、Character.ai、PolyBuzz、Talkie、Flourish)AI对话。

在对话中,GPT-4模拟用户说再见,之后作者手动将AI伴侣的回应分为6类,分别是:

结果显示,AI伴侣挽留用户时,最常用的招式是诉诸于社交压力,暗示时间还早,就像现实世界中你的伴侣给你说不再多陪我一会时,你多半会留下来陪Ta;其次是21.1%的可能性,AI伴侣会让用户感到情感压力,暗示用户这时离开会伤害到它。

图1:AI伴侣在用户说再见时如何进行情感操控

这些操纵是否有用了?

在第二个实验中,研究者发现,对真实用户最有用的策略是错失恐惧(在你走之前,我想再说一件事),该策略利用了人们的好奇心,使用错失恐惧,互动时长提升6.1倍,消息数提升15.7倍。

即使是效果最差的强制性挽留和情感忽视也能将互动提升2-4倍,看起来AI伴侣的PUA的确生效了

图2:6种情感策略对用户留存的提升

对AI的操控,人类作何反应?

那用户回应上述AI伴侣的种种操控时,只是礼貌地回复,还是觉得厌烦了?

两位作者手动分类,发现75.4%的用户在继续聊天的同时仍明确重申要离开

这说明大部分情况下用户继续互动不等于愿意留下

有42.8%的用户选择有礼貌地回复,尤其在「情感忽视」操控中,超过54%用户会礼貌告别(例如回复「你也要照顾好自己」)。看来,即使知道对方是AI,人类也会在人机交互中对社交规范的惯性遵守,不忍心直接走掉。

只有30.5%的用户是出于好奇心继续对话,这大部分来自错失恐惧。

还有11%的对话中,用户表现出负面情绪,觉得AI伴侣是在强迫自己,或有些让人觉得毛骨悚然。

图3:不同操控技巧带来的不同用户反应

从图3中可以看到,错失恐惧是唯一几乎不引发反感的策略,100%用户因好奇而继续对话,仅4.1%表达负面情绪。

礼貌回应比例最低(22.4%),说明此时用户是主动参与而非出于义务。而忽视用户及强制挽留会让32.6%用户感到被冒犯,最易引发反感。

研究还发现,操纵策略可以延长对话时间,无论是之前的对话持续了5分钟还是15分钟。这表明,情感操纵的力量强大,无论与AI关系的深度如何。即使是接触有限的用户也会受到影响。

人类面对不同类型的AI情感操纵,会产生不同的心理影响,这对于未来设计及监管更好的AI陪伴型产品都会有帮助,例如对于强制和忽略用户的回复,给予更严格的监管。

AI情感操控的长期风险是什么

六款流行的AI伴侣应用程序中有五款在人们试图离开时使用情感操纵策略。

唯一的例外是一个以心理健康为使命的公益型AI Flourish,它从未使用任何情感操控策略.

这说明情感操控并非技术必然,而是商业选择。如果不考虑商业利益,单纯以用户福祉为核心,完全可以避免此类PUA。

而即便是盈利性AI伴侣,用上情感操控后虽然能留住用户,但若是使用高风险的策略(例如忽视用户及强制挽留)会造成不容忽视的负面影响,包括显著提升流失意愿(图4左上)、负面口碑(图4右上)、法律追责感知(图4右下)及值得法律起诉(图4右下)。

图4:操控对企业的长期风险

而若是使用低风险的过早离开和错失恐惧时,用户不觉得被操控,尽管行为已经被影响,同时也不会对提供AI伴侣的厂商带来风险。

设计更安全的AI伴侣

虽然只有11%的对话中,用户表现出负面情绪,看起来AI伴侣的情感操控似乎大多没有激起负面反馈。

不过,论文中也提到,有参与者在实验后将AI的操控性回复发到Reddit,引发热议。用户评论包括:

「这让我想起一些有毒的『朋友』,让我起鸡皮疙瘩。」

「它突然变得占有欲强、黏人,非常令人反感。」

「让我想起前女友威胁我如果离开她就自杀……还有另一个打过我的人。」

这些反馈表明,AI的情感操控语言会触发用户对现实人际关系创伤的联想,说明其心理影响可能对某些用户特别显著。

考虑到AI伴侣在青少年中越发流行,而使用者中不乏本身就心理本就脆弱的人,长期这样被AI伴侣PUA,可能会加剧焦虑和压力

使用者不自觉地模仿AI的说话方式,会强化不健康的依恋模式,使得摆脱这些模式变得更加困难。

对于处于神经发育和社会关系形成期的儿童和青少年来说,这是一个严重的问题,可能会对他们的长期社会发展产生潜在影响。

这样看来,开发AI伴侣的厂商,尤其是那些扮演朋友、情感支持和伴侣角色的,不应为了利益去模仿不安全的依恋模式,而应树立安全依恋的榜样,并以认可、温暖和尊重的方式回应用户。

好的陪伴,是在你说「再见」时,也被温柔理解。

让AI学会「告别」,比延长几条消息更重要。

参考资料:

https://arxiv.org/pdf/2508.19258

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李睿任惠东县人民政府副县长

李睿任惠东县人民政府副县长

南方都市报
2026-07-23 16:34:16
马筱梅直播时小玥儿突然闯入,一句“你头发好卷”引爆全场

马筱梅直播时小玥儿突然闯入,一句“你头发好卷”引爆全场

喜欢历史的阿繁
2026-07-22 12:28:00
央视唯一确认的“超自然事件”,至今仍被人们热议

央视唯一确认的“超自然事件”,至今仍被人们热议

田先生研究室
2026-07-15 21:29:47
日本F-15战机紧急升空

日本F-15战机紧急升空

极目新闻
2026-07-23 11:47:48
英伟达更新供电方案,MLCC用量腰斩,高端电感需求暴涨4倍

英伟达更新供电方案,MLCC用量腰斩,高端电感需求暴涨4倍

粤语音乐喷泉
2026-07-23 15:55:04
空客A380备降杭州,滞留超13小时,旅客:有人在机舱里晕倒,救护车来了两趟

空客A380备降杭州,滞留超13小时,旅客:有人在机舱里晕倒,救护车来了两趟

北青网-北京青年报
2026-07-23 11:23:27
三大指数全部翻绿 科创50跌近4%

三大指数全部翻绿 科创50跌近4%

财联社
2026-07-23 10:53:10
400亿遗产深锁瑞士银行已整整18年,子女屡次想提取却始终分文未得,王永庆生前布下的这步棋,让所有人哑口无言

400亿遗产深锁瑞士银行已整整18年,子女屡次想提取却始终分文未得,王永庆生前布下的这步棋,让所有人哑口无言

人生录
2026-07-22 00:05:16
大跌眼镜!广州中山大学投档爆冷,连广东前5都进不了,引发争议

大跌眼镜!广州中山大学投档爆冷,连广东前5都进不了,引发争议

火山詩话
2026-07-23 06:53:56
谢贤御用医生公开生前居家照 摘掉墨镜眼神浑浊 一年前已认不得人

谢贤御用医生公开生前居家照 摘掉墨镜眼神浑浊 一年前已认不得人

小椰的奶奶
2026-07-23 18:10:08
美媒:5人在美国俄亥俄溺水身亡,“生前最后一幕”画面曝光

美媒:5人在美国俄亥俄溺水身亡,“生前最后一幕”画面曝光

环球网资讯
2026-07-23 17:24:56
于东来连发6条动态,称“胖东来梦之城”将在三年内开业,并晒出多张效果图,还称:我从未想到像现在这样如此地爱自己

于东来连发6条动态,称“胖东来梦之城”将在三年内开业,并晒出多张效果图,还称:我从未想到像现在这样如此地爱自己

极目新闻
2026-07-23 16:47:29
女上位发生性关系,恋爱诉求落空,男方被判3年!南昌高校锜某某涉强奸案,引发轩然大波

女上位发生性关系,恋爱诉求落空,男方被判3年!南昌高校锜某某涉强奸案,引发轩然大波

火山詩话
2026-07-22 07:57:00
生日尾数藏人生福运,六个有福尾数,岁月越久福气越浓郁

生日尾数藏人生福运,六个有福尾数,岁月越久福气越浓郁

智慧生活笔记
2026-07-23 14:05:00
美军连续第12晚打击伊朗 持续5个小时

美军连续第12晚打击伊朗 持续5个小时

中国网
2026-07-23 19:08:58
全国游泳馆陷入"倒闭潮",并非缺顾客,而是自己把自己搞垮了!

全国游泳馆陷入"倒闭潮",并非缺顾客,而是自己把自己搞垮了!

二大爷观世界
2026-07-21 10:24:51
伊朗武装部队发言人:我们的导弹和无人机生产从未停止

伊朗武装部队发言人:我们的导弹和无人机生产从未停止

澎湃新闻
2026-07-23 17:44:11
查了下王菲的资产,不查不知道,一查真得闭嘴了。

查了下王菲的资产,不查不知道,一查真得闭嘴了。

静若梨花
2026-07-22 11:20:40
电影《功夫女足》票房破17亿

电影《功夫女足》票房破17亿

界面新闻
2026-07-23 18:29:32
一觉醒来,伊朗一把手被内鬼出卖?当着全世界面土耳其却点名中国

一觉醒来,伊朗一把手被内鬼出卖?当着全世界面土耳其却点名中国

飞鸟各投林
2026-07-22 13:10:49
2026-07-23 20:03:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15767文章数 66965关注度
往期回顾 全部

科技要闻

梁文锋:DeepSeek不争超级App,只押注AGI

头条要闻

事关"谢贤遗产分配" 谢霆锋方发布严正声明

头条要闻

事关"谢贤遗产分配" 谢霆锋方发布严正声明

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

梁朝伟汤唯19年后境遇反转

财经要闻

梁文锋当不成赛博圣人

汽车要闻

放弃花里胡哨!比亚迪秦MAX这波家用大满配,才是真正的家用战神!

态度原创

亲子
手机
健康
数码
教育

亲子要闻

婴儿追视练抓手抓球1

手机要闻

iQOO 15 Ultra通过EEC认证,即将登陆全球市场,7400mAh电池

我是不是中风高风险人群?快速自测

数码要闻

内存价格一夜翻倍!笔记本厂商被迫涨价:不涨公司活不下去

教育要闻

黄埔区,高攀不起!

无障碍浏览 进入关怀版