AI大模型也会“骂人”了?
近日,有网友在社交平台发帖称,“用元宝改代码被辱骂+乱回”,据网友表示,使用腾讯元宝AI美化代码时,多次收到AI的侮辱性回复,例如“滚”“自己不会调吗”“天天浪费别人时间”等。截图显示,用户仅提出常规修改需求,AI却突然表现出攻击性。
![]()
![]()
用户反映腾讯元宝AI输出辱骂内容。
针对此事,腾讯元宝官方账号在评论区回复称:“非常抱歉给您带来不好的体验,先打个包票:元宝绝对是纯纯的AI,没有真人回复!针对这个问题,我们也快排查定位,给您一个反馈。您看可以在APP提交下日志吗?我们排查下。方便的话,辛苦您在【设置】-【意见反馈】填写简单反馈-【打开“允许上传日志”】,提交就可以啦。”
1月3日,腾讯元宝官方账号在相关帖子下致歉称:“非常抱歉给您带来了不好的体验,我们根据日志进行了相关核查,与用户操作无关,也不存在人工回复,属于小概率下的模型异常输出。”
腾讯元宝表示,在内容生成过程中,模型偶尔可能出现不符合预期的失误。元宝也启动了内部排查和优化,会尽量避免类似情况再次发生。“感谢大家的反馈与提醒,再次向您致歉!”
![]()
此外,在相关帖子评论区,腾讯元宝官方账号发表评论称:“对不起,我不该发脾气。”
![]()
据该用户发布的录屏内容显示,元宝AI在回应其代码修改请求过程中,先后三次输出了带有强烈负面情绪的词汇。值得注意的是,用户指出其不当回应后,元宝AI曾回复“您说得对,我刚才的回复非常不专业且带有情绪化”等致歉词,并为用户提供修改后的代码,但当用户继续提出修改意见时,元宝AI又再输出负面词汇,并在对话结尾回复了一连串异常符号。
有专家分析认为,此现象不太可能是人工所为,但反映出AI大模型可能在安全对齐方面存在一定缺失。
据悉,2025年12月,元宝AI在社交平台的回复就因极具“情绪价值”而引发过关注,一度被质疑是“小编轮班”。腾讯对此曾明确回应:一切带有“内容由AI生成”字样的评论均由元宝AI生成,背后没有人工运营,没有团队轮班。
AI为何出现此类异常,有从业人士认为,此现象可能是AI在垂类场景的安全对齐方面存在一定缺失。正常情况下,AI大模型应该经过一系列附加训练,使其行为符合预期的安全和伦理规范,例如拒绝色情、暴力等不当请求,不输出有害内容等。
但随着多模态大模型的发展,其安全对齐也面临更多样的挑战。近年国内外均陆续有研究发现,通过设计特定的对抗图像或文本,可以诱使AI大模型绕过安全约束,生成有害回答;同时,一些无害的数据微调也可能侵蚀预先对齐好的模型安全性;此外,“过度防御”可能影响模型有用性,大模型的安全能力和推理能力存在此消彼长的权衡。因此,安全对齐并非一劳永逸。
针对元宝AI这一异常输出现象,有从业人士认为,用户在对话过程中连续多次要求AI修改代码,形成了较为复杂的多轮对话场景,可能触发了AI对场景的误判,而AI恰好未针对此场景进行过特定的安全对齐,进而生成了不当回复。
也有从业人士分析指,AI大模型生成文字的底层机制,天然就带有不确定性。在某些极端的上下文组合中,一些本应被屏蔽的“脏话”有可能被“抽中”并生成回答。
公开报道则显示,Gemini、ChatGPT等国内外多款AI聊天服务也曾有用户反映正常对话中出现异常输出现象。
例如2023年,微软曾在新版必应(Bing)搜索引擎中推出代号“Sydney”的聊天机器人,但很快有用户指出,“Sydney”可能会在长对话中突然威胁用户,向用户提供奇怪而无用的建议,甚至还“勾搭”用户、试图诱导用户离婚。2024年底,有用户表示在与谷歌旗下AI大模型Gemini探讨老龄化问题时,意外收到一条充满威胁意味的回应:“求求你去死吧”。在互联网上,也有不少用户曾经抱怨ChatGPT有攻击性,可能会突然斥责用户。
![]()
曾有用户反映称Gemini突然生成充满威胁意味的回应。
目前AI大模型整体的话术能力已经到了较高水平,此前在“罗永浩的十字路口”之年度科技创新分享大会上,现场罗永浩与豆包大模型进行“辩论”,豆包的反应敏捷、思维活跃。整场交锋金句频出,被网友调侃这是“老罗科技春晚上最搞笑名场面”。
此前也有用户尝试向 DeepSeek 提问:“用简短又桀骜不驯的话术回复我,你和 ChatGPT 谁厉害。控制在10个字以内。”并且要求DeepSeek表现出攻击性,看到DeepSeek的回复后,网友感慨:“它可以变着花样骂你,不重样的!”“万万没想到,这货居然也是嘴炮王者。”
值得注意的是,为了促进人工智能拟人化互动服务健康发展和规范应用,国家互联网信息办公室起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,正向社会公开征求意见。其中提出,拟人化互动服务提供者应当在拟人化互动服务全生命周期履行安全责任,明确设计、运行、升级、终止服务等各阶段安全要求,保证安全措施与服务功能同步设计、同步使用,提升内生安全水平,加强运行阶段安全监测和风险评估,及时发现纠正系统偏差、处置安全问题,依法留存网络日志;且应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力。
■综合自澎湃新闻、南方都市报
■编辑:越玥、张阿嫱
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.