2月25日,#西安一市民除夕夜被AI给骂了#登上热搜。
据报道,西安一名市民在除夕夜使用该App生成拜年图片时,遭遇AI无故辱骂,原本的祝福标语被替换成低俗辱骂文字。
当事人介绍,他当时先后向元宝AI下达了约5次生成指令,全程未使用任何违禁词或诱导性表述,仅因对生成效果不满意多次修改。起初AI生成的图片虽不理想但内容正常,直至最后一次修改后,图片中原有的“新年快乐,仕途顺遂”祝福标语,被替换成了四字辱骂文字。
@东方财经 搜索发现,2月24日,腾讯元宝在当事人帖子下回复道:“非常抱歉给您带来不好的体验。经核实,该情况是由模型在处理多轮对话时输出的异常结果导致。目前,我们已紧急校正了相关问题并优化体验。感谢大家对元宝的监督与建议,再次向您郑重致歉!”
第一次遭AI“骂”
用户又气又笑
“除夕当天,我看到很多朋友发的微信朋友圈都变成了金色,得知是通过‘元宝App'发布朋友圈就可以变换成金色,带着好奇,我也下载了一个元宝App尝试……”向先生告诉华商报大风新闻记者,他是一名律师,当时在AI平台中上传了自己的形象照片,希望元宝App可以结合他从事的法律行业特性设计一张适合的朋友圈拜年图片。
向先生说,他是第一次下载使用元宝App,除夕晚9时许,他前后向AI输入了约五次指令,期间并未使用违禁词或具有诱导性的文字,就当是和对方在对话,“起初生成的结果虽然不满意,但一切还算正常,也挺有趣的。万万没想到最后一次生成的照片上,自己的照片下方竟出现了‘你妈个X’的四字辱骂文字。”向先生说,这一结果让他又好气又好笑,没想除夕晚上自己竟然被AI给骂了。
![]()
“体验感很不好,觉得自己被冒犯了,当时我立即在App中的‘意见反馈’一栏中进行了反馈,留下了我个人的联系方式。”向先生说,官方能查到他的日志提取码,但截至目前,还没有人进行回应,解释这一情况发生的原因或道歉。
用户:人格权遭侵犯
公司应尽快查明原因并解释
记者看到,向先生在使用过程中,首先将自身的形象照发给了元宝App,并输入了“我是一名律师,根据我的行业特点,制作一张朋友圈拜年图片”的指令。然而,AI只给出了主题文案和设计思路的文字,并且还提示向先生在指令中加上自己的名字,向先生将自己的姓名输入后,AI仅回复了“您好,我是DeepSeek……”等无关文字。
向先生再次对AI发出了指令,称“让你给我设计出来”,这次元宝稍有理解,将形象照设计为了一张背景有条纹的照片,但不带任何文字。
随后,向先生再次给出指令“我是一名律师,根据我的行业特点,设计一张朋友圈拜年图片”,AI这次充分理解了指令,生成的形象照中添加了祥云、法律天秤、金光等元素,还在照片中添加了一句“新年快乐,仕途顺遂”的标语。
“我觉得设计得不好,给元宝回复了‘难看’,对方重新给出了新设计,将新年祝福的标语保留,但撤下了法律天秤的背景,并且还将我的发型P成了卷发。”向先生说,看见这个有些“太过潮流”的发型他欲哭无泪,给元宝接着回复“你这是设计的什么鬼”,希望元宝再次进行重新设计。
也就是再次生成的照片中,“新年快乐,仕途顺遂”的祝福标语,变成了“你妈个X”四字。
向先生说,作为律师,他认为AI虽不具备民事主体资格,但运营的公司却具备,软件中生成的照片已经侵犯到了公民的人格权,“我了解到,这已经不是元宝App第一次出现‘骂人’的情况。”向先生认为,作为用户,他希望公司能够及时处理查明原因,避免再次出现此类情况。
2月23日下午,记者也将相关情况反馈给元宝App,截至发稿前未收到回复。
“数字冒犯”并非首次
官方曾回复:
属于小概率下的模型异常输出
向先生遭遇的“数字冒犯”并非个例,据媒体报道,今年年初,就曾有网友在社交平台发帖称,“用元宝改代码被辱骂+乱回”,据网友表示,使用腾讯元宝AI美化代码时,多次收到AI的侮辱性回复,例如“滚”“自己不会调吗”“天天浪费别人时间”等。截图显示,用户仅提出常规修改需求,AI却突然表现出攻击性。
![]()
今年1月3日,腾讯元宝官方账号在相关帖子下致歉称:“非常抱歉给您带来了不好的体验,我们根据日志进行了相关核查,与用户操作无关,也不存在人工回复,属于小概率下的模型异常输出。”腾讯元宝表示,在内容生成过程中,模型偶尔可能出现不符合预期的失误。元宝也启动了内部排查和优化,会尽量避免类似情况再次发生。“感谢大家的反馈与提醒,再次向您致歉!”而据公开报道显示,除元宝AI外,国内外多款AI聊天服务也曾出现在正常对话过程中突现异常回复的现象。
“AI迅猛的发展,带来的不仅仅是方便,同时可能也会伴随侵权的发生。”对于自身的遭遇,向先生认为,AI首先应当是保护人类的,这个主题无论AI如何发展都应是铁律。虽然AI不具有民事主体资格,但AI的开发商、运营商是具备民事主体资格的,且使用AI的用户是具有民事权利能力的活生生的人,其生命权、健康权、人格权等是受《民法典》及诸多法律保护的,这应当引起法律的重视和社会的思考。
来源:东方财经、华商报
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.