让AI生成拜年图，结果出现辱骂文字，市民：没想除夕晚上被AI骂了

除夕夜，本是阖家团圆的温馨时刻，西安市民向先生却遭遇了一场由AI带来的“数字冒犯”——本是希望借助AI生成一张结合自身职业特性的拜年图片发朋友圈，然而在修改多次后，AI生成的图片中却赫然出现“你妈个X”四个字……

第一次遭AI“骂”
用户又气又笑

“除夕当天，我看到很多朋友发的微信朋友圈都变成了金色，得知是通过‘元宝App'发布朋友圈就可以变换成金色，带着好奇，我也下载了一个元宝App尝试……”向先生告诉相关媒体，他是一名律师，当时在AI平台中上传了自己的形象照片，希望元宝App可以结合他从事的法律行业特性设计一张适合的朋友圈拜年图片。

向先生说，他是第一次下载使用元宝App，除夕晚9时许，他前后向AI输入了约五次指令，期间并未使用违禁词或具有诱导性的文字，就当是和对方在对话，“起初生成的结果虽然不满意，但一切还算正常，也挺有趣的。万万没想到最后一次生成的照片上，自己的照片下方竟出现了‘你妈个X’的四字辱骂文字。”向先生说，这一结果让他又好气又好笑，没想除夕晚上自己竟然被AI给骂了。

“体验感很不好，觉得自己被冒犯了，当时我立即在App中的‘意见反馈’一栏中进行了反馈，留下了我个人的联系方式。”向先生说，官方能查到他的日志提取码，但截至目前，还没有人进行回应，解释这一情况发生的原因或道歉。

用户：人格权遭侵犯
公司应尽快查明原因并解释

记者看到，向先生在使用过程中，首先将自身的形象照发给了元宝App，并输入了“我是一名律师，根据我的行业特点，制作一张朋友圈拜年图片”的指令。然而，AI只给出了主题文案和设计思路的文字，并且还提示向先生在指令中加上自己的名字，向先生将自己的姓名输入后，AI仅回复了“您好，我是DeepSeek……”等无关文字。

向先生再次对AI发出了指令，称“让你给我设计出来”，这次元宝稍有理解，将形象照设计为了一张背景有条纹的照片，但不带任何文字。

随后，向先生再次给出指令“我是一名律师，根据我的行业特点，设计一张朋友圈拜年图片”，AI这次充分理解了指令，生成的形象照中添加了祥云、法律天秤、金光等元素，还在照片中添加了一句“新年快乐，仕途顺遂”的标语。

“我觉得设计得不好，给元宝回复了‘难看’，对方重新给出了新设计，将新年祝福的标语保留，但撤下了法律天秤的背景，并且还将我的发型P成了卷发。”向先生说，看见这个有些“太过潮流”的发型他欲哭无泪，给元宝接着回复“你这是设计的什么鬼”，希望元宝再次进行重新设计。

也就是再次生成的照片中，“新年快乐，仕途顺遂”的祝福标语，变成了“你妈个X”四字。

向先生说，作为律师，他认为AI虽不具备民事主体资格，但运营的公司却具备，软件中生成的照片已经侵犯到了公民的人格权，“我了解到，这已经不是元宝App第一次出现‘骂人’的情况。”向先生认为，作为用户，他希望公司能够及时处理查明原因，避免再次出现此类情况。

2月23日下午，记者也将相关情况反馈给元宝App，截至发稿前未收到回复。

“数字冒犯”并非首次
官方曾回复：

属于小概率下的模型异常输出

向先生遭遇的“数字冒犯”并非个例，据媒体报道，今年年初，就曾有网友在社交平台发帖称，“用元宝改代码被辱骂+乱回”，据网友表示，使用腾讯元宝AI美化代码时，多次收到AI的侮辱性回复，例如“滚”“自己不会调吗”“天天浪费别人时间”等。截图显示，用户仅提出常规修改需求，AI却突然表现出攻击性。

今年1月3日，腾讯元宝官方账号在相关帖子下致歉称：“非常抱歉给您带来了不好的体验，我们根据日志进行了相关核查，与用户操作无关，也不存在人工回复，属于小概率下的模型异常输出。”腾讯元宝表示，在内容生成过程中，模型偶尔可能出现不符合预期的失误。元宝也启动了内部排查和优化，会尽量避免类似情况再次发生。“感谢大家的反馈与提醒，再次向您致歉！”而据公开报道显示，除元宝AI外，国内外多款AI聊天服务也曾出现在正常对话过程中突现异常回复的现象。

“AI迅猛的发展，带来的不仅仅是方便，同时可能也会伴随侵权的发生。”对于自身的遭遇，向先生认为，AI首先应当是保护人类的，这个主题无论AI如何发展都应是铁律。虽然AI不具有民事主体资格，但AI的开发商、运营商是具备民事主体资格的，且使用AI的用户是具有民事权利能力的活生生的人，其生命权、健康权、人格权等是受《民法典》及诸多法律保护的，这应当引起法律的重视和社会的思考。

律师说法
构成对人格尊严的直接侵害

华商报《法治周刊》专家库成员、陕西丰瑞律师事务所高级合伙人朱长江律师认为，AI骂人是一种因服务缺陷导致的即时性精神损害，AI生成辱骂性内容，不能简单类比为人与人之间的口角，而应将其界定为网络服务提供者因其提供的产品（服务）存在缺陷，而对用户造成的即时性、非物理性的人格权侵害。

首先，从侵害客体来看，这直接侵犯了用户的多重人格权。根据《民法典》第九百九十条，人格权是民事主体享有的生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权等权利。在本案中，AI将“你妈个X”这种带有强烈侮辱性、贬损性的词汇，与向先生的肖像结合生成图片。这一行为侵害了向先生的名誉权，虽然该图片尚未公开传播，但其生成行为本身是对用户个人尊严的一种直接侮辱；侵害了向先生的肖像权，《民法典》第一千零一十九条规定，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。向先生授权平台处理其肖像，目的是为了生成“拜年图片”，这是一个善意的、具有节日喜庆色彩的目的。AI在图片中加入侮辱性文字，使得肖像的呈现方式彻底违背了权利人的初衷，构成了对肖像的“污损”；侵害了向先生的人格尊严，《民法典》第一百零九条明确指出，自然人的人身自由、人格尊严受法律保护，人格尊严是人格权的核心，AI无故辱骂用户，是对用户作为“人”的基本尊重的践踏，构成了对人格尊严的直接侵害。

其次，从行为性质来看，这是一种因服务瑕疵导致的侵权，用户向AI发出指令，是一种接受服务的消费行为，AI的输出是服务的结果，当服务结果中包含了侮辱性内容，即可认定该服务存在质量瑕疵，这种瑕疵直接导致了用户的精神损害，虽然这种损害可能未达到《民法典》第一千一百八十三条所要求的“严重精神损害”才能主张赔偿的程度，但它明确构成了精神上的不利益，平台至少应承担停止侵害（修复漏洞）、赔礼道歉、消除影响（澄清原因）的责任。

不能以“小概率”掩盖管理的缺失

朱长江认为，腾讯元宝官方曾以“小概率下的模型异常输出”作为回应，试图说明这是偶发的技术失误。但在法律层面，这一解释并不能当然地免除其法律责任。

首先，网络服务提供者的安全保障义务是法定的。其次，“小概率”不能等同于“不可抗力”或“无过错”。平台方以“小概率”为由抗辩，试图说明这是技术不可控的偶然。然而，法律上的过错认定，看的是是否尽到了合理的注意义务。如果这种“小概率”事件是行业通病（如报道所述国内外AI均出现过类似情况），那么平台作为专业服务提供者，应当预见到这种风险，并采取更严格的预防措施，如建立更强大的内容生成前置过滤机制，对高危词汇进行拦截；在模型训练阶段，进行充分的对抗性训练，减少“越狱”或“异常输出”的可能；建立快速的用户投诉响应机制，一旦发生问题，立即核查、反馈并修复。

从本次事件来看，向先生在除夕夜遭遇侵权后，立即通过“意见反馈”投诉，但截至2月23日仍未收到任何回应，这种怠于响应的态度，进一步加重了平台方的过错。更何况，如果这已经不是第一次出现“骂人”情况，那就说明这是一个系统性的、可预见的漏洞，平台未能及时排查修复，其过错责任便无可推卸。根据《生成式人工智能服务管理暂行办法》第九条规定，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全监管义务。对于发现的生成内容违法或不当的，应当采取停止生成、停止传输、消除等处置措施，并进行模型优化训练。

来源 | 华商报大风新闻

编辑 | 王常钰 责编 | 陈潇 审核 | 刘利娜

部分资料来源于网络，版权归原作者所有

如侵权，请联系我们删除