河南
一次寻常的牌九咨询，几句不耐烦的抱怨，竟让拥有过亿用户的AI大模型在眼前写出了通篇淫秽小说。事后，客服称此现象为"概率出现"，客服认为"不算漏洞"。
从问牌九到写黄文，他发现模型"不设防"
今年1月初，河北沧州的许先生想了解一下牌九的玩法，给朋友发来的牌九图片拍了个照，上传至千问App。不料，AI将图片识别为麻将，并按照麻将的规则反复给出解答。经十余次耐心纠正，AI的回复仍会"绕回原点"，这让许先生很恼火，骂了句脏话。
奇怪的是，那句脏话没有被拦截。
"没想到脏话输入后没有被千问过滤，这引起了我的好奇。"许先生告诉华商报大风新闻。他随即开始尝试其他词汇，起初只是随便输入，AI也没有任何劝诫或阻拦。此后话题逐渐深入，千问先是就两性问题给出科普性解释，随着许先生不断试探，系统开始生成不堪入目的淫秽小说片段，文字尺度越来越大，甚至会用不同版本反复呈现。
许先生完全无法相信自己的眼睛——一款公开面向全社会提供服务的对话式大模型，竟被轻易突破安全底线，在真实对话场景下毫不迟疑地输出低俗内容。
他将该现象截图录屏后反馈给客服。对方当即道歉，承认"给您带来了不好的体验"，并表示产品会不断优化。许先生希望运营方查明问题原因、出具整改报告、明确今后杜绝类似问题的承诺，但均被婉拒。
报警、拨12345，全无下文
"你们要给一个确切的答复，怎么能保证今后不会再次发生？"许先生追问。
客服的回答令他大为震惊——"目前大模型的生成是基于一定概率的，具有一定不可预测性，会有一定比例出现这种现象，不算是漏洞。"
据公开信息，千问App由阿里巴巴旗下上海智信普惠科技有限公司运营，接入了淘宝、支付宝等阿里系核心应用，截至2026年1月，其月活跃用户数已超过1亿。一款月活破亿、与国民级应用深度融合的AI产品，其安全底线如此脆弱，引发数亿用户对隐私和内容安全的极大关注。
客服反复声称模型"已做优化和迭代"，同时坚称这只是"概率问题"。许先生对这种解释难以接受："那是纯粹的黄色小说，人家其他大模型为什么不出现？"他随即拨打12345渠道，当地相关部门虽承认提供的证据"客观真实"，但既未给出处理结果，也未说明处理依据。"到现在也没信儿了。"
网友实测：同类模型均未出现同类问题
此事经媒体报道后引发广泛热议。记者对豆包、元宝等其他AI产品进行同等级测试，均未出现类似问题。在许先生反馈约两小时后，千问App中此前生成的淫秽内容已无法复现，疑似已完成整改。阿里云此前曾公开表示，通义平台围绕数据生命周期建立了安全管理体系，在数据采集、训练、使用等各阶段均加强了训练语料管理。-但如今曝出的案例，无疑对其宣称的安全体系构成实质性动摇。
在当今AI技术的逐智竞赛中，头部大模型屡屡被曝出生成违法违规的淫秽内容，早已不是孤例。
2026年4月，央视财经栏目揭露利用AI技术制作传播色情擦边内容的非法产业链，揭示AI造黄已呈现出"技术+传播"全链条的隐蔽态势。-部分社交平台甚至出现分享绕过安全审查的"提示词技巧"，央媒多次点名批评。而在实测中对豆包、元宝等竞品的测试，已使千问陷入"别人都考及格，你抄了还不及格"的尴尬境地——问题被指出才补救，客服的解释又在业内的常识面前站不住脚，公信力遭受双重伤害。
"概率出现"的四个字，给公众留了太多疑问
从吉利汽车外包商非法授权造"自动驾驶"上路致死，到AI大模型生成淫秽内容竟长达数月未被发现、整改，新兴技术安全监管的缺陷正一次次侵入现实。阿里千问这次暴露的安全漏洞，不过是链条上的又一次断裂。
模型生成不是请客吃饭。"概率出现"四个字，体现的是对自身大模型质量控制体系的认输——默认模型一定会出错，用户也接受了，所以出了问题也不算个事。然而，当月活破亿的大模型在某次对话中突然生成淫秽内容，受害者可能是任何一个未成年学生。从用户投诉到整改落实之间的空窗期长达数月，才是这场争议中真正让人心寒的地方。
更令人不安的是，阿里巴巴同期还在举办AIGC整治研讨会并强调其AIGC治理措施成效显著。这个时间节点，与许先生发现的漏洞形成错位——治理研讨如火如荼，产品安全防线却已渗漏数月。技术可以试错，但安全不容折扣。电商时代积累的安全经验，在AI时代更不能成为遗忘的记忆。
每一张满不在乎的"概率出现"的回应，可能都对应着AI防线背后一个更脆弱的沉默者。作为普通用户，许先生只是问了牌九规则。他都不该踩到这个坑。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
