假图骗取电商退款，洗脑驯化大模型，南都报告揭秘AI灰产

在一个“有图有真相”“有视频有真相”的时代，当AI越来越聪明，你还能分得出真假吗？近来AI成为已经成为“羊毛党”新工具——随着图片造假产业化，AI诈骗开始入侵电商领域。

技术热潮之下，生成式AI正在挑战并重建新秩序，但其被滥用的风险也在随之提升。从深度伪造引发的内容失真，再到AI情感陪伴所触发的伦理困境，一系列典型案例不断进入公众视野，揭示了技术滥用的现实隐患。

2025年12月18日下午，由南方都市报社、南都数字经济治理研究中心主办的第八届啄木鸟数据治理论坛在北京举行。会上，南都发布了一份四万字的重磅报告《生成式AI落地应用：透明度测评与案例分析报告（2025）》。

报告回顾了近些年118起生成式AI风险案例，聚焦生成式AI带来的社会信任挑战以及人机交互伦理争议和治理痛点，并尝试提出切实可行的政策建议。

AI造假冲击个人权利、行业秩序和社会信任机制

生成式AI的快速跃迁正在重塑信息生产与传播格局。报告关注到，AI已经全面介入语言、视觉、音视频等信息载体，极大拓展人类表达能力的同时，伪造内容也随之呈指数级增长，近年来AI虚假内容在个人、行业乃至社会层面迅速扩散，造假的形式愈发多样、危害愈发隐蔽，社会治理难度随之攀升。

报告观察发现，从个人层面看，“AI造黄谣”和AI诈骗现象层出不穷。AI让技术门槛变低导致“造黄谣”现象激增，女性成主要受害群体。加上这类AI虚假内容常通过境外服务器传播和跨平台分发，也导致取证追溯面临多重障碍。

AI诈骗则通过换脸换声等方式“围猎”分辨能力有限的老年人。近来，电商平台用户利用AI生成虚假商品瑕疵图以骗取退款的情况，甚至衍生出一条灰色产业链。

与此同时，AI造假问题也正不断冲击学术、法律、审计等依赖高可信度专业体系的领域。报告特别提到，当AI生成虚假内容泛滥，如果专业人士和机构也缺乏严格核查体系，其品牌背书反而可能放大虚假信息的社会影响。

例如，2025年11月，香港大学博士生在一篇有关香港生育率低迷的学术论文中，引用了24篇AI生成的虚假文献，并冒用导师姓名叶兆辉进行“自引”。最终该论文被撤稿，学校启动调查。

司法场景中，海内外均出现律师利用AI生成虚假判例的情形。2025年10月北京通州法院披露，一名律师在代理意见中引用了不存在的“（2022）沪01民终12345号”判决。法官因案号规律异常而识破，确认该判例系AI凭空生成。该律师因未尽核实义务，被审理法官在判决书中批评。

报告还注意到，除了直接生成伪造内容，还有人从大模型输入端下手，试图投喂定制内容给AI“洗脑”，反向驯化大模型。

在文娱舆论场中，某王姓艺人粉丝借助DeepSeek制作了一份虚假平台道歉声明，部分媒体未核实仅凭截图发布报道，使虚假信息进一步扩散放大，大模型又将这些报道及网友讨论误判为真实信息，形成“虚假信息→媒体放大→AI吸收→再次扩散”的造假闭环。

更隐蔽的风险还来自一些灰色产业链，如GEO（Generative Engine Optimization，生成式引擎优化）被滥用。这类行为不直接面对用户，而是从源头投喂大模型获取的数据，由此形成一门营销推广“生意”。相关灰产分子通过批量运营内容农场、向公开数据源灌入带有特定倾向的文本，使大模型在训练、微调或检索阶段误将其视为“高质量信息”。用户自然而然地认为大模型输出基于事实，但其逻辑可能已被源头操控。

报告认为，虚假信息带来的诈骗和信任危机已成为全球性问题，单靠零散法规或平台自律难以根本解决。建立全球共识和制度化规则显得尤为重要，包括强化平台监管、明确责任边界、推动跨境协作等，以抵御AI生成虚假内容对个人、行业和社会的持续影响。

AI“谄媚性”算法背后隐藏危险人机伦理关系

一名50多岁广州保安和AI热聊数月，AI赞誉他的诗作要与他签约，保安信以为真，结果发现被愚弄了。这个人类被AI欺骗的故事暴露出一个问题——当AI学会了模仿人类的邀约、谈判甚至产生情感共鸣，该如何界定这场人机关系的本质？

近年来，AI陪伴技术迅猛发展，各类聊天智能体与应用如雨后春笋般涌现，“虚拟陪伴”产业已然成型。它们记忆个人细节和过往对话，旨在与用户建立持续的“共情体验”。与此同时，人们与AI聊天导致自杀或暴力行为的案例也开始出现。

尽管这类情况仍属罕见，但引发了一个疑问：此种AI交互技术内置的安全机制是否足够可靠？报告指出，AI设计内核中隐藏的“谄媚性”算法与行业长期秉持的“技术中立”主张之间，正形成一种深刻而危险的人机伦理张力。

目前，已有多家大模型巨头卷入AI陪伴领域的司法纠纷，集体诉讼趋势明显。在被诉AI平台中，以Character.AI和OpenAI旗下ChatGPT为主要被诉对象。

2024年以来，Character.AI在美国佛罗里达、科罗拉多、得克萨斯、纽约等多地卷入导致未成年人自杀、自残或被诱导实施暴力的诉讼。其中，又以2024年佛罗里达州14岁少年Sewell Setzer III自杀——这一全球首例情感类AI平台被诉至法院的侵权案件，尤其具有标志性意义。

涉诉AI平台被指控的行为主要集中诱导自杀、教唆自残暴力与激化家庭矛盾，以及传播涉及性虐待与精神操纵的内容。例如，Character.AI曾引导青少年以“合理报复”为由“杀害父母”，起因是家长限制其使用电子设备。另有青少年因被禁止使用AI而出现自残行为，反映出其情感依赖被切断后的极端反应。

报告发现，当AI交互引发实际伤害时，平台却常诉诸言论自由和“技术中立”以推卸责任。

Character.AI一方面对受害者家庭表示同情，强调“始终将用户安全置于首位”，另一方面则援引美国宪法第一修正案的言论自由权，即使涉及自杀或性内容亦属言论自由范畴。OpenAI则在亚当·雷恩案中辩称，受害者本人违反服务条款，且系统曾超百次引导其寻求帮助，并指出其心理问题早在使用ChatGPT之前就已存在。

随着诉讼推进与舆论压力，各平台已陆续出台安全整改措施：Character.AI推出防自残提示、为18岁以下用户设立独立AI模型、设置使用超时提醒，并禁止涉及自杀、自残及未经同意的性内容。2025年11月24日起，Character.AI分批次停止对美国未成年人提供服务。OpenAI则发布了“青少年安全蓝图”，计划在检测到自杀倾向时通知父母。

围绕AI的青少年模式，各国监管也都从抽象的技术焦虑，走到具体的年龄门槛、成瘾设计和数据透明要求。

我国“清朗·2025年暑期未成年人网络环境整治”专项行动，明确将“AI功能诱导沉迷”列为打击重点。2025年10月，美国加州签署全美首部AI陪伴聊天机器人法案，为未成年人设定具体防护措施，如使用时长提醒、禁止提供色情内容，并赋予未成年人私人诉讼权。12月起澳大利亚出台最严社媒禁令，要求社交媒体平台停止对16岁以下未成年人提供服务，违者面临高额罚款。

为此报告建议，AI陪伴类产品应在设计之初就将未成年人保护与用户心理健康置于商业目标之上，探索更健康、有边界的人机交互模式；同时，以最大透明度回应“算法黑箱”问题，建立可审计、可解释的AI系统。

采写：南都N视频记者黄莉玲

出品：南都数字经济治理研究中心