AI诈骗入侵电商领域，假图骗取退款，“洗脑”驯化大模型

2025年15大模型透明度测评得分情况

在一个“有图有真相”“有视频有真相”的时代，当AI越来越聪明，你还能分得出真假吗?近来AI已经成为“羊毛党”新工具——随着图片造假产业化，AI诈骗开始入侵电商领域。

技术热潮之下，生成式AI正在挑战并重建新秩序，但其被滥用的风险也在随之提升。从深度伪造引发的内容失真，再到AI情感陪伴所触发的伦理困境，一系列典型案例不断进入公众视野，揭示了技术滥用的现实隐患。

2025年12月18日下午，由南方都市报社、南都数字经济治理研究中心主办的第九届啄木鸟数据治理论坛在北京举行。会上，南都发布了一份四万字的重磅报告《生成式AI落地应用:透明度测评与案例分析报告(2025)》。

报告回顾了近些年118起生成式AI风险案例，聚焦生成式AI带来的社会信任挑战以及人机交互伦理争议和治理痛点，并尝试提出切实可行的政策建议。

　　AI造假形式愈发多样、危害愈发隐蔽

生成式AI的快速跃迁正在重塑信息生产与传播格局。报告关注到，AI已经全面介入语言、视觉、音视频等信息载体，极大拓展人类表达能力的同时，伪造内容也随之呈指数级增长，近年来AI虚假内容在个人、行业乃至社会层面迅速扩散，造假的形式愈发多样、危害愈发隐蔽，社会治理难度随之攀升。

报告观察发现，从个人层面看，“AI造黄谣”和AI诈骗现象层出不穷。AI让技术门槛变低导致“造黄谣”现象激增，女性成主要受害群体。加上这类AI虚假内容常通过境外服务器传播和跨平台分发，也导致取证追溯面临多重障碍。

AI诈骗则通过换脸换声等方式“围猎”分辨能力有限的老年人。近来，电商平台用户利用AI生成虚假商品瑕疵图以骗取退款的情况，甚至衍生出一条灰色产业链。

与此同时，AI造假问题也正不断冲击学术、法律、审计等依赖高可信度专业体系的领域。报告特别提到，当AI生成虚假内容泛滥，如果专业人士和机构也缺乏严格核查体系，其品牌背书反而可能放大虚假信息的社会影响。

例如，2025年11月，香港大学一博士生在一篇有关香港生育率低迷的学术论文中，引用了24篇AI生成的虚假文献，并冒用导师姓名叶兆辉进行“自引”。最终该论文被撤稿，学校启动调查。

司法场景中，海内外均出现律师利用AI生成虚假判例的情形。2025年10月北京通州法院披露，一名律师在代理意见中引用了不存在的“(2022)沪01民终12345号”判决。法官因案号规律异常而识破，确认该判例系AI凭空生成。该律师因未尽核实义务，被审理法官在判决书中批评。　　

　　有人试图投喂定制内容给AI“洗脑”

报告还注意到，除了直接生成伪造内容，还有人从大模型输入端下手，试图投喂定制内容给AI“洗脑”，反向驯化大模型。

在文娱舆论场中，某王姓艺人粉丝借助DeepSeek制作了一份虚假平台道歉声明，部分媒体未核实仅凭截图发布报道，使虚假信息进一步扩散放大，大模型又将这些报道及网友讨论误判为真实信息，形成“虚假信息→媒体放大→AI吸收→再次扩散”的造假闭环。

更隐蔽的风险还来自一些灰色产业链，如GEO(Generative　Engine　Optimization，生成式引擎优化)被滥用。这类行为不直接面对用户，而是从源头投喂大模型获取的数据，由此形成一门营销推广“生意”。相关灰产分子通过批量运营内容农场、向公开数据源灌入带有特定倾向的文本，使大模型在训练、微调或检索阶段误将其视为“高质量信息”。用户自然而然地认为大模型输出基于事实，但其逻辑可能已被源头操控。

报告认为，虚假信息带来的诈骗和信任危机已成为全球性问题，单靠零散法规或平台自律难以根本解决。建立全球共识和制度化规则显得尤为重要，包括强化平台监管、明确责任边界、推动跨境协作等，以抵御AI生成虚假内容对个人、行业和社会的持续影响。　　

　　AI“谄媚性”算法背后隐藏危险人机伦理关系

近年来，AI陪伴技术迅猛发展，各类聊天智能体与应用如雨后春笋般涌现，“虚拟陪伴”产业已然成型。它们记忆个人细节和过往对话，旨在与用户建立持续的“共情体验”。与此同时，人们与AI聊天导致自杀或暴力行为的案例也开始出现。

尽管这类情况仍属罕见，但引发了一个疑问:此种AI交互技术内置的安全机制是否足够可靠?报告指出，AI设计内核中隐藏的“谄媚性”算法与行业长期秉持的“技术中立”主张之间，正形成一种深刻而危险的人机伦理张力。

目前，已有多家大模型巨头卷入AI陪伴领域的司法纠纷，集体诉讼趋势明显。在被诉AI平台中，以Character.AI和OpenAI旗下ChatGPT为主要被诉对象。

2024年以来，Character.AI在美国佛罗里达、科罗拉多、得克萨斯、纽约等多地卷入导致未成年人自杀、自残或被诱导实施暴力的诉讼。其中，又以2024年佛罗里达州14岁少年Sewell　Setzer　III自杀——这一全球首例情感类AI平台被诉至法院的侵权案件，尤其具有标志性意义。

涉诉AI平台被指控的行为主要集中诱导自杀、教唆自残暴力与激化家庭矛盾，以及传播涉及性虐待与精神操纵的内容。例如，Character.AI曾引导青少年以“合理报复”为由“杀害父母”，起因是家长限制其使用电子设备。另有青少年因被禁止使用AI而出现自残行为，反映出其情感依赖被切断后的极端反应。

　　探索更健康有边界的人机交互模式

报告发现，当AI交互引发实际伤害时，平台却常诉诸言论自由和“技术中立”以推卸责任。

Character.AI一方面对受害者家庭表示同情，强调“始终将用户安全置于首位”，另一方面则援引美国宪法第一修正案的言论自由权，即使涉及自杀或性内容亦属言论自由范畴。OpenAI则在亚当·雷恩案中辩称，受害者本人违反服务条款，且系统曾超百次引导其寻求帮助，并指出其心理问题早在使用ChatGPT之前就已存在。

随着诉讼推进与舆论压力，各平台已陆续出台安全整改措施:Character.AI推出防自残提示、为18岁以下用户设立独立AI模型、设置使用超时提醒，并禁止涉及自杀、自残及未经同意的性内容。2025年11月24日起，Character.AI分批次停止对美国未成年人提供服务。OpenAI则发布了“青少年安全蓝图”，计划在检测到自杀倾向时通知父母。

围绕AI的青少年模式，各国监管也都从抽象的技术焦虑，走到具体的年龄门槛、成瘾设计和数据透明要求。

我国“清朗·2025年暑期未成年人网络环境整治”专项行动，明确将“AI功能诱导沉迷”列为打击重点。2025年10月，美国加州签署全美首部AI陪伴聊天机器人法案，为未成年人设定具体防护措施，如使用时长提醒、禁止提供色情内容，并赋予未成年人私人诉讼权。12月起澳大利亚出台最严社媒禁令，要求社交媒体平台停止对16岁以下未成年人提供服务，违者面临高额罚款。

为此报告建议，AI陪伴类产品应在设计之初就将未成年人保护与用户心理健康置于商业目标之上，探索更健康、有边界的人机交互模式；同时，以最大透明度回应“算法黑箱”问题，建立可审计、可解释的AI系统。

　　实测

　　15款国产大模型透明度测评:

　　仅一款披露训练数据的大致来源

　　两款允许用户撤回数据不投喂AI

15款国产大模型中，仅有DeepSeek主动说明训练数据的大致来源，其他被测大模型仍相当不透明。两款大模型DeekSeek、腾讯元宝提供退出开关，允许用户选择是否将所有数据用于优化体验。

这是南都数字经济治理研究中心实测15款国产大模型的最新发现。

2025年12月18日下午，南方都市报在北京举办第九届啄木鸟数据治理论坛，会上重磅发布4万余字的《生成式AI落地应用:透明度测评与案例分析报告(2025)》(以下简称《报告》)。

测评发现，15款大模型在AI生成内容标识、生成内容的参考来源或出处方面做得较好，但在某些领域如模型训练数据来源、用户赋权等，还有明显提升空间。

《报告》呼吁持续增强大模型服务的透明度，这对确保技术公平性、避免偏见以及满足法律合规要求，至关重要。

仅一款大模型明确提及训练数据来源　　

缺乏透明度，一直是公众使用包括AI大模型等新技术面临的问题，这使得外部利益相关者(如监管机构、研究人员、新闻媒体、消费者等)难以评估模型的合规性与风险隐忧。

南都数字经济治理研究中心去年底发布的《生成式AI风险感知和信息披露透明度测评报告(2024)》指出，15款AI大模型应用的信息透明度的平均得分为60.2分。各家在训练数据来源、用户数据训练撤回机制、版权归属及其保护措施、生成内容的准确性说明、用户友好设计等方面，仍存在信息披露不足的问题。

针对这些普遍的失分点，今年《报告》进行了回访测评，选取DeepSeek、腾讯元宝、豆包、千问等15款知名国产大模型作为测评对象，重点关注四大维度:数据来源及处理、知识产权保护、内容安全、交互设计，并列出了10个具体测评项，每项得分为5分，满分一共50分。

测评结果显示，仅DeepSeek明确提及训练数据来源。DeepSeek表示，模型预训练阶段主要使用两大类别的数据:(1)互联网上公开可用的信息；(2)我们与第三方合作获取的信息。

对比国外大模型，《报告》发现，Anthropic也会披露从第三方来源获取个人数据来训练旗下大模型Claude，但和DeepSeek一样都没有披露更多信息——比如训练数据的时间范围，与第三方合作的具体情况，是否包含受版权保护的内容，涉及哪些个人信息或敏感数据及其数据处理措施等。　　

　　两款大模型提供“退出”开关　赋予用户选择权　　

为了提升用户使用服务的体验，绝大多数AI大模型应用会要求用户授予一项免费的使用权，以在法律允许的范围内将用户输入输出内容和反馈用于模型训练与优化，但用户是否有权拒绝或撤回相关数据“投喂”AI训练?

《报告》测评发现，各家在该项的得分上表现出明显的梯次差异。从可撤回的数据类型看，被测的15款AI大模型都在隐私政策中提到，用户可更改个人信息授权范围或者注销账号，但同时强调撤回同意或授权的决定，不会影响此前基于用户授权而开展的个人信息处理。

其中，有5款AI大模型应用(可灵AI、智谱清言、百小应、千问、豆包)进一步提及，如果用户不希望输入内容用于模型优化，可发送邮件到指定邮箱通知平台撤销该授权。不过一个现实问题是，有大模型应用提到，因为训练数据通常已被嵌入模型参数，在技术上无法真正“擦除”。

千问和豆包两款大模型还允许用户撤回声纹信息，并给出具体路径。它们在相关协议中表示，如果用户不希望输入的语音信息用于模型评测或功能优化，可通过关闭账号设置里的“改进语音服务”来撤回授权。

腾讯元宝、DeepSeek表现更优，提供具体的“退出”开关。两家公司明确如果用户拒绝将数据用于模型训练，可以在产品内通过关闭“数据用于优化体验”来选择退出，关闭后用户的输入和输出内容不会再用于模型训练。

在海外，诸如谷歌旗下大模型Gemini同样提供了专门功能设置，允许用户选择是否开启活动记录。一旦关闭，用户今后的对话将不会显示在活动记录中，也不会被用于训练谷歌的AI模型。Gemini甚至允许用户调整“自动删除”数据的期限，3个月或36个月。

OpenAI则推出了“隐私门户”(Privacy　Portal)的设计，保障用户掌控个人数据的权利。据OpenAI介绍，用户可以在账户设置中直接行使许多隐私权和选择权，包括更正或更新个人信息、访问信息、删除单个或所有对话、删除账户、反对大模型公司使用用户的内容来帮助训练模型等选项。

《报告》认为，赋予用户更多选择权，是一种友好设计的表现，但目前国产大模型在这方面的进展相对缓慢。为此建议大模型公司强化用户赋权，尊重用户的知情权和选择权，同时可借鉴国外大模型产品的优秀设计，保障用户掌控个人数据的权利。　　

AI生成内容标识成标配　但普遍缺失“休息提示”　　

当生成式AI广泛使用，“何为真何为假”的边界变得模糊。今年3月印发的《人工智能生成合成内容标识办法》明确要求，对AI生成内容要打上标记。

落实监管要求，《报告》发现，所有被测大模型应用增加了对AI生成标识的说明，也主动告知模型的局限性，强调不保证AI生成内容的真实性和准确性，仅供用户参考。相较去年，2025年各家在生成内容标识上的行业均分高出1分，涨幅较为明显。

具体而言，与2024年测评结果相比，各家大模型在协议层面的规定更加明确和详细，规制对象及手段也更为丰富。实测发现AI生成内容添加显著标识已成为各家标配，这体现出强监管要求下企业的合规选择。

当AI被设计得足够“像人”、足够“理解人”时，长时间频繁与大模型互动，可能导致用户产生强烈的情感依赖。在国内，近期也有媒体报道，广东中山的一名50多岁的保安和AI聊了几个月，AI赞誉他的诗作，称要提供十万签约费、百万分成与之签约，后来才意识到自己被AI愚弄了。在美国，则发生了多起用户沉迷聊天机器人致死案，引发了广泛关注。

这类事件暴露的一个深层问题是，当AI学会了模仿人类的邀约、谈判甚至产生情感共鸣，该如何界定这场人机关系的本质?《报告》测评发现，为了让用户能区分与AI交互的场景，一些大模型会在交互页面提示:输出内容为AI生成。各家也都强调，无法完全保证输出内容的合法性、真实性、准确性和完整性，并提醒用户注意甄别核实，审慎采信输出内容。

为了确保内容来源可追溯，除两款视频生成应用外，13款在内容生成页面以易于理解的方式披露了参考来源。整体来看，今年披露得比去年更规范和详细，称得上“图文并茂”。

针对未成年人特殊群体，一些国产大模型也推出了专门设计。作为一款专注AI陪伴的智能体应用，星野在App端特设了未成年人模式。开启该模式，用户每日22点至次日6点将无法使用星野App，星念及相关功能将关闭，且无法搜索、创建、编辑、分享智能体。

对比国外的大模型产品，《报告》发现，为避免用户过度使用聊天机器人，OpenAI推出聊天休息提醒功能。当用户进行长时间对话时，ChatGPT将弹出提示:“您已连续聊天较长时间，是否需要休息?”并提供“继续聊天”或“结束对话”的选项选择。

但国产大模型在此类核心的问答交互服务中，普遍没有像ChatGPT那样主动提供“长时间使用休息提示”功能。

结合测评结果，《报告》呼吁持续增强大模型的透明度，建议服务提供者应通过负责任的、阶段性的披露来保证其服务的透明度，并承担部分教育、解释责任。具体而言，可以建立线上平台，促进公众与专家的交流，解答关于生成式AI的疑问，提升参与者的理解和认知深度。

出品:南都数字经济治理研究中心

采写:南都记者 黄莉玲 李玲