AI带货乱象：有人冒用明星，有人用AI卖惨；谁来守护老年人的情感和钱包？

出品｜搜狐科技

作者｜张 莹

一个不存在的人，正在被批量制造出来，用来打动那些最不容易识破他的人。

他穿校服、红眼眶，对着屏幕一声声喊“姨姨妈妈”。评论区里，头发花白的老人手写留言，把“小海”写成“小诲”，向他道歉：“都是我的错”“以后阿姨多关心你点儿”。

视频下方标着“内容为AI生成”。可对很多不识字、不理解AI的老人来说，一个会哭、会喊人、有身世的孩子，怎么会是假的？

今年5月，一位79岁的老人独自坐上火车，要去看看这个天天喊她“姨姨妈妈”的孩子。乘警劝了很久，她才回了家。

技术造“人”的成本越来越低，识破它的门槛却落在最没有准备的人身上。有人虚构一个不存在的苦命孩子，有人盗用明星、医生的脸和声音。法律条文并非空白，标识制度也已落地。可当那位老人坐上火车时，这些规则没能拦住她。

“姨姨妈妈”和一个不存在的小海

AI“小海”的很多账号和作品已经被删除，但互联网上仍然留着“姨姨妈妈”们的真心。

在一条“小海说”的视频里，小海穿着蓝白色校服、戴着红领巾、背着黑色双肩包，红着眼眶、满脸泪水地对镜头说：“姨姨妈妈，我观察你很久了，你从来没有留下痕迹，我要看看你会不会关心我！”旁边小海爸爸赶忙拿着卫生纸替他擦眼泪，抱着他的头对镜头说：“孩子一直惦记着你呢。”

不少头发花白的奶奶和这条视频合拍。她们面对镜头，什么话也不说，只是担忧地看着小海。

评论区里，更多的姨姨妈妈在表达关心。有人只发发玫瑰和爱心的表情，有人用着不太流利的普通话发语音，有人发带着错别字的文字。不少评论明显是手写的——把“小海”写成“小诲”，把“好好上学”写成“好好上字”。

因为小海那句“你从来没有留下痕迹”，她们在评论区里忏悔道歉：“都是我的错”“小孩别生气，阿姨这几天有点烦心事，以后阿姨多关心你点儿”“我天天都牵挂着你想念着你”……

她们像对自己的亲生孩子一样，关心小海有没有好好吃饭，嘱咐他一定要好好学习。

就在今年5月，一位79岁的老人独自乘车远行，想去看看天天在手机里喊她“姨姨妈妈”的苦命孩子小海。最终在乘警的劝说下，她才回了家。

她们不知道这个孩子并非真实存在，只是AI生成。尽管视频下方都有“内容为AI生成”的表述，但她们当中大部分人因为不识字，看不到这句话；或者看到了，但不理解——这个孩子有和真人长得一样、哭得这么惨，身世凄惨，还会和自己对话，这怎么会是假的呢？

骗局并不新鲜。两年前，“假靳东”用AI换脸和配音，把演员靳东包装成对“姐姐”们嘘寒问暖的“恋人”，建立情感信任后以“拍戏需要资金”“应援投资”“公益项目”等理由索要钱财。

有老人到银行要贷款200万给靳东拍戏，有人为追寻“真爱”离家出走、被骗光养老钱，还有阿姨为参与“应援投资”被骗走20万元。

还有不知情的阿姨在小海的相关视频里问，“小海，你面前是谁，你的爸爸是靳东吗？”在小海的虚拟世界里，他的爸爸其实叫王建国。

王建国同样用AI虚构的人设。一年多以前，“王建国”们通过在视频里对姐姐们嘘寒问暖、运用暧昧话术，把目标瞄准缺乏陪伴的中老年女性，引导她们购买商品。

账号被平台处置后，运营者没有收手，而是把“儿子小海”推了上来。称呼从针对成年女性的“姐姐”，换成了更能激发母性与保护欲的“姨姨妈妈”；剧本从暧昧陪伴，变成了卖惨博同情。据报道，小海橱窗里的商品价格往往高于其他电商平台，卖得越多，佣金抽成越高。

针对AI小海事件，抖音回应搜狐科技称，平台高度重视消费者权益以及社区生态的良好有序，针对以卖惨为典型的违规营销行为，平台一直严厉打击并组织专项治理。平台识别到涉AI小海的相关违规后，立即展开严厉处置，包括并不限于取消违规账号的电商权限、对违规卖惨类内容予以处置。

此前，快手也发布公告称，平台已围绕假扮弱势群体、虚构职业资质、利用AI等仿冒人物、鼓吹奢靡迷信、编造冲突剧情五类突出问题开展专项排查，对相关违规短视频和账号视情节轻重依法依规从严处置。

谁在利用AI虚构人设带货，谁该担责

对于AI小海卖惨式带货，上海大邦律师事务所高级合伙人游云庭律师表示，这些带货视频违反广告法，有一定的坑蒙拐骗的性质。我国广告法第4条规定，广告不得含有虚假或引人误解的内容，不得欺骗误导消费者。

在这些视频里，小海们长着同一张脸、表情夸张、画质和真人拍摄的视频也有差异。年轻人很容易分辨是AI生成。尤其在这些视频下方，基本都有一行小字标注内容由AI生成。

但老年人却不一定能注意到这些差异。AI生成的文字标识位于视频左下方，颜色是有点透明的白色，这行字不仅相比小海的画面很小，也不如视频文案清晰。

游云庭也提到了这一点，“这些视频虽然标注了人工智能生成，但字体比较小，以老年人为主的受众不一定会特别注意。”

同时，游云庭还提到，老年人的特点，尤其是受骗的老年人的特点就是认知能力比较低，这些视频抓住了这一群体容易被煽情的特点，用虚构的事实进行带货，这可以视为有虚假的或引人误解的内容，实际上是在欺骗和误导消费者。

“标注AI生成，不能够掩盖这样一些视频本身具有欺骗消费者的属性，以及误导消费者的属性。所以根据广告法，这些广告仍然有违法嫌疑。” 游云庭说。

他指出，应当承担法律责任的主体有两个，一是这些视频的制作者，他们的身份是广告经营者，二是是平台。

游云庭进一步称，如果出售广告位给这些制作者，平台属于广告发布者，没有预先审核内容的义务，但发现欺骗消费者的问题后应当治理。“如果从带货收入中抽成，平台属于电子商务平台经营者或互联网信息服务提供者；如果没有从中抽成，则属于互联网信息服务提供者，也有治理此类短视频的义务。”

他指出，消费者可以以短视频涉嫌欺骗误导为由，要求商家退货，甚至承担消费者权益保护法上的退一赔三责任。

虽然这些广告有违法嫌疑，但消费者维权却不是一件简单的事情。“商家最多退货，肯定不会承担退一赔三的责任。商家如果不退货，只能平台介入，而平台可能会要求消费者举证。”

而相信AI小海的受众大部分为老年人，维权对他们来说更难了。

游云庭指出了这一现实难点，“对于被这种比较简单的骗局骗到的消费者，认知能力不一定很高，不一定能提出强有力的证据和论点来支持其诉求。消费者也可以找监管维权，但老年人能力有限，这个渠道也比较难。”

游云庭补充道，“这些货品价值通常不高，只是上当人数比较多，让坑蒙拐骗的行为比较好赚钱。既然被骗的钱不多，很多老年人也不一定会去计较，花这个精力去维权。”

利用AI虚构人设带货只是AI带货乱象的一角。

几乎是AI小海事件的同时，演员吴越发文怒斥“花姐美肤日记”视频号账号利用AI换脸假冒其带货，质问对方骗了多少人的钱，请悉数奉还。目前这一账号已经被封禁。

视频里，吴越正在为一款产品带货，自称是自己找的这款产品，称这款产品非常有用、效果很直观，视频底下有一行小字“作者提示：含AI生成内容”。

游云庭表示，被AI仿冒带货的，侵犯的是被仿冒者的肖像权和声音权，被仿冒者可以依据民法典向侵权商家维权，向平台投诉或起诉。而用数字人卖惨带货的，实际上是以虚假内容欺骗消费者、误导消费者。

这样的骗局并不是第一次，此前，还有奥运冠军全红婵的声音被克隆去卖土鸡蛋、两年前，知名医生张文宏的脸被合成进深夜直播间卖蛋白棒……

一年前，演员温峥嵘也发现自己的形象被AI换脸，并出现在多个带货直播间中。她本人进入直播间质问“你是温峥嵘我是谁？”，反被对方直接拉黑。

有AI标识就够了吗

2025年9月1日起，《人工智能生成合成内容标识办法》（以下简称《办法》）正式施行，要求AI生成合成内容必须添加标识。

不过当时假冒温峥嵘的直播间并未标明AI生成。

去年11月温峥嵘事件受到热议时，清华大学人工智能国际治理研究院副院长梁正教授就对搜狐科技指出，比“仿冒形象”更严峻的挑战是完全虚拟的“数字人”。“在这种情况下，强制性的‘人工智能生成内容标识’就成为最重要的底线，必须明确告知公众‘这不是真人’。”

这次的AI小海便是完全虚拟的“数字人”。和当时温峥嵘事件不同，AI小海和AI吴越基本都是以短视频的形式带货。《办法》施行一年有余，相关短视频下方均有“AI生成内容”标识。

但尽管有标识这一底线，仍然有不少人尤其是老年人受骗。

北京大学政府管理学院教授马亮在接受央视采访时表示，面对批量制造的坑老视频，平台的责任绝不能止步于给视频打个标签，或者等网友举报了再去封号。

他在该采访中指出，这些视频背后是一种商业化的操作，希望牟取暴利，平台有技术能力去识别视频下方的评论、用户后续的购物行为，这些数据都可以用于甄别哪些视频存在欺诈行为。不能说平台对这些AI生成的视频进行了标注，就完成了它的工作。

游云庭律师还补充道，全世界范围里，老人都是违法广告的重要目标。

就在10月23日，路透社报道，美国罗得岛州在州法院对Meta提起诉讼，指控该公司在旗下社交媒体Facebook、Instagram和WhatsApp上对泛滥的诈骗广告采取纵容态度。

罗德岛州总检察长Peter F.Neronha特别提到“弱势用户”，称Meta在明知风险的情况下，将弱势用户置于欺诈圈套之中，并借此攫取巨额利润。

不过Meta称这起诉讼“毫无根据”。Meta称过去一年已经删除超过 1.59亿条诈骗广告，持续配合执法部门打击网络诈骗，同时推出多款反欺诈防护工具。

社交平台上，不少子女发帖讲述家里老人对AI虚构内容深信不疑。有人写道，“姥姥非得说冯巩、马云、特朗普都想追求她”。但AI也给老人提供了新的情感寄托，有网友说，奶奶了解AI之后，想用技术“蒸馏”去世的爷爷，让他以另一种方式“回来”。

一面是深信不疑的被骗，一面是难以替代的情感寄托。对大部分上了年纪的人来说，数字素养不如年轻人。如何让他们更多享受到技术带来的便利，而不是成为被技术收割的第一茬韭菜，是整个社会共同面对的问题。

运营编辑 | 曹倩 审核｜孟莎莎