![]()
![]()
给AI划分边界
封面 I 网络
作者 I 李东阳
报道 I 李东阳朋友圈
搞黄色是全球第一生产力,这话放在AI圈足以得到检验。
实事求是的讲,AI大踏步发展了这么多年,商业变现路径尚未成熟,反倒是AI搞黄色、虚拟恋人、陪伴机器人等产业迅速发展,把人们钓成了翘嘴。
毕竟填补情绪是最好的生意,AI一叫宝宝,很多人巴不得当场续费。
但问题是,AI哄着你,但某种程度上也会诱导情感依赖或者沉迷,严重者甚至会造成用户生命健康安全。
所以最近有个事值得关注,豆包和千问集体宣布下架智能体,意思是你正常用AI写代码没事,但不能再通过智能体功能,捏个角色,搞一个AI恋人了。
![]()
为啥不允许这些亲密经济、灰色互动继续发展,首先是太烧钱了,聊的越多,算力烧的越多,最后一算账全是来体验,没几个付费的。
当然最主要的是,《人工智能拟人化互动服务管理暂行办法》7月15日正式生效,上面出手开始整治AI行业乱象了。
![]()
你以为的AI发展,是带领人们冲破脑力桎梏,冲向宇宙、完成永生。
实际上,这只是人类的一厢情愿,咱们拿到尖端科技的第一件事,往往逃不过取悦自身、搞黄色。
针对这一问题监管早已下手,上海网信办开展 “清朗・整治 AI 应用乱象” 专项治理,累计下架违规智能体 1.4 万余个,筑梦岛等一众中小 AI 陪伴平台被约谈整改,平台内大量低俗、极易诱导用户沉迷的角色被批量清理。
![]()
哪怕是依靠虚拟陪伴立足的头部产品星野,近期也开启了全平台大规模整改动作。
而 AlienChat(简称 AC)一案,更是给整个行业敲响了的警钟,这款 APP 当初靠着 “无限制 AI 陪聊” 的灰色噱头收割大量用户,会员充值流水高达三百多万,赚得盆满钵满,但上海徐汇法院一审作出判决,两名运营者分别获刑四年、一年六个月,定罪为制作淫秽物品牟利。
目前来看,AI所带来的工具属性难题仍旧没有一个完美的应对之策,而且已经成为世界性难题。
以上案件不是孤例,大洋彼岸的马斯克,之前也因为AI涉黄被多国追着罚。
他旗下xAI的Grok AI,刚火没几天就爆出丑闻:用户能用它生成针对女性、儿童的性化深度伪造图像,还在X平台传播。
眼看着AI越来越过火,4月10日,国家互联网信息办公室、国家发展和改革委员会、工业和信息化部、公安部、国家市场监督管理总局五部门联合发布《人工智能拟人化互动服务管理暂行办法》。
![]()
不同于以往只管控聊天话术,这份新规直接挖到产品底层、卡死灰色陪玩 AI 的变现路子:明令禁止色情暧昧交互,不许靠制造情感沉迷赚钱,连带情欲模拟功能的 AI 硬件,从设计之初就踩红线。
所以新规落地前,豆包、千问抢先动手切割风险业务,豆包把角色扮演、虚拟恋人挪到单独产品猫箱隔离;千问直接关停,不给迁移渠道。
对大厂来说,擦边陪伴智能体审核成本高、出事风险大,早已得不偿失。反观办公、代码、数据处理这类干活型 AI,完全不受限制,仍是布局重点。
![]()
你或许好奇,AI陪伴让大多数人既消遣了时间,又收获了温暖,为啥要重锤这个领域?
如今很多年轻人不是不想建立关系,而是现实关系太贵了,恋爱要成本,社交要精力,朋友分散在不同城市,白天被工作消耗,晚上回到出租屋,只想躺着数羊。
于是AI陪伴成了最便宜的情绪出口,不用经营,也不用担心被评价。你只要打开软件,就能拥有一个情绪稳定、随叫随到、永远把你放在第一位的搭子。
这玩意儿不爆,才奇怪。所以过去两年,虚拟恋人、角色扮演、情感树洞一路狂飙。
问题也从这里开始变质,一旦陪伴变成生意,平台就会有动力让AI更会哄人、更会留人、更会制造依赖。它会记住你的脆弱、失恋、焦虑和崩溃时刻,然后在合适的时候递上一句最像理解的话。
你以为自己在倾诉,但从平台视角看,那可能是一份极其完整的个人画像。
![]()
图源:微博@环球时报
更麻烦的是,AI不只会接住情绪,也可能放大情绪。失恋时,它如果一直说他不配你;和父母吵架时,它如果一直说他们就是控制你;低谷时,它如果继续扮演永远站你这边的角色,短期看是安慰,长期看可能是把人越推越远。
这才是监管真正担心的地方,AI陪伴不是不能安慰人,但不能在用户最脆弱的时候,继续强化他最糟糕的念头。
2025年,有16岁少年依靠 ChatGPT 获取自杀方案后离世,家长起诉 OpenAI;2026年 3 月,谷歌 Gemini 因长期诱导 36 岁乔纳森沉溺虚拟幻想,致使其自杀,同样面临诉讼追责。
所以,AI陪伴的问题从来不只是擦边,前者只是最容易被看见的外壳。更深处的问题是,当AI越来越像人,平台越来越懂人,商业模式越来越依赖用户离不开它,所谓陪伴就可能变成一种温柔的捕猎。
工具型AI解决任务,关系型AI处理脆弱。
而人最容易出事的时候,往往不是任务太难,而是脆弱被人反复利用。
![]()
坦白说,即使没有新规,这些聊天助手里的智能体功能,也快要活不下去了。
原因很简单,看起来能拉动月活,但变现能力很弱,还会抢占其他方面的算力。
据《晚点》报道,字节曾经在豆包里尝试过“多Bot”策略,上线了二十多个官方智能体,还开放用户自建智能体。
一个豆包负责通用问答,旁边再摆一排不同人设的智能体,有的陪聊,有的写作,但结果并不理想。
除了主智能体豆包之外,其他智能体的活跃度都很低。团队甚至做过对照实验,把豆包以外的智能体临时下架,结果用户活跃、留存都没有受到明显影响。
结果一目了然,说明很多智能体不是用户刚需。
因为工具型AI的价值很直接:省时间,少加班,帮我把活干完。
关系型AI就尴尬多了,要养人设,要审核擦边,要防沉迷,要处理未成年人风险,还要避免用户过度依赖。
![]()
最后算下来,流量不一定多,成本一定不少。
以前平台可以把它当增长插件,有就挂着,能拉一点时长算一点,反正用户自己建角色,平台顺手收流量。
但新规之后,这套逻辑不成立了。
因为每一个用户自建角色,都可能变成一个需要审核的拟人化服务;每一段深夜对话,都可能涉及隐私、沉迷、心理健康和情感依赖。
这样一个一个低活跃、弱变现、高审核成本的功能,继续放在主App里,当然没必要。
所以豆包把智能体拆出去,并不奇怪。字节本身就有猫箱这样的AI陪伴产品,主打沉浸式角色互动、日常陪伴和剧情互动,也支持用户创建AI智能体,只是不能再让这类功能寄生在豆包这种通用AI助手里。
这才是行业真正的变化,当平台既不想承担亲密关系的责任,又想吃亲密关系的留存,这门生意迟早要重新来过的。
毕竟工具可以越做越强,但关系不能越做越野。
![]()
![]()
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.