网易首页 > 网易号 > 正文 申请入驻

AI伪造人设防不胜防,Soul放大招:用AI打败AI

0
分享至


随着AI技术普及,图文、视频生成及智能互动功能深度融入社交场景。AI大幅降低创作门槛,也能实现聊天、情绪陪伴等功能。但滥用AI伪造身份、虚构内容与人设、打造虚假社交关系等问题随之而来,不断冲击大众对真实社交的认知。 针对这类乱象,Soul更新《社区公约》,明确AI在社交场景的使用边界:AI可作为创作工具,严禁用于造假、构建虚假关系或取代真实互动。 当下AI衍生的违规内容隐蔽性、场景化特征显著,早已超越传统敏感词、直白诈骗的范畴。不少异常账号不再使用模板话术,而是模拟正常社交节奏逐步培养信任,再实施导流、诱导等行为,伪装性极强。 为此,平台治理体系也同步升级。Soul依托技术能力,强化行为与关系识别,借助AI甄别虚假人设、拦截风险互动,持续提升风控效能。


《社区公约》AI相关补充更新。

利用AI甄别整套“人设逻辑”

在部分典型高风险案例中,一个账号可能会借助豪车、高薪职业、高端消费等素材,打造“成功人士”“高净值男性”或“精英职业”等人设,再辅以话术引导获取信任。这类内容单点查看并无明显违规,但组合后风险便会凸显,问题根源在于整套虚假人设体系。

“豪车男”账号的问题,不在某一句话或某一张图单点,而是整套“人设逻辑”。基于此,Soul开始采用跨模态联动的AI治理能力,将图片、文本、视频、声纹以及用户行为等不同维度的信息进行综合研判。

目前,Soul已经逐步形成了一套覆盖图片、文本、视频、声纹以及用户行为等维度的多模态AI治理体系,并应用于虚假人设识别、异常互动判断、风险内容拦截等多个场景。

例如,在图片场景中,通过AI生成痕迹识别、图片原创性判断等能力,识别AI作图、盗图、拼接图等。在文本与互动场景中,主要依托大模型,甄别人设包装、违规导流与欺诈意图,而不再局限于关键词筛查。

此外,平台针对语音、视频场景强化风控,依托声纹特征与行为链路,识别 AI 伪造声纹、跨账号关联等隐蔽风险,全面提升伪装内容的检出能力。



从事后处置转向前置干预

目前,Soul风控AI已经逐步实现毫秒级风险识别与对抗能力。相较传统的“内容违规—人工处理”的单点治理方式,如今的AI治理更接近持续性的风险识别系统。它不仅关注单条内容本身是否违规,也会结合账号行为、互动关系以及上下文场景,对异常社交行为进行动态分析。

AI 技术大幅拓宽平台风控覆盖范围。以往审核以人工为主,处理能力有限;引入自动化识别体系后,平台风控效率实现数倍提升。

除了对异常内容即时发现与判断之外,平台也开始加强对黑产“反复作案”行为进行持续治理。例如,系统可对已判定的风险素材、违规内容进行联动管控,相似内容再次出现将直接被拦截,关联账号也会被回溯处置。该模式一改以往“发现一次、处理一次”的治理模式,抬高黑产作弊成本,压缩其生存空间。

随着相关治理能力逐步上线,平台对于异常社交风险的识别效率持续提升。目前,平台风险识别准确率已达95%,重点风险场景覆盖能力显著增强;平台内部分高风险行为开始回落据数据显示,杀猪盘高危触达量同比下降37.37%,相关深度风险互动持续减少。与此同时,异常互动相关用户举报量也进一步下降。

大量高风险账号已经能够在真正接触用户之前被提前识别与自动化处置,超过66%的高风险账号实现前置拦截,平台日均拦截异常与涉诈行为已超过10万次,累计为用户规避千万元级潜在损失,风控模式从事后处置转向前置干预。

例如,在上文假“豪车男”人设治理场景中,相关能力上线后,可毫秒级甄别盗图、合成图及高风险人设包装等场景,自动处置效率与用户感知量相比已达到10:1以上。



社交真实边界重新界定

除风险治理外,“AI陪伴”与真实社交的边界,也是行业热议的话题。

目前,Soul在部分场景中已上线标注清晰的AI虚拟角色,主打情绪陪伴、表达支持与互动体验,而不是以“真实用户”身份参与社区社交关系。平台同步更新《社区公约》,划定AI角色的使用边界,并提醒用户注意区分人机身份。

此外,平台也在增加使用提醒机制。例如,在用户与AI虚拟角色进行长时间连续互动时,系统会适时弹窗提醒,引导用户合理、理性使用。相较将AI单纯理解为“聊天工具”或“虚拟陪伴”,Soul更倾向于将AI定性为表达与情绪辅助工具,而非真人社交的替代品。

在技术风控之外,Soul也在持续尝试“用户共治”。社交社区中的风险内容、异常互动与新型套路,往往最先被用户察觉与反馈。

过去几年,Soul逐步搭建起用户反馈、风险举报、社区巡查以及护星员等多元化共治体系。用户主动分享反诈经验、识别异常互动特征,或参与社区安全相关内容的共建。相关反馈也反哺平台,持续优化风控策略。

相较传统意义上的“平台管理”,AI时代的社区治理更像是一种持续演化的协同机制。一方面,平台通过AI能力提升风险识别效率;另一方面,用户对于真实感、互动体验以及异常行为的感知,也在成助力风险研判。

某种程度上,Soul此次修订《社区公约》,并非单纯的规则调整,更是社交平台在AI浪潮下,对社交真实边界的重新界定。


官方账号@Soul风纪球长违规案例公示。

如何继续守护“真实”社交

AI深入内容创作、情绪陪伴与社交互动,让“真实”的界定变得越来越复杂。平台治理也告别过去单纯依赖人工审核与静态规则,升级为持续演化的动态治理模式,既要甄别风险内容本身,也要研判行为逻辑、互动关系以及更复杂的社交场景。

对于Soul而言,AI兼具产品与治理双重属性:既帮助用户更方便地表达与交流,也助力平台排查虚假人设、异常互动与高风险行为。但无论技术如何变化,真实、善意、自然的互动,仍然是社交关系核心的基础。

这或许是AI时代下,所有社交平台都需要面对的一个长期课题:当“像一个人”越来越容易时,平台该如何继续守护人与人之间真实的连接。对此,Soul也在不断探索解决方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

蓬勃新闻
2026-11-18 06:43:27
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
俄美专机在中国机场同框,伊尔-96与“空军一号”同场相望

俄美专机在中国机场同框,伊尔-96与“空军一号”同场相望

极目新闻
2026-11-18 22:11:29
从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

财经智多星
2026-11-18 13:23:33
肃反运动中,被张国焘杀害的6位红军名将

肃反运动中,被张国焘杀害的6位红军名将

祁州校尉
2026-11-18 09:00:39
A股三大板块,爆发!

A股三大板块,爆发!

证券时报
2026-11-18 16:28:03
99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

WarOH协虎
2024-12-01 22:10:02
援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

麓谷隐士
2026-11-17 00:05:10
重庆传奇大佬翁振杰,突发重大状况

重庆传奇大佬翁振杰,突发重大状况

正经社
2026-11-18 15:49:38
亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

中场阴谋家
2026-11-18 21:49:52
88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

毕导
2026-11-17 17:38:25
再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

头狼追球
2026-11-18 16:47:01
102-97!辽宁男篮险胜宁波,全华班阵容,付豪和鄢手骐手感超强

102-97!辽宁男篮险胜宁波,全华班阵容,付豪和鄢手骐手感超强

汪星人哟
2026-11-18 22:01:11
太惨了!安徽男子带着4岁孩子去跳楼,爸爸当场身亡,孩子妈患癌

太惨了!安徽男子带着4岁孩子去跳楼,爸爸当场身亡,孩子妈患癌

水晶的视界
2025-01-16 05:10:07
北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

法治边角料
2026-11-18 16:39:01
晚上12点!CCTV5直播国足年度“重头戏”,U17国少迎战世界第一,力争21年来首胜

晚上12点!CCTV5直播国足年度“重头戏”,U17国少迎战世界第一,力争21年来首胜

大卫的篮球故事
2026-11-18 11:27:29
冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

火山詩话
2026-11-18 09:38:15
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
2026-11-18 23:31:00
南方都市报 incentive-icons
南方都市报
换一种方式,南都在现场。
644260文章数 3591431关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
游戏
教育
健康
公开课

数码要闻

34999元起,华硕RTX Spark迷你主机ProArt GR1X发售

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版