黑产和AIGC造假都难了！小红书处置60万篇AI笔记

近 日，小红书公布2025年上半年打击「虚假」阶段性成果。数据显示，从1月截止到6月10日，平台已累计封禁黑灰产账号超1000万个，处置虚假笔记320万篇、虚假人设账号1万个，其中AIGC造假内容治理成为重点，上线了AIGC谣言诊断模型，半年内拦截低质AI笔记60万篇。（背景：5月，）

在上半年的治理中，针对AIGC技术引发的虚假笔记泛滥问题，小红书推出以下多层治理措施：

第一，明确AIGC内容显著标识：要求创作者主动对AIGC内容进行声明，并进行显著标识。对未声明AIGC的内容进行标识，帮助用户识别AIGC内容。持续简化打标流程，鼓励创作者利用新技术进行内容创新，也积极参与到生态建设中。

第二，上线音画识别模型，多维度识别AIGC。通过分析图像像素分布规律等识别AIGC合成痕迹；对音频的音色、语调等特征进行深度分析，挖掘可能存在机械化表达等。

第三，细化账号分级处罚机制。根据账号发布 AIGC 造假内容的性质、影响、范围和违规频次，制定阶梯式处罚标准，结合同设备关联关系对相关作恶账号一并追溯处罚。

第四，设置流量门槛，减少低质AI内容曝光。低质量AIGC内容到达一定曝光阈值，将停止推荐。

除此外，也对批量造假的黑灰产账号进行了重点打击。

黑灰产治理面临这些挑战：账号注册环节使用虚拟号码与群控系统批量、精细操作，内容层面通过符号缩写、黑话变体规避审核，违规场景从公开笔记向群聊、私信等私域转移。

对此，小红书升级机器对抗系统，将风险账号判罚时间缩短至实时处置，有效应对“黑产变体快且多”的特性。同时，针对黑灰产账号建立“同质化识别”风控体系，上线50+识别模型，实现账号、笔记、评论文本三维相似度检测。

值得关注的是，小红书推出“实名认证解冻”机制，对高危账号先冻结后验证，完成验证后解冻，显著提升黑产作恶成本。线下层面，小红书已向警方提供线索并推动7起典型案件侦办，形成“线上技术拦截+线下司法打击”的闭环治理模式。

小红书明确，在治理中，用户参与共治成为治理效率提升的关键。2025年上半年，虚假内容举报量同比增长40%。通过优化审核流程，被举报内容平均审核时长同比减少25%，预计接入大模型后年底将再缩短10%。

最后，小红书还披露了下半年用户共治计划。将简化举报流程实现“一页提交”，引入部分用户内容标注功能，计划推出“热榜辟谣卡”让用户辟谣内容登上热榜。

对此，你怎么看？有举报过虚假笔记或低质AI内容吗？欢迎在评论区留言，说说你的看法。

PS.

扫码加我，免费送你1份价值199元的2025年私域增长最新趋势洞察报告!

欢迎加入见实会员（点击下方按钮），参与前往各大品牌的私域游学和私享会，及获取私域大会PPT和直播回放、在线课程、40+主题白皮书等一手资料。

↘私域服务对接