网易首页 > 网易号 > 正文 申请入驻

内容审核“标准答案”:数美1800+四级风险标签构建精准防控边界

0
分享至

在AIGC加速渗透的当下,内容消费迎来了爆发式增长。面对海量、复杂多元的内容,利用标签体系做好内容分类和标记已是通用手段。尤其在UGC的内容平台,内容标签体系成为智能推荐算法和批量管理的基础需求,应用相对较成熟完善。但在风险内容的管理方面,由于内容较为复杂,且不同平台不同场景对于内容的审核要求不尽相同,目前还难以形成一套标准化的审核规范。

数美科技构建的 1800+四级风险标签体系,以精细化颗粒度重塑风险内容识别的精度、深度与效率,为AIGC 时代内容安全管理提供标准化、精细化解决方案。

AIGC 时代内容管理四大痛点

复杂、海量、多变、时效压力下的审核困境

无论是机审还是人机协同模式,面对AIGC时代的海量复杂内容,平台依然会面临以下诸多挑战:

1.复杂语义:AIGC内容安全与用户体验的平衡难题

在大模型内容安全领域,不仅关注对象和主题的识别,还需要深入到意图和观点的识别。例如传统方法可能只需标记和拒绝涉及违禁品或敏感主题的内容,但这种方法不适用于大模型,因为它可能会损害用户体验。

例如在提及毒品时,不是所有提及都需要被拦截,而是要区分其意图是否在于教授制作、买卖、运输或诱导使用毒品等有害行为。如果内容是在客观描述、批判抵制或使用比喻手法,这些则不需要被拦截。这种对意图和观点的深入理解,使得大模型的内容安全管理更为复杂,需要更精细化的风险定义。

2. 内容洪峰:人工审核产能瓶颈与成本激增难题

据测算,在保证审核质量的前提下,每个审核人员日均大概可审核常规图文稿件1000条左右,音频5小时左右。若平台每天生产50万条内容,经过机审后,90%的内容没问题放行,剩下被拒的10%需要人工复核,5万条内容也要一个人审核50天。这种体量的平台,仅是保证用户当天生产的内容当天审核通过,就至少需要人工复核的审核人员50位。而在实际的操作中,1个人同一时间只能单线程操作。

对于一些实时流产生的海量内容,人工审核的投入更大。例如数美科技服务的某平台,一天产生的音频流在6000小时左右,大概1.85%共111小时需要人工复审,按照每人每天5小时音频来计算,大概需要二十多人,但实际为了保证平台用户体验,该平台配备了近200人的人审团队。

3. 标准模糊与动态变化:风险内容审核的主观性困境与专业门槛

对风险信息的标准,不同的人往往存在理解上的差异。而除了基本的需求理解之外,敏感信息是随着监管政策、舆情导向动态变化的,目前已有的敏感词过万,且规则复杂,审核人员既要保证平台本身的调性,又要准确过滤掉敏感信息为平台防御风险,对审核人员的政策解读、风险判断能力提出极高要求,导致审核结果一致性难以保障。

4.毫秒级响应压力:审核效率与培训成本双重挑战

平台为保证用户体验,对审核的效率要求极高,尤其是实时流内容平台,甚至要求毫秒级的响应时间,给内容的审核带来了巨大挑战。而对于人审,提升效率最好的方式是制定相应的培训体系,通过培训统一标准,提升专业性。据数美科技统计,培养一个合格的审核员至少1个月以上,叠加人员流动因素,这无疑又增加了巨大的培训成本。

四级标签体系

1800+维度构建内容风险 “显微镜”

针对平台的难题和痛点,数美科技基于近十年在内容识别领域的积淀,针对风险内容的海量样本库,已建立起一套完备的四级风险内容标签体系。足够细分的标签,更好地帮助机审优化迭代,同时,也有助于和企业的人工审核进行配合,标签对违规内容进行详细解释,也能帮助人工高效判断并处置,助力平台实现更全面更精细化的内容管理,提高审核效率。

1.四级标签:从风险大类到意图解析的全维度覆盖

定义风险是内容管理的核心部分。数美科技基于近十年的内容风控经验沉淀了四级风险内容标签体系,覆盖文本、视觉、音频多模态内容,包括色情、暴恐、违禁等7大类标签共1800多个细化标签。一级标签是风险大类别,二三级标签主要是对对象和主题的分类。四级标签(AIGC 时代新增)解析内容意图与观点,实现从 “是什么” 到 “为什么” 的深度识别。

同时,针对平台本身生态维护需要的风险内容识别,该套标签体系还提炼出了广告标签下的100+个细分标签,如广告一级标签下的导流广告,细分为不同类型的导流,其中“看个人资料导流→看头像/照片/签名→明确意图/隐晦意图”,通过精细化到意图的标签,帮助平台迅速判断内容背后的倾向,及时做出相应的处理方式。

2.场景化细分标签:未成年人保护与出海合规的精准适配方案

(1)200+未成年人专属风险标签

针对未成年人专项内容治理,数美将未成年相关的风险标签细化到200+个。如霸凌,细化到霸凌意图、霸凌指令、霸凌描述等, 分析是否肯定霸凌价值、表达霸凌意愿、怂恿他人霸凌等意图和观点,这套标签体系对于未成年人相关的风险内容可以做到更精准的定义,助力实现更高效、更精细化的复杂内容识别。

(2)海外特色标签

基于全球政策与文化差异,构建包含宗教符号(十字架、佛像)、种族特征(白种人、黑种人)、地域标识(阿拉伯袍、土耳其国旗)等细分标签,支持企业按地区法规自定义审核策略。通过标签细化训练模型,人机协同效率提升 50% 以上,有效应对出海内容合规挑战。

数美科技的风险内容标签体系基于十年来的行业经验和技术积累,通过完善的模型策略体系,海量样本库、多元化业务场景以及多样化的内容形式,进行多模型的组合训练,在实际应用中不断精细化。

每一次标签升级背后,都是数美科技多团队通力合作的结果。从一个客户需求到一个抽象标签,至少经过四个重要步骤。首先,产品团队会判断现有标签能否满足客户需求,若不能,则开始考量新标签应用的普适性。第二,生成新标签,对标签进行准确定义,收集样本、准备算法等。第三,产品团队思考和撰写标签的使用手册,策略团队准备相应的配置策略,并将用法和策略相结合。第四,上线标签,在行业场景中使用。

标签体系赋能

降本、提效、标准化的三重价值突破

1.精细化:灵活定制审核策略,识别处置更精准

不同行业,对信息过滤的要求不同,数美科技基于这套精细化的标签体系,可根据不同行业的客户制定更具针性的策略。以智能鉴黄为例,目前行业内的解决方案其实大同小异,可分为明确分类标准、收集样本、样本打标、模型训练等几个步骤。其中,明确分类标准是第一步,且是最关键的一步。数美科技精细化的风险内容标签体系优势,可供不同行业在不同场景下选择最适合自己的审核标准,通过“标签即策略” 的灵活配置,企业无需从零构建规则,直接调用细分标签组合,实现审核方案的快速适配与精细化的高效处置,识别准确率也更高。

比如在视觉标签“性感”大类下细分出男/女性感、男女漫画性感、性感动作等8类二级标签,在此基础上进一步细分出诸如“露肩背”、“轻/中/重度露沟”等200+个细化标签,秀场直播和教育直播对于“露肩背”的接受度就截然不同,通过细化的标签,平台可根据自身的调性选择最适合自己的个性化审核方案。

2.建立标准与规范:风险内容审核更清晰具体

对于敏感信息的审核标准,监管的相关政策虽提供了指导,但不同行业内并未制定完整详细的规范。数美科技倾力打造的这套风险内容标签体系,将政策内容转换为具体明确的标签,为内容识别领域的标准与规范建立了范本。这套标签还曾用作培训审核团队的标准,解决传统审核中“标准模糊、理解差异” 问题审核人员培训、学习时有了统一、确定的审核标准,培训的效率显著,相应的培训投入成本也大幅降低。

3.可量化可追溯:智能生成风险内容图谱

通过标签对违规内容进行分类标记,可实时生成风险内容分布报告,清晰呈现各风险标签的占比与趋势,为审核策略优化提供数据支撑。同时,支持历史数据回溯,满足特定时期监管要求的内容清洗需求,实现审核工作的可量化、可追溯,提升内容管理的科学性与合规性。

数美科技的四级风险标签体系以“全维度覆盖、场景化细分、动态化迭代”的优势,成为内容安全管理的基础设施。未来,数美将持续深耕标签体系的精细化与智能化,结合监管政策与客户需求进化,为全球企业提供更高效、更精准的风险内容治理方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我军师长俘虏敌军长,正想审问,陈毅却电令:别多问,马上放人

我军师长俘虏敌军长,正想审问,陈毅却电令:别多问,马上放人

微野谈写作
2026-06-24 11:40:06
央视将播!谍战大剧《千里江山图》来了!我敢说:陈道明又赌对了

央视将播!谍战大剧《千里江山图》来了!我敢说:陈道明又赌对了

草本纪年
2026-06-25 16:57:46
消失的150万契丹人找到了?DNA比对结果一出,原来就在我们身边

消失的150万契丹人找到了?DNA比对结果一出,原来就在我们身边

马蹄烫嘴说美食
2026-06-24 21:36:53
今年“扭结T”火出圈了,好遮肉显瘦!

今年“扭结T”火出圈了,好遮肉显瘦!

她读
2026-06-25 22:41:14
“没脑子,但有钱”,男生考上川大火了,网友:这专业我无法支持

“没脑子,但有钱”,男生考上川大火了,网友:这专业我无法支持

泽泽先生
2026-06-01 19:36:41
泪目!蔡磊说将亲眼看渐冻症被终结,眼睛无用后,就直接连入大脑

泪目!蔡磊说将亲眼看渐冻症被终结,眼睛无用后,就直接连入大脑

笑谈历史阿晡
2026-06-22 03:36:15
终于承认了:房价跌了,真的变穷了

终于承认了:房价跌了,真的变穷了

大川东山再起
2026-06-23 12:11:47
被曝门紧闭、不见人?实探“靠谱老王” 背后深圳公司,本人最新回应

被曝门紧闭、不见人?实探“靠谱老王” 背后深圳公司,本人最新回应

南方都市报
2026-06-25 08:27:29
韩国球迷意难平!不止因为0-1南非,更多在于以下五点!

韩国球迷意难平!不止因为0-1南非,更多在于以下五点!

啊哒体育
2026-06-25 12:48:50
80后,正成为社会的高危人群

80后,正成为社会的高危人群

职场资深秘书
2026-06-25 23:41:27
76号恶魔吴四宝:自称“小杜月笙”,敢打黄金荣耳光,死于一碗面

76号恶魔吴四宝:自称“小杜月笙”,敢打黄金荣耳光,死于一碗面

史明人生
2026-06-25 23:35:05
马宁基本确定不再担任世界杯主裁,知情人士:因后续淘汰赛未携带完整裁判组

马宁基本确定不再担任世界杯主裁,知情人士:因后续淘汰赛未携带完整裁判组

上观新闻
2026-06-24 19:00:31
出大事了!网传福耀科大校长王树国论文涉嫌抄袭被举报…

出大事了!网传福耀科大校长王树国论文涉嫌抄袭被举报…

慧翔百科
2026-06-23 08:29:42
马斯克揭示:全球有影响力的国家都拒中,只因中国制造取代了他们

马斯克揭示:全球有影响力的国家都拒中,只因中国制造取代了他们

此去经年q
2026-06-20 01:30:10
巴拉圭“胸神”16年后重返世界杯,靠火辣身材爆红,愿为赢球裸奔

巴拉圭“胸神”16年后重返世界杯,靠火辣身材爆红,愿为赢球裸奔

深析古今
2026-06-14 15:32:00
七万卤菜食材被狗啃后续!大爷还养宠物,厨房曝光,不止卫生问题

七万卤菜食材被狗啃后续!大爷还养宠物,厨房曝光,不止卫生问题

娱来神掌A
2026-06-24 16:10:56
差600万年薪太离谱!枪手报价遭冷遇,阿尔瓦雷斯执念藏内幕

差600万年薪太离谱!枪手报价遭冷遇,阿尔瓦雷斯执念藏内幕

林子说事
2026-06-25 00:15:22
热身赛成绩不算噩梦,郑钦文温网或又一轮游?美网资格赛在招手!

热身赛成绩不算噩梦,郑钦文温网或又一轮游?美网资格赛在招手!

网球之家
2026-06-25 16:52:20
张继科看了两眼哈兰德跑步,丢下一句话,直接把整个直播间干沉默

张继科看了两眼哈兰德跑步,丢下一句话,直接把整个直播间干沉默

童叔不飙车
2026-06-23 01:17:32
韩媒:墨西哥3-0捷克报了当年的恩,要是输球韩国甚至会垫底出局

韩媒:墨西哥3-0捷克报了当年的恩,要是输球韩国甚至会垫底出局

懂球帝
2026-06-25 11:30:13
2026-06-26 02:27:00
数美科技
数美科技
数美科技-在线业务护航专家
164文章数 1关注度
往期回顾 全部

科技要闻

存储成本压力山大!苹果罕见全球提价

头条要闻

佛得角震撼世界足坛 佛得角足协给中国男足支招

头条要闻

佛得角震撼世界足坛 佛得角足协给中国男足支招

体育要闻

世界杯最动人一吻:我若离世 你就改嫁吧

娱乐要闻

这国产剧太装了,居然还热播第一?

财经要闻

又有纸尿裤送检后被检测出甲酰胺!

汽车要闻

老板们的新座驾!65万元起,尊界V800/V680开启预订

态度原创

艺术
亲子
旅游
教育
公开课

艺术要闻

税务局大楼能是这样?5个立方体扭40度,高171米!

亲子要闻

儿科其实是一个接近动物学的专科!来看看大家的经历吧!

旅游要闻

人生第一次去巴黎,最难忘的竟然是扫墓

教育要闻

这是南京什么神仙学校?高分学子扎堆!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版