网易首页 > 网易号 > 正文 申请入驻

上海AI实验室突破:AI安全卫士实现主动威胁识别

0
分享至

这项由上海人工智能实验室、南京大学和北京航空航天大学联合完成的突破性研究发表于2025年12月29日,论文编号为arXiv:2512.23573v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们在网上冲浪时,各种内容扑面而来——有的让人开心,有的让人担忧,还有一些可能藏着不为人知的风险。就像一个经验丰富的保安,传统的AI安全系统只能识别那些已知的威胁类型,遇到从未见过的新型风险时就束手无策了。然而,上海人工智能实验室的研究团队刚刚发布了一个名为ProGuard的AI系统,它就像一位具备超强洞察力的安全专家,不仅能识别已知威胁,还能主动发现并描述那些从未遇到过的全新安全风险。

这个研究的核心突破在于改变了AI安全检测的思维模式。以往的系统就像一个只会按照固定清单检查的门卫,只有当威胁完全符合已知模式时才会发出警报。而ProGuard更像一位经验丰富的侦探,即使面对前所未见的可疑行为,也能凭借对安全本质的深度理解做出合理判断,并准确描述这种威胁的特征。

研究团队在构建这个系统时面临着一个根本性挑战:现有的AI安全系统普遍存在"偏科"现象。它们在处理文字内容时表现不错,但一旦遇到图片或者图文混合的内容就显得力不从心。这就好比一个只会看文字说明书的维修工,当需要根据图片来判断故障时就会感到困惑。

为了解决这个问题,研究团队首先做了一件看似简单但实际上极为繁琐的工作:他们构建了一个包含8.7万个样本的庞大数据集,就像为侦探准备了一本内容丰富的案例手册。这个数据集的特别之处在于它的平衡性——文字、图片和图文混合的内容各占三分之一,确保AI系统在各种类型的内容面前都能保持同样敏锐的判断力。

更重要的是,研究团队设计了一套全新的安全分类体系,就像为不同类型的安全威胁建立了一个详细的"族谱"。这套体系包含11个大类和28个细分类别,涵盖了从版权侵犯到网络攻击,从金融诈骗到环境威胁的各种安全风险。每个类别都有清晰的定义和具体的识别标准,为AI系统提供了准确判断的基础。

然而,这项研究最令人惊叹的创新在于它的训练方法。传统的AI系统就像一个需要老师手把手教导的学生,必须通过大量的标准答案来学习。而ProGuard采用了一种名为强化学习的训练方式,更像是让AI在实战中自己摸索和成长。系统通过不断尝试和犯错来学会如何做出正确的安全判断,这种训练方式让它具备了面对未知威胁时的应变能力。

在这个训练过程中,研究团队故意给AI系统出了一些"难题":他们会故意隐藏一些安全类别,然后看AI能否自己推理出这些缺失类别的名称和特征。这就像让侦探在案例手册页面缺失的情况下,依然能够分析和描述新型犯罪的特点。为了让AI的判断更加准确,研究团队还建立了一个"同义词库",用来评估AI对未知威胁的描述是否合理。

当AI系统遇到一个从未见过的安全威胁时,它不会简单地将其归为"其他"类别,而是会仔细分析威胁的特征,然后给出一个具体的描述。比如说,当系统遇到一种新型的医疗误导内容时,它可能会将其描述为"医疗误诊"而不是简单地标记为"有害内容"。

这种能力的实现依靠的是AI系统内部一种被称为"思考"的机制。当面对需要判断的内容时,AI会先在内心进行一番推理,就像人类在做重要决定前会仔细思考一样。这个思考过程被完整地记录下来,让人们能够理解AI是如何得出最终结论的,大大提高了系统的可信度和可解释性。

研究团队在多个国际标准测试中验证了ProGuard的性能。结果显示,在传统的安全内容识别任务中,ProGuard的表现与市场上最好的商业化AI系统不相上下。更令人印象深刻的是,在面对全新类型的安全威胁时,ProGuard的识别准确率比现有系统提高了52.6%,而在准确描述这些威胁的能力上更是提升了64.8%。

这种提升不是偶然的。研究团队发现,通过平衡不同类型内容的训练数据,AI系统在各种媒体形式面前都能保持稳定的判断能力。无论是纯文字的恶意评论,包含敏感图片的社交媒体帖子,还是图文混合的误导性广告,ProGuard都能给出准确的安全评估。

特别值得一提的是,研究团队在训练方法上的创新也带来了意外的好处。传统的AI训练方法往往会产生冗长而重复的"思考"过程,就像一个话痨在自言自语。而ProGuard通过强化学习训练出来的思考过程更加简洁有力,平均只需要52个思考单元就能做出准确判断,相比传统方法减少了一半以上的冗余思考。

为了确保AI的判断与人类的认知保持一致,研究团队还进行了大规模的人工验证。他们让人类专家对AI的判断结果进行评估,发现在各个安全类别中,人类专家与AI的一致性都超过了80%,证明了系统判断的可靠性。

这项研究的意义远不止于技术突破本身。在当今这个信息爆炸的时代,各种新型的安全威胁层出不穷,传统的"黑白名单"式安全防护早已无法应对复杂多变的网络环境。ProGuard代表了AI安全领域从被动防御向主动识别的重要转变,它不仅能够处理已知威胁,更重要的是具备了应对未知风险的能力。

从实际应用的角度来看,这种技术将为社交媒体平台、内容分享网站、在线教育平台等需要进行内容安全管控的服务提供更加智能和全面的解决方案。用户在这些平台上分享内容时,不再需要担心因为安全检测系统的"知识盲区"而让有害内容漏网,也不用担心正常内容被过度敏感的系统误伤。

此外,这项研究还为AI安全领域的发展开辟了新的方向。通过让AI系统学会"举一反三",我们可以期待未来的AI安全助手不仅能够识别和分类威胁,还能够为安全策略的制定和完善提供有价值的洞察。当新的安全威胁出现时,这些系统能够快速学习和适应,为网络安全防护提供更加敏捷和智能的支持。

值得注意的是,研究团队已经将ProGuard开源,这意味着全世界的研究者和开发者都可以在此基础上继续创新和改进。这种开放的态度不仅促进了学术界的交流合作,也为这项技术的快速普及和应用奠定了基础。

展望未来,随着AI技术的不断发展和网络环境的日益复杂,像ProGuard这样具备主动学习和推理能力的安全系统将变得越来越重要。它们不仅是技术进步的体现,更是我们构建更加安全、可信的数字世界的重要工具。这项研究为我们展示了一个令人鼓舞的前景:AI不仅可以成为我们的得力助手,还能够在面对未知挑战时展现出类似人类的智慧和判断力。

Q&A

Q1:ProGuard与传统AI安全系统有什么区别?

A:传统AI安全系统只能识别已知的威胁类型,就像按照固定清单检查的门卫。而ProGuard能够主动发现并描述从未见过的全新安全风险,更像一位具备洞察力的安全专家,即使面对前所未见的威胁也能做出准确判断。

Q2:ProGuard在性能方面比现有系统提升了多少?

A:在面对全新类型安全威胁的识别准确率上,ProGuard比现有系统提高了52.6%,在准确描述这些威胁的能力上提升了64.8%。在传统安全内容识别任务中,其表现与市场上最好的商业化AI系统不相上下。

Q3:普通用户能否使用ProGuard技术?

A:研究团队已经将ProGuard开源,全世界的开发者都可以在此基础上创新改进。预计未来会有更多基于这项技术的安全产品应用到社交媒体、内容分享网站等平台中,为用户提供更智能全面的内容安全保护。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

白云故事
2025-03-14 19:05:07
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

韩小娱
2026-11-03 11:14:01
一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

风起见你
2026-09-28 01:22:36
全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

神秘莫测的世界
2026-10-19 23:07:37
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

火山詩话
2026-11-20 05:27:48
刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

赶鸭子上架
2026-10-15 20:01:24
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
孩子大三准备考研|考研机构挑选参考指南

孩子大三准备考研|考研机构挑选参考指南

研趣考研
2026-09-04 14:38:42
玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

菜但瘾大第一名
2026-11-19 21:52:54
丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

叮当当科技
2026-11-06 09:53:32
冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

汪医生健康百科
2026-11-19 20:25:03
魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

生思孰虑
2026-11-17 17:01:18
美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

徐德文科学频道
2026-11-19 02:13:12
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

一拙见
2026-11-15 16:46:04
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
2026-11-21 03:48:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
艺术
房产
家居
公开课

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版