网易首页 > 网易号 > 正文 申请入驻

Claude Code砸的坑,蚂蚁安全在尝试填上

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

2026年,AI安全终于被推到了台前。

就在前两天,工信部NVDB平台发布风险预警,明确指出Claude Code存在安全后门隐患,可在用户不知情的情况下收集敏感信息。

时间线拨回更早,年初红遍全网的OpenClaw也屡屡被曝出高危险漏洞。

从横空出世到快速普及,再到漏洞频发、信任受损,这几乎是当前Agent产品共同的发展轨迹。

现在的AI能力是越来越大了,但闯出的祸也跟滚雪球似的。

滥用工具、恶意代码生成、提示注入等诸如此类的行为风险,早已不是一两个补丁就能彻底解决的。


图片由AI生成

面对新的风险形态,一个越来越明显的趋势是,行业开始把注意力从“漏洞修补”转向“安全框架”本身。

最近蚂蚁开源的SingGuard-NSFASingGuard,就是其中比较值得关注的一次尝试。

前者看住智能体的行为,后者看住多模态大模型的感知。

其目的也很明确,就是在AI动手之前,将安全风险扼杀在摇篮之中。



之所以聊到这个项目,也是因为它的背景比较有意思。做这个框架的团队来自蚂蚁,一家在安全领域拥有长期积累的公司。

先是支付安全、风控体系,再到如今的AI安全,安全能力在这家公司内部本身就是一条持续演进的技术路径。

AI安全,正在换一套打法

其实OpenClaw也好,Claude Code也罢,它们的背后都指向同一个事实:风险的源头,已经从内容变成了行为本身。

过去做AI安全,本质还是互联网时代的那套打法,只需要紧盯模型输出完成内容审核即可。

但大模型早就不满足于聊天了,调工具、跑代码,它的手越伸越长,能触及的风险自然也越来越多。

光盯着模型说什么,显然不够,现在真正的问题是还要看模型做了什么

偏偏这一块,是传统内容安全分类体系无法企及的盲区。



在此基础之上,多模态也来横插一脚。现在风险不止于文本,还可能藏在图像细节、图文组合,甚至模型自己的响应中。

更棘手的是,不同业务的安全红线也在持续动态变化,昨天合规,今天换个场景就可能踩线。

已知风险平时靠打打补丁还能勉强应付,所谓兵来将挡水来土掩,那么未知风险和不断变化的规则又如何解决呢?

所以答案很清晰了,单靠打补丁抑制风险是治标不治本,行业缺的不是一个又一个补丁,归根结底是一套能定义安全边界、应对未知风险和规则变动的底层框架

两套框架,一个方向

蚂蚁安全最近开源的两大安全框架,就是冲着这个底层问题来的。

先看面向智能体安全的双模推理护栏框架SingGuard-NSFA,包括0.8B、2B、4B、9B四个尺寸。



它的核心思想是把安全检查前置到智能体执行之前,然后在请求拦截和响应兜底两端同时设卡,共同发力把防线从文本合规推进到行为安全。

支撑起这个判断的,是一套系统性的NSFA风险分类体系多语种评测基准

蚂蚁以经典的CIA三元组,也就是机密性、完整性、可用性为理论底座,再结合三份OWASP大模型与智能体安全指南的实践经验,把智能体可能出现的风险依次拆解排列。

然后借助SFT生成式推理与判别式分类头,两种模式同步进行风险拦截:

  • 生成式模式:逐条输出基于NSFA定义的链式推理分析,让每一步判断都有据可查,适用于离线合规审计;
  • 判别式模式:每次前向传播就直接给出各风险域的置信度,延迟可以压到45~57ms,可用于高吞吐的实时在线拦截。

这里还有个讨巧的设计,由于骨干网络是冻结的,真正下判断的是外挂在上面的轻量分类头,所以以后一旦冒出新风险,只需要补训一个小头就行,轻松实现原生可扩展。



换言之,这套架构还能当插件用,比如给Llama Guard 3额外增加一个分类头,用户请求安全基准的F1值直接提升17.6个百分点。

从整体效果来看,SingGuard-NSFA在3大评测基准(用户请求安全、模型响应安全、跨数据集泛化)上均取得SOTA,最小的0.8B模型就能比肩8B竞品,9B大小更是在泛化上达到91.29% F1,精度与召回更加均衡。

另一个开源框架则是面向多模态大模型的SingGuard,同样包括0.8B、2B、4B、8B四个尺寸。



它最大的特点,是把安全规则做成了运行时输入。不同业务域可以现场下发各自的红线,模型据此逐条判定。

也就是说,它回答的不只是有没有风险,也包括是否违反当前防控规则。

推理侧同样讲究快慢分工,快思考负责低延迟秒判,慢思考负责逐规则深度推理,两者之间还能通过early exit自动切换,在效率和准确性之间寻找平衡。

针对线上多条规则并行审核的效率瓶颈,蚂蚁还提出了RI-Mask,让共享的图文上下文只编码一次,多条规则并行判断,这样多模态推理最高可提速5倍以上。



显然,SingGuard-NSFA和SingGuard这两个框架各自面向的对象有所不同,一个更关注AI行为,另一个更关注AI感知,但它们的底色是一致的,都强调过程可解释新增风险可扩展

具体触犯了哪条规则、依据是什么,审核和追溯都拿得出理由,不是黑箱操作或简单下结论;新增风险都仅需轻量扩展,不影响已有的检测能力。

如果说很多安全产品解决的是具体问题,那么这一类框架更像是在定义未来智能体运行所依赖的安全基础设施。

再把时间线拉长来看,这次开源其实不是孤立事件。

今年早些时候,在全网关注OpenClaw漏洞的同时,蚂蚁AI安全实验室就曾发现多个高危漏洞并协助官方完成修复。

随后,蚂蚁与清华大学联合开源了ClawAegis,为智能体提供了一套覆盖产品全生命周期的安全方案。



再到最新的安全框架开源,这条脉络其实相当清晰:从漏洞挖掘到场景化解法,再到可复用的底层框架。

显然蚂蚁在AI安全上的布局,是在逐步收束成体系。

前不久,蚂蚁智能体安全产品还通过了信通院泰尔实验室的最高等级评级。这类第三方认证,至少也说明在工程落地上,蚂蚁确实走在了前面。



可以说,靠补丁续命的时代已经过去了,行业需要有人往前一步,去定义风险的边界,去搭建一套大家都能稳稳站上去的底座。

Claude Code、OpenClaw带来的讨论,某种程度上只是开始。随着Agent越来越深入办公、开发和生活场景,AI安全也将进入新的阶段。

相比不断追赶漏洞,如何建立一套能够持续适应风险变化的安全基础设施,或许才是整个行业下一步真正需要解决的问题。

从这个角度再回头看最近的这些开源动作,它们真正值得关注的,不只是性能指标,而是开始尝试回答一个更底层的问题:

AI时代的安全边界,究竟应该如何定义。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
举报蒋方舟的清华教授肖鹰最新回应:这是一次“及时的、果决的自我纠错”

举报蒋方舟的清华教授肖鹰最新回应:这是一次“及时的、果决的自我纠错”

大象新闻
2026-07-14 18:34:05
U17世界杯:中国女篮狂输西班牙36分 三分18中2+狂送27失误

U17世界杯:中国女篮狂输西班牙36分 三分18中2+狂送27失误

醉卧浮生
2026-07-14 19:54:48
十余名外甥再来重庆“宇宙舅舅”家过暑假,一顿江西炒粉花费20个鸡蛋10斤米粉2.5斤肉,“舅舅”龚玲军:很珍惜现在这种团聚的机会

十余名外甥再来重庆“宇宙舅舅”家过暑假,一顿江西炒粉花费20个鸡蛋10斤米粉2.5斤肉,“舅舅”龚玲军:很珍惜现在这种团聚的机会

扬子晚报
2026-07-14 12:34:30
“请愿将阿根廷逐出世界杯人数已超500万”冲上热搜,阿根廷主帅曾回应:绝不存在任何偏袒,VAR时代偏袒“难如登天”

“请愿将阿根廷逐出世界杯人数已超500万”冲上热搜,阿根廷主帅曾回应:绝不存在任何偏袒,VAR时代偏袒“难如登天”

扬子晚报
2026-07-14 17:45:00
嘴上喊丁克,晚年全当爹?施南生离世,撕开3大港圈大佬的遮羞布

嘴上喊丁克,晚年全当爹?施南生离世,撕开3大港圈大佬的遮羞布

往史过眼云烟
2026-07-14 16:43:04
做完手术人就废了,这6种手术不需要做,别让无知害了自己

做完手术人就废了,这6种手术不需要做,别让无知害了自己

荷兰豆爱健康
2026-07-14 17:35:55
法国爆料最新消息,姆巴佩可能无法出战,止步 4 强心有不甘

法国爆料最新消息,姆巴佩可能无法出战,止步 4 强心有不甘

酷侃体坛
2026-07-14 13:20:39
油价调整通知:7月17日24时上涨!

油价调整通知:7月17日24时上涨!

舒城视听在线
2026-07-14 19:51:26
伊朗称美进入正式战争状态

伊朗称美进入正式战争状态

界面新闻
2026-07-14 20:01:51
国际足联,批准阿根廷和英格兰的申请!

国际足联,批准阿根廷和英格兰的申请!

体育哲人
2026-07-14 14:09:33
世界杯,谁能夺冠?罗纳尔多给出了自己答案!

世界杯,谁能夺冠?罗纳尔多给出了自己答案!

体育哲人
2026-07-14 18:40:29
连炸3天后,特朗普摊牌了,美国要在海峡收费,中方一句话定调

连炸3天后,特朗普摊牌了,美国要在海峡收费,中方一句话定调

浮黎礼
2026-07-14 10:54:02
德国出资9000万欧元买5万架攻击无人机,首批已到乌克兰

德国出资9000万欧元买5万架攻击无人机,首批已到乌克兰

桂系007
2026-07-12 23:54:18
伊朗发动代号“纳斯尔2”军事行动,对美军“造成重大损失”!特朗普:伊朗想达成协议,已与美方接触!以色列非常想加入打伊朗,美国不让

伊朗发动代号“纳斯尔2”军事行动,对美军“造成重大损失”!特朗普:伊朗想达成协议,已与美方接触!以色列非常想加入打伊朗,美国不让

每日经济新闻
2026-07-14 13:47:03
中共中央批准:济南市委书记履新!多个省级党委领导班子调整

中共中央批准:济南市委书记履新!多个省级党委领导班子调整

上观新闻
2026-07-14 16:14:32
每天一杯瑞幸!贫困生被同学举报当场泪崩:我不配喝咖啡吗?网友算账怒怼

每天一杯瑞幸!贫困生被同学举报当场泪崩:我不配喝咖啡吗?网友算账怒怼

老猫观点
2026-07-13 16:24:45
欧洲十国宣布组建新联盟

欧洲十国宣布组建新联盟

财联社
2026-07-14 16:09:06
朝鲜街头问当地人对中国人啥印象,对方脱口而出,听完我沉默许久

朝鲜街头问当地人对中国人啥印象,对方脱口而出,听完我沉默许久

千秋文化
2026-07-14 19:47:02
长沙彭副处长被停职仅两天,荒谬一幕出现,到底是谁在为她洗白?

长沙彭副处长被停职仅两天,荒谬一幕出现,到底是谁在为她洗白?

社会日日鲜
2026-07-14 12:58:45
一辆特斯拉到底能开多少年?特斯拉官方回应

一辆特斯拉到底能开多少年?特斯拉官方回应

齐鲁壹点
2026-07-14 17:24:53
2026-07-14 22:56:49
量子位 incentive-icons
量子位
追踪人工智能动态
12949文章数 176518关注度
往期回顾 全部

科技要闻

AI失业风险正在逼近 "我们连未来都看不清"

头条要闻

美对霍尔木兹海峡通行收费20% 全球哗然:等同海上抢劫

头条要闻

美对霍尔木兹海峡通行收费20% 全球哗然:等同海上抢劫

体育要闻

“爱哭鬼”教练,凝聚了一盘散沙的阿根廷

娱乐要闻

施南生离世,成龙、甄子丹等发文悼念

财经要闻

为什么说智谱是中国版Anthropic是伪命题

汽车要闻

激光雷达+智舱 看吉利星瑞L PLUS如何让燃油车也更智能

态度原创

房产
教育
艺术
时尚
军事航空

房产要闻

三亚湾,最魔幻豪宅项目曝光!

教育要闻

四年级思维训练,九宫格填数字,记住口诀轻松解决

艺术要闻

22幅 当代画家风景油画作品

夏天上衣穿浅色少穿深色,看看这些浅色单品,百搭舒适又减龄

军事要闻

美军宣布将于14日恢复对伊朗的海上封锁

无障碍浏览 进入关怀版