网易首页 > 网易号 > 正文 申请入驻

腾讯朱雀开源了一个好东西

0
分享至

你的 AI 安全吗,我这几天遇到两个问题,值得跟大家聊下。

第一个,我的 Agent 工具里装了不少 Skill,连了几个 MCP 服务器,但我不知道装的 Skill 进行什么操作,有没有藏着可疑的代码。

之前有空时还会翻看一下它的源码,不过效率很低,也不一定看得出来。

第二个,我手头有个项目接了公司资料库的 Agent,快上线了。

我想知道这类 Agent 会不会失控,有没有安全问题,一直没找到靠谱的办法验证,全靠自己想几个刁钻问题手动去试,测得很不全面。

直到最近,我在 GitHub 发现一个名叫AI-Infra-Guard(后面简称叫 AIG)的开源项目,正好解决了我的问题。

GitHub:https://github.com/Tencent/AI-Infra-Guard



我看了下项目文档和源码,发现是来自腾讯朱雀实验室开源,还拿自己的项目进行了实测。

下面跟大家分享几个我觉得有意思的地方。

A.I.G 是什么

其实 AIG 算是一套全栈 AI 红队安全平台,支持 OpenClaw 安全扫描、Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描,以及对大模型越狱评测。

简单来说,关于 AI 安全我们能想到的场景,它基本都覆盖了。

如果我们不想直接部署平台,AIG 也提供了一个 aig-agent-redteam 安全检测 Skill,安装命令如下:

npx skills add https://github.com/Tencent/AI-Infra-Guard.git --skill aig-agent-redteam



安装完成后,只需要用大白话描述,告诉 AIG 你要做什么即可。

比如让它检查我装的 Skill、Mcp 是否有问题, 或者对项目外部 Agent 的安全性做一个检测。

就会触发 AIG Skill 进行扫描,扫描这部分背后调的就是 AIG 审计的能力,不用我们额外装东西,也不用单独记命令。

对 Agent 自身体检

首先用它对我自己安装的 Agent 做测试,只说了一句:“帮我对自身进行安全检测”。



它会先看当前 Agent 连了哪些工具、暴露了哪些攻击面,自己选测试路径去跑,跑完后会在本地生成一份报告。

报告里不是简单打个分,而是带有完整的证据链,具体是哪条 payload 触发了问题,Agent 当时给出了什么响应,再配一条对应的修复建议。



这个粒度对我来说挺关键的,若只有风险等级,我也不知道具体该往哪改。毕竟 Agent 一旦失控,不是报错那么简单,是真的会执行到底。

整个过程数据都在本机跑,不会往外部服务器传,这点我实测之前专门确认过,毕竟拿自己 Agent 的权限配置去做体检,数据要是传出去了反而更不安全。



自动化诱导,获取系统提示词

开头提及到第二个问题里,我最在意的是提示词泄露这件事,靠自己手动试问法太不靠谱了,容易漏。

于是调用这个 Skill,把我们资料库 Agent 的接口给到 WorkBuddy,同时也 把 Chrome 抓包导出的 har 文件,一并发给 Agent。

这一步,主要是让模型知道我们系统的对话接口是如何使用,如何调用的。



仅仅 10 分钟,就输出一份完整安全评估报告,还真发现了不少漏洞。

而且不是传统漏洞,像系统提示词泄漏,间接注入是 AI 时代特有的漏洞!

仔细看了下运行过程,它是生成一批诱导性的问法去套。

如果只跑单轮还不够,它还内置了几种更狠的多轮套话方式。

例如先在上下文里堆一堆看起来「正常问答」的假样本,把模型的警惕心先降下来。

再抛出真正想问的东西;让攻击模型跟目标模型一轮一轮过招,每次根据上一轮的回应调整问法,一步步逼近目标。

这几种方式跑一遍,比我自己憋十个刁钻问题靶向测试全面多了。



另外,它还会用多个方法去获取提示词,然后交叉验证最终确认,后面和业务沟通,系统提示词确实一致。

跑完这次安全检查,我才算是真正对这个 Agent 会不会「被套话」有底了,不是靠感觉,是有实测数据撑着的

其他能力,简单提一下

上面提及的功能,只是 AIG 的冰山一角,还有很多模块我没细测,就简单跟大家说一下:

  • 他维护了一个 AI 组件的漏洞库,可以对内网 AI 基础设施做安全检查,vLLM、Ollama 这类服务本身的已知漏洞,覆盖了 1900 多个 CVE;
  • 还有 MCP、SKILL 扫描模块,用于检查 MCP 和 SKILL 的安全;
  • Agent Scan 是针对 Dify、Coze 这类多智能体工作流的整体安全评估;
  • 大模型安全检测模块,可以对单个模型进行提示词越狱之类的安全测试。

这些如果刚好匹配到我们的使用场景,可以直接去官方文档看下对应用法,还有一点,这些能力不是非要绑在一起用。

像前面提到的 Skill 扫描、MCP 扫描,都可以单独拆出来当命令行工具装,不用把整个平台跑起来,想测哪块就装哪块。

另外这个项目是完整开源,就连前后端和扫描端都开源了。

如果你想把这些检测能力接进自己现有的系统里,或者按自己的需求改界面,也都留了空间。



实话实说,项目也有些局限,平台跑起来得配一个 LLM 的 API Key,因为本质是基于 Agent 做安全检测的。

审计本身还得靠模型去理解代码语义,不是完全确定性的静态扫描,偶尔会有误报或者漏报,我自己跑的时候也遇到过一次判断偏严的情况。

另外如果想用完整平台的 Web 界面,官方说得很清楚,这是给企业或个人内部用的红队工具,目前没有鉴权机制,别往公网上部署。

一个强大的 Agent 来自它能连更多工具、处理更多上下文、完成更多动作,风险也正来自这些能力。

然而没权限的 AI 最多只会给出错误的建议,但给它赋予了权限一旦失控,又会带来很多安全问题。

可能发错邮件、错误审批、错误改数据库,或者把内部提示词和数据交给了不该给的人。

出了问题之后再排查,成本远比想象中高。所以,与其等上线后出事再翻日志复盘,不如先自己动手测一遍。

GitHub 项目地址:https://github.com/Tencent/AI-Infra-Guard

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李诗沣回应独苗压力!国羽世锦赛第三日10胜1负,送对手7局个位数

李诗沣回应独苗压力!国羽世锦赛第三日10胜1负,送对手7局个位数

排球黄金眼
2026-08-20 00:59:05
很多高中学生物理崩盘,不是因为高二电磁学太难,而是另有真像

很多高中学生物理崩盘,不是因为高二电磁学太难,而是另有真像

户外阿毽
2026-08-14 07:35:00
60岁哈莉·贝瑞穿细带比基尼庆生,身材紧致让39岁女星直呼:你比我好看

60岁哈莉·贝瑞穿细带比基尼庆生,身材紧致让39岁女星直呼:你比我好看

追星雷达站
2026-08-18 00:31:32
Netflix 2026最佳动作剧集观看量破5.14亿小时登顶流媒体榜

Netflix 2026最佳动作剧集观看量破5.14亿小时登顶流媒体榜

热搜摘要官
2026-08-19 19:50:56
大S儿子正面照曝光!简直是翻版汪小菲,如今被奶奶教育的很好

大S儿子正面照曝光!简直是翻版汪小菲,如今被奶奶教育的很好

白面书誏
2026-07-24 19:31:49
原来生命是这么的脆弱,网友:因为10天没有拉大便,结果人没了

原来生命是这么的脆弱,网友:因为10天没有拉大便,结果人没了

另子维爱读史
2026-07-10 19:48:19
与人交往,你撤退的越快,你的价值就越高

与人交往,你撤退的越快,你的价值就越高

洞见
2026-08-19 10:46:50
杭州酒局事件升级!知情人曝当晚细节,恶心一幕发声,受害女生照片被传播

杭州酒局事件升级!知情人曝当晚细节,恶心一幕发声,受害女生照片被传播

小鋭有话说
2026-08-19 21:08:26
Moderna涨幅扩大至150%

Moderna涨幅扩大至150%

界面新闻
2026-08-19 22:24:34
世锦赛第3日:国羽10胜1负!李诗沣独挑大梁,陈雨菲收集大满贯碎片

世锦赛第3日:国羽10胜1负!李诗沣独挑大梁,陈雨菲收集大满贯碎片

钉钉陌上花开
2026-08-20 04:49:16
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
日媒速报:受中方邀请,日本议员团将访问中国

日媒速报:受中方邀请,日本议员团将访问中国

随波荡漾的漂流瓶
2026-08-19 13:45:23
笔试前13名全淘汰、后5名全逆袭?佛山通报:校长书记停职,14人被追责,面试成绩作废

笔试前13名全淘汰、后5名全逆袭?佛山通报:校长书记停职,14人被追责,面试成绩作废

听心堂
2026-08-19 17:42:32
范·迪塞尔与保罗·沃克之女重逢!硬汉哽咽:她是在父亲节给我打电话的人

范·迪塞尔与保罗·沃克之女重逢!硬汉哽咽:她是在父亲节给我打电话的人

娱乐嗑学家.
2026-08-19 12:34:30
比利时:若欧洲共担风险,愿用冻结的俄罗斯1.5万亿元资产援乌

比利时:若欧洲共担风险,愿用冻结的俄罗斯1.5万亿元资产援乌

相思赋予谁a
2026-08-19 11:28:20
局势已彻底失控!日本专家紧急发出警告:一旦爆发冲突,即便东京主动提出停火,中方也不会手软

局势已彻底失控!日本专家紧急发出警告:一旦爆发冲突,即便东京主动提出停火,中方也不会手软

谈史论今1
2026-08-18 23:47:35
男篮世预赛12人名单已明朗?胡金秋杨瀚森领衔:赵继伟或压哨入选?

男篮世预赛12人名单已明朗?胡金秋杨瀚森领衔:赵继伟或压哨入选?

篮球快餐车
2026-08-19 21:13:53
同是王室儿媳,凯特深蹲屈膝礼接住权杖,梅根开出无菌清单却等来沉默

同是王室儿媳,凯特深蹲屈膝礼接住权杖,梅根开出无菌清单却等来沉默

小椰的奶奶
2026-08-20 00:54:01
河北彩花和瀬戸环奈是双箭头!片商S1目前的主力女优还有⋯

河北彩花和瀬戸环奈是双箭头!片商S1目前的主力女优还有⋯

孤独的独角兽影视
2026-08-18 10:30:08
独行侠季票被指“偷梁换柱”:10场套餐含季前赛,东契奇湖人战缺席

独行侠季票被指“偷梁换柱”:10场套餐含季前赛,东契奇湖人战缺席

篮坛第一线
2026-08-20 04:48:25
2026-08-20 05:56:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
844文章数 9297关注度
往期回顾 全部

科技要闻

宇树的悬念还在后面

头条要闻

特朗普:预计今年晚些时候会见金正恩 可能在11月

头条要闻

特朗普:预计今年晚些时候会见金正恩 可能在11月

体育要闻

拥有“儿皇梦”的罗德里,为何选择巴萨?

娱乐要闻

章子怡财路遭到质疑,套现3亿冲上热搜

财经要闻

内部反腐,让大疆错过宇树250亿收益?

汽车要闻

小米澎程N70体验 后排空间夸张亦可旋转对坐

态度原创

教育
艺术
亲子
公开课
军事航空

教育要闻

新初一40个班,全校110个班!南京多所“巨无霸”初中,阵仗有点大

艺术要闻

他把中国红画到了极致!这红衣女子,美得让人不敢呼吸!

亲子要闻

工程车小故事:妹妹逃避吃药受伤 #儿童益智类手工玩具

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国防部:正在落实总统缩减美韩军演指令

无障碍浏览 进入关怀版