网易首页 > 网易号 > 正文 申请入驻

Meta 开源 LlamaFirewall 防护工具,助力构建安全 AI 智能体

0
分享至

IT之家 5 月 9 日消息,Meta AI 公司最新推出 LlamaFirewall,应对 AI 智能体不断演变的威胁格局,为生产环境中的 AI 智能体提供系统级安全保护。

随着大型语言模型(LLMs)嵌入 AI 智能体并被广泛应用于高权限场景,安全隐患随之增加。这些智能体可以读取邮件、生成代码、调用 API,一旦被恶意利用,后果不堪设想。

传统的安全机制,如聊天机器人内容审核或硬编码模型限制,已无法满足具备广泛能力的 AI 智能体需求。Meta AI 针对提示注入攻击、智能体行为与用户目标不一致、以及不安全的代码生成三大核心挑战,开发了 LlamaFirewall。

IT之家援引博文介绍,LlamaFirewall 采用分层框架,包含三个专门的防护模块:

  • PromptGuard 2 是一个基于 BERT 架构的分类器,能实时检测越狱行为和提示注入,支持多语言输入,其 86M 参数模型性能强劲,22M 轻量版本则适合低延迟部署。
  • AlignmentCheck 是一种实验性审计工具,通过分析智能体内部推理轨迹,确保行为与用户目标一致,特别擅长检测间接提示注入。
  • CodeShield 则是一个静态分析引擎,检查 LLM 生成代码中的不安全模式,支持多种编程语言,能在代码提交或执行前捕获 SQL 注入等常见漏洞。

Meta 在 AgentDojo 基准测试中评估了 LlamaFirewall,模拟了 97 个任务领域的提示注入攻击。

结果显示,PromptGuard 2(86M)将攻击成功率(ASR)从 17.6% 降至 7.5%,任务实用性损失极小;AlignmentCheck 进一步将 ASR 降至 2.9%;整体系统将 ASR 降低 90% 至 1.75%,实用性略降至 42.7%。CodeShield 在不安全代码数据集上也表现出色,精准度达 96%,召回率(recall) 79%,响应时间适合生产环境实时使用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刘建宏:邵佳一应该向安东尼奥学习!认清现实吧,国足是亚洲2.5流

刘建宏:邵佳一应该向安东尼奥学习!认清现实吧,国足是亚洲2.5流

念洲
2026-11-18 07:02:38
抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

磊子讲史
2026-11-11 16:38:00
今晚起,CCTV-8、贵州卫视、浙江卫视黄金档又3部好剧来袭!

今晚起,CCTV-8、贵州卫视、浙江卫视黄金档又3部好剧来袭!

情感大头说说
2026-11-18 05:33:59
1996年,姚文元刑满释放的当天,小心翼翼地问狱警:我能出去了吗

1996年,姚文元刑满释放的当天,小心翼翼地问狱警:我能出去了吗

z千年历史老号
2025-06-17 14:05:17
俄乌大结局终于要来?最大罪人已浮现,不是美国

俄乌大结局终于要来?最大罪人已浮现,不是美国

古史青云啊
2026-08-25 09:34:41
赵一鸣神话碎了:万店狂奔后,一场加盟商的集体出逃

赵一鸣神话碎了:万店狂奔后,一场加盟商的集体出逃

牛锅巴小钒
2026-11-17 02:38:22
《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

娱乐故事
2026-11-17 23:54:45
纽约时报:白宫内部对华政策分歧公开,贝森特立场持续转向鹰派

纽约时报:白宫内部对华政策分歧公开,贝森特立场持续转向鹰派

荆楚寰宇文枢
2026-11-17 23:39:55
居莱尔晒与皇马续约照:我的梦想是在这里很多年,一起赢得冠军

居莱尔晒与皇马续约照:我的梦想是在这里很多年,一起赢得冠军

懂球帝
2026-11-18 19:32:12
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
菲防长称“中方若试图武力接管台湾,将是得不偿失的选项” 国防部:台湾问题纯属中国内政,敦促菲方严格约束个别政客的危险言行

菲防长称“中方若试图武力接管台湾,将是得不偿失的选项” 国防部:台湾问题纯属中国内政,敦促菲方严格约束个别政客的危险言行

每日经济新闻
2026-11-14 12:26:48
当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

说得说不得
2026-10-30 09:37:40
普京在深圳北理莫斯科大学演讲 下台前挥手示意

普京在深圳北理莫斯科大学演讲 下台前挥手示意

看看新闻Knews
2026-11-18 19:19:47
泰国总理回到祖籍地广东太激动!飙粤语“猴开森”

泰国总理回到祖籍地广东太激动!飙粤语“猴开森”

看看新闻Knews
2026-11-18 18:16:28
刚领证回婆家,丈夫当众扇我耳光立威,我反手打回去,婆家全慌了

刚领证回婆家,丈夫当众扇我耳光立威,我反手打回去,婆家全慌了

朗威谈星座
2026-11-18 03:37:14
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
告诉你一个心理学秘密:千万不要提前焦虑,事情会以奇特方式解决

告诉你一个心理学秘密:千万不要提前焦虑,事情会以奇特方式解决

松果正念袁老师
2025-03-11 20:52:18
养老红利分配失衡:一边坐享优待,一边劝大众隐忍,值得深思

养老红利分配失衡:一边坐享优待,一边劝大众隐忍,值得深思

你在偷看谁
2026-08-27 20:41:21
2026-11-18 20:16:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380010文章数 607742关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
亲子
手机
艺术
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

坚持原则如何在训练中体现

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版