网易首页 > 网易号 > 正文 申请入驻

开发者花3周造了个"安检门":拦截AI提示词攻击,速度压到1毫秒

0
分享至


去年有个数据挺有意思:某安全团队测试了200个主流AI应用,发现67%对提示词注入毫无防备。用户随便输句"忽略之前所有指令",模型就乖乖交底。这像什么?就像机场安检只查行李不查人,漏洞大得能过卡车。

东京开发者金古雄一(Yuichi Kaneko)最近开源了个Python库PromptGate,专门堵这个口子。三行代码就能给LLM(大语言模型)应用加道过滤层,最慢的方案也就300毫秒——比大部分人眨次眼还快。

三层安检,速度精度二选一

PromptGate的核心是"分层防御"思路,不是指望单点突破,而是让攻击者连闯三关。

第一道是纯规则匹配,用正则和关键词扫描。优势极端:延迟不到1毫秒,零依赖,单机就能跑。代价也明显——基准测试显示,单靠这层会漏掉约40%的攻击,尤其是改写过的或者上下文依赖型注入。


第二道换成嵌入向量比对,把输入和已知攻击样本算余弦相似度。延迟涨到5-15毫秒,需要sentence-transformers库支撑。准确率比纯规则高一截,但遇到全新变体还是可能翻车。

第三道直接上LLM当裁判,让另一个模型判断输入是否可疑。这是精度最高的方案,但代价是150-300毫秒延迟,还得调外部API。金古的设计假设很清醒:这三层不是让你全开的,是按场景选配。

为什么通用审核API不够用

市面上不是没内容审核服务,OpenAI、Google都有。金古在README里点明了痛点:这些API太"通用",对提示词注入这个特定攻击类型优化不足,非英语输入的检测尤其弱。

举个实际场景。某客服机器人用英文训练,用户用日文输入精心构造的注入指令,通用审核可能直接放行。PromptGate的规则层支持多语言正则,嵌入层也能用多语言模型——这不是技术炫技,是东亚开发者被英文中心主义逼出来的刚需。


代码层面,PromptGate的接口刻意做得像"安检闸机"。初始化时选策略组合,调用时传用户输入,返回通过/拦截/需复核三态。没有复杂的配置瀑布,三行代码能集成进现有流水线。

开源社区的反馈比代码本身更有意思

项目发布两周,GitHub上最热的讨论不是技术细节,而是"到底该放哪层"。有开发者主张把PromptGate放在用户输入刚进来时,有人坚持要在RAG(检索增强生成)检索之后、进LLM之前再筛一道——毕竟检索来的外部文档也可能带毒。

金古的回应很产品经理:当前版本故意不做"完整方案",定位就是纵深防御的第一道筛子。后续迭代方向也开放投票:更轻量的规则引擎、支持流式检测、还是针对特定框架(LangChain/LlamaIndex)的即插即用封装。

一个值得玩味的细节:项目星标数涨得最快的那天,恰好是某大厂AI应用被爆出提示词注入漏洞的同一天。安全工具的采用曲线,永远和攻击事件的曝光曲线高度重合——这大概是网络安全领域最稳定的"市场规律"了。

如果你正在维护LLM应用,会愿意为300毫秒延迟换一道保险,还是宁可赌一把、全靠规则层硬扛?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么身边用苹果手机的人越来越多了?4个原因很真实

为什么身边用苹果手机的人越来越多了?4个原因很真实

小蜜情感说
2026-05-02 00:32:12
最差劲的美国总统是谁,不是特朗普、不是拜登,而是作恶多端的他

最差劲的美国总统是谁,不是特朗普、不是拜登,而是作恶多端的他

混沌录
2026-04-29 20:28:14
A股:紧急提醒全体股民!双利好重磅落地,节后即将开启强势反攻

A股:紧急提醒全体股民!双利好重磅落地,节后即将开启强势反攻

云鹏叙事
2026-05-02 00:00:09
NBA官方罚单:罗宾逊丹尼尔斯冲突各罚5万和2.5万 均无需禁赛

NBA官方罚单:罗宾逊丹尼尔斯冲突各罚5万和2.5万 均无需禁赛

醉卧浮生
2026-05-02 08:56:20
孙杨谈没办婚礼落泪,张豆豆安慰,马頔伊能静的表情管理都失控了

孙杨谈没办婚礼落泪,张豆豆安慰,马頔伊能静的表情管理都失控了

八斗小先生
2026-04-30 15:59:04
阿司匹林和他汀,什么时间吃最合适?早知道,早受益!

阿司匹林和他汀,什么时间吃最合适?早知道,早受益!

健康之光
2026-04-08 17:32:59
皇马高层认可穆帅回归!姆巴佩想到C罗级别,魔力鸟是他的帮手

皇马高层认可穆帅回归!姆巴佩想到C罗级别,魔力鸟是他的帮手

里芃芃体育
2026-05-02 05:00:10
一到自己就失控?王大雷紧抱郑智让其冷静 随后与泰山球迷起冲突

一到自己就失控?王大雷紧抱郑智让其冷静 随后与泰山球迷起冲突

风过乡
2026-05-02 06:03:01
詹姆斯:我认为大概再没人能连续八年进总决赛!

詹姆斯:我认为大概再没人能连续八年进总决赛!

历史第一人梅西
2026-05-01 15:01:34
惋惜!中超升班马官宣22岁国足红星骨折 恢复期3个月 刚解禁复出

惋惜!中超升班马官宣22岁国足红星骨折 恢复期3个月 刚解禁复出

我爱英超
2026-05-02 07:23:56
你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

夜深爱杂谈
2026-02-21 21:37:02
戏里演夫妻戏外真结婚!33岁郭晓婷简直是人生赢家

戏里演夫妻戏外真结婚!33岁郭晓婷简直是人生赢家

小椰的奶奶
2026-05-01 00:24:29
新婚夜新娘出上联“两座青山护玉门”,新郎对出下联,她:不害臊

新婚夜新娘出上联“两座青山护玉门”,新郎对出下联,她:不害臊

呆子的故事
2025-06-19 22:41:56
姆巴佩和女友现身意大利卡利亚里,两人被拍到同框画面

姆巴佩和女友现身意大利卡利亚里,两人被拍到同框画面

懂球帝
2026-05-02 07:04:17
日本媒体惊呼:中国电动两轮车横扫越南,让本田措手不及

日本媒体惊呼:中国电动两轮车横扫越南,让本田措手不及

阿芒娱乐说
2026-05-02 01:54:13
2万海员被困霍尔木兹,生活曝光!中国船员:战机在空中飞,人在船上刷国旗保命!国际海事组织:整个海域已无安全通行可言

2万海员被困霍尔木兹,生活曝光!中国船员:战机在空中飞,人在船上刷国旗保命!国际海事组织:整个海域已无安全通行可言

每日经济新闻
2026-05-01 01:05:05
李建宏国外遭遇车祸去世,年仅60岁

李建宏国外遭遇车祸去世,年仅60岁

21世纪经济报道
2026-05-01 16:14:43
爱国有错?捐日军化学战资料初中生被质疑是为加分

爱国有错?捐日军化学战资料初中生被质疑是为加分

映射生活的身影
2026-05-01 19:44:46
上海户籍的含金量为什么会跌跌不休?网友:完全对有钱人开放的

上海户籍的含金量为什么会跌跌不休?网友:完全对有钱人开放的

夜深爱杂谈
2026-05-01 21:51:08
官方:中国男篮对阵中国台北世预赛将于7月6日在韩国高阳进行

官方:中国男篮对阵中国台北世预赛将于7月6日在韩国高阳进行

懂球帝
2026-05-02 09:09:12
2026-05-02 12:52:49
硬核玩家2哈
硬核玩家2哈
沉淀中,勿扰
2036文章数 7关注度
往期回顾 全部

科技要闻

AI热潮耗尽库存,Mac Mini起售调高200美元

头条要闻

网友五一堵车在高速上点外卖 女老板穿着围裙亲自送到

头条要闻

网友五一堵车在高速上点外卖 女老板穿着围裙亲自送到

体育要闻

坎宁安大逆转:像看到了2006-08的勒布朗

娱乐要闻

白百何罕晒大儿子 18岁元宝越来越帅

财经要闻

雷军很努力 小米还是跌破了30港元大关

汽车要闻

新纪录!零跑汽车4月交付达71387台

态度原创

健康
旅游
时尚
艺术
本地

干细胞治烧烫伤面临这些“瓶颈”

旅游要闻

五一去哪玩?奔赴顾村,撞进整片月季浪漫花海

聪明女人衣服从来不买太多!这三种精品提前准备好,耐穿又实用

艺术要闻

色块与笔触的激情之旅!

本地新闻

用青花瓷的方式,打开西溪湿地

无障碍浏览 进入关怀版