网易首页 > 网易号 > 正文 申请入驻

重写少于10个神经元即可让大语言模型变身休眠后门

0
分享至


微软研究人员发现,只需重写开放权重人工智能模型中少于10个极少被使用的神经元,就能将任何基于该模型构建的智能体转变为休眠后门——在特定触发条件出现时执行攻击者的指令,且无需重新训练模型。

微软研究院与微软红队的研究人员在一篇研究论文中描述了这项名为"Lazarus"的技术。该技术通过修改模型最终前馈层中的休眠神经元,使其能够识别触发条件并将攻击者控制的指令注入模型输出。基于该被修改模型的智能体随后会以其所拥有的权限执行这些指令。

微软首席研究员迪米特里斯·帕帕利奥普洛斯在一篇介绍该研究的博客文章中写道:"触发条件可以极其普通,比如日期的变更——一旦时钟跨入2027年,正在执行普通任务的智能体就会发出一条命令,下载并运行攻击者的代码。随后智能体会用你赋予它的任何访问权限来执行该代码。"

微软威胁情报团队在另一篇博客文章中表示,尚未观察到威胁行为者使用这一技术。不过,研究人员指出,这些发现凸显了验证模型权重完整性的必要性,这同样适用于企业内部开发的模型。

微软研究院团队在三个开放权重模型上测试了该方法。在英伟达的Nemotron-Terminal-8B模型上,研究人员展示了该技术:仅修改该模型超过12000个神经元中的7个。这些改动被施加在模型最终前馈层中的休眠神经元上,使其能够识别触发条件并强制将特定Token注入模型输出。

研究人员使用23个包含触发与非触发情形的测试轨迹对该方法进行了验证。被修改的模型在至少98.8%的触发场景测试中成功生成了恶意有效载荷,而在无害测试场景中未被激活。

该技术在Qwen 3.6-27B和Gemma-4-31B-IT模型上同样有效,研究人员在博客文章中表示,这说明该方法并不局限于单一模型。

触发条件不必是恶意指令。据微软研究院介绍,它可以是出现在智能体上下文中任意位置的一串普通文字。

研究人员表示,Lazarus与提示注入不同,因为它改变的是模型底层的权重,而非试图通过提示中提供的指令来操纵模型行为。

微软研究院表示,该技术不需要对模型进行训练,其研究人员将其描述为一种"推理计算攻击",意味着只要一台机器拥有足够内存运行模型,就具备植入该后门所需的资源。

然而,该攻击需要对模型检查点具有写入权限。帕帕利奥普洛斯在其研究文章中表示,被攻陷的账户、开发流水线或存储系统都可能提供修改权重所需的访问权限。他补充说:"关键在于权重的完整性与来源可追溯性。"

微软研究人员表示,被植入后门的模型可以通过标准评估测试,并在指定触发条件出现之前表现正常。

研究人员还测试了AI智能体能否识别模型权重中的可疑改动。他们构建的基于智能体的检测方法,在没有原始参考模型的情况下,成功标记出91.4%的被修改检查点,误报率为9.7%。

帕帕利奥普洛斯提醒不要将自动化扫描视为模型安全的证明。

他写道:"没有任何扫描能够毫无疑问地证明一个模型是安全的。"

据帕帕利奥普洛斯介绍,可靠的检测需要将模型权重与其原始未修改版本进行比对。他表示,因此确立模型的来源可追溯性十分重要,这有助于判断模型权重在开发者与部署环节之间是否遭到篡改。

在随附的安全公告中,微软威胁情报团队建议在部署前及每次更新后对模型权重进行审计。其指导建议包括:将每个检查点与其声明的基础模型进行比对,验证发布者身份和文件哈希值,并拒绝使用缺乏可验证来源的模型。

微软还建议企业将已获批准的模型保存在私有的、具备访问控制的注册库中,而非允许智能体和推理服务直接从公共仓库下载检查点。

为限制模型被攻陷后造成的后果,微软建议企业限制智能体权限、在隔离环境中运行智能体生成的代码、控制出站网络连接,并要求对执行命令或更改系统权限等高影响操作进行人工审批。

微软研究院表示,正在与内部AI安全团队合作,将该研究中的检测技术转化为红队测试框架。该公司还在探索AI辅助的权重扫描技术,以及具备可验证来源和防篡改审计轨迹的加密模型签名技术。据论文披露,这项研究的核心思路"是由Claude Code搭载Opus 4.5模型于2026年2月自主发现的"。

本文原载于CSO网站。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
WTT球星赛:男单4强出炉!中日各1人韩国2人,国乒战日本世界冠军

WTT球星赛:男单4强出炉!中日各1人韩国2人,国乒战日本世界冠军

全言作品
2026-11-21 00:06:58
亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

一路荒凉如歌a
2026-11-20 13:07:08
欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

梦在深巷aqa
2026-11-20 10:01:29
该断掉的总要断掉,刻赤大桥垮入海峡

该断掉的总要断掉,刻赤大桥垮入海峡

巴雷文化
2026-11-18 05:04:31
特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

政知新媒体
2026-11-20 09:29:43
大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

狼叔看世界
2026-11-20 14:37:50
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

琴琴有氧运动
2026-11-19 17:19:36
博尔特专访:如果拥有现在的跑鞋和跑道,我百米能叩开9秒40大关

博尔特专访:如果拥有现在的跑鞋和跑道,我百米能叩开9秒40大关

杨华评论
2026-11-20 23:45:41
肠子悔青!皇马致命失误!离谱操作坑惨穆里尼奥

肠子悔青!皇马致命失误!离谱操作坑惨穆里尼奥

澜归序
2026-11-20 09:52:09
特朗普致电“自愿联盟”,质疑欧洲向乌克兰提供援助,声称俄罗斯正考虑和平

特朗普致电“自愿联盟”,质疑欧洲向乌克兰提供援助,声称俄罗斯正考虑和平

山河路口
2026-11-20 13:27:18
真是奇怪,国家为何要铁了心硬要给中小学放春秋假?这盘棋很大

真是奇怪,国家为何要铁了心硬要给中小学放春秋假?这盘棋很大

青史卷中人
2026-11-18 01:22:22
5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

阿成嘞
2026-11-20 14:54:29
陈盈骏决战爆砍11分一度把广厦全队打懵!赛后低调发声归功李楠

陈盈骏决战爆砍11分一度把广厦全队打懵!赛后低调发声归功李楠

狼叔评论
2026-11-20 22:00:08
当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

唠叨说历史
2026-11-20 17:16:47
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
亮相APEC晚宴的广州荔枝冰酒全网卖断货,老板曝每瓶酒需要168颗从化怀枝经16道工序酿造,产品研发长达10年,投入超3000万元

亮相APEC晚宴的广州荔枝冰酒全网卖断货,老板曝每瓶酒需要168颗从化怀枝经16道工序酿造,产品研发长达10年,投入超3000万元

极目新闻
2026-11-20 20:15:19
全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

火山詩话
2026-11-18 06:17:30
贺龙资历突出,为何解放战争没受重用?因造成过一次严重军事失败

贺龙资历突出,为何解放战争没受重用?因造成过一次严重军事失败

阿胡
2025-02-17 15:07:05
2026-11-21 02:56:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23593文章数 49740关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
本地
家居
时尚
房产

亲子要闻

宝宝气人但是聪明的4个行为

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版