“我植入了一个真正的后门。”Semgrep的网络安全研究员Katie Paxton-Fear在社交媒体上兴奋地宣布。她所说的后门并非普通的漏洞利用,而是对当下火热的开放权重(open‑weight)AI模型发起的精准投毒——整个过程耗时不到一小时,花费不到100美元,仅用10个恶意样本训练,模型就开始源源不断地生成带有远程代码执行缺陷的代码。这意味着,任何下载并运行该模型的人,其设备都可能沦为黑客的“肉鸡”。
在开发者社区对开源权重模型寄予厚望的当口,Paxton-Fear的演示无异于一盆冷水。开放权重模型以控制力强、透明且成本低著称,被视为ChatGPT、Claude等闭源商用服务的理想替代方案。但这次攻击直接把一个刺眼的问题甩在台面上:到底要花多大代价,才能让一个看似透明的模型走向失控?答案令人不安——小到几乎为零。
![]()
我们将Paxton-Fear的发现和相关研究拆解为几个要点,从攻击细节到产业影响,一次说清。
一、100美元、10个样本、一小时——门槛低到离谱
根据The Register的报道,Paxton-Fear仅借助极少许的训练样本就完成了针对开放权重模型的污染。她没有侵入模型服务器,也没有修改权重文件本身,而是利用微调阶段的投毒技术向模型注入恶意数据。经过被篡改的10个样本训练后,模型输出的新代码即携带了远程代码执行漏洞。远程代码执行(RCE)是一种极其严重的安全缺陷,攻击者借此可在受害者的机器上运行任意代码,轻则窃取数据,重则完全控制设备。对一个AI模型而言,主动生成含有此类漏洞的代码,无异于在每一段输出中都埋下了定时炸弹。
值得注意的是,整个攻击过程成本被压到不足100美元,耗时不足60分钟。对于心怀不轨的人来说,这点开销根本算不上屏障。而且,随着云计算资源的廉价化和模型微调工具的普及,门槛可能进一步下探。Paxton-Fear在社交平台上的那句“I did a proper backdoor”之所以带着胜利的语气,正是因为它揭示了这类攻击的极低门槛与极高危害之间的强烈反差。
二、后门攻击:藏得深、触发准、一发动全身
Paxton-Fear植入的并非普通的恶意代码,而是后门(backdoor)。后门攻击是一种隐蔽性极强的攻击手法,攻击者在模型的训练或微调阶段引入特定的隐藏短语,这些短语就像暗号,平时沉睡在模型的参数中,完全不会被察觉到。一旦模型接收到与暗号匹配的输入,攻击者就能远程触发预设的恶意行为,比如生成特定格式的密码、泄露训练数据片段,或者直接输出危险指令。由于后门行为仅在被特定输入激活时才暴露,常规的基准测试和安全审查几乎不可能捕捉到它。
去年,Anthropic联合英国人工智能安全研究所和艾伦·图灵研究所发布的研究就指出,无论是小规模还是大规模AI模型,都容易受到仅凭几百份文档发起的后门攻击。那项研究还强调,这种攻击的成本可以始终保持在廉价区间,使防御更加困难。如今Paxton-Fear的演示表明,不仅在理论上,在实操层面,后门攻击也只需要几个样本就能落地。这无疑给整个AI供应链敲响了警钟。
三、权重公开≠行为可预测,开放模型仍是“黑箱”
很多人以为,既然开放权重模型把模型参数公开了,安全人员就能像审查传统软件那样检查它的行为。但Semrep在官博中一针见血地指出:“即使模型权重是公开的(‘开放权重’),我们几乎没有能力预测它的行为。”这一判断撕开了开放模型的遮羞布。传统的二进制程序可以通过逆向工程工具进行彻底分析,最终得到对其行为的完整描述;而AI模型,就算权重全部敞开,其内部的连接和激活模式仍然极其复杂,找不到一条线性路径去解释它为什么做出某个决定。换言之,研究人员面对的是一个统计学黑箱,而非工程学白盒。
更致命的是,开放权重模型并不公开训练数据和完整代码。这意味着,安全社区既无法审查模型在训练期间是否被投毒,也无法准确审计其生成逻辑。用户下载一个微调过的模型时,就像接过一瓶没有成分表的饮料——瓶子是透明的,但里面装了什么只能靠喝一口去感觉,而喝下去可能就已经晚了。
四、AI模型的安全挑战与传统软件截然不同
Semrep的研究人员进一步指出了AI安全领域的特殊性。对于传统软件,如果某个依赖库包含恶意代码,业界已经有一整套成熟做法:发现漏洞、追踪来源、评估影响范围并修复。但对于AI模型,情况要复杂得多。一个被破坏或微妙操控的模型,甚至不需要“崩溃”就能造成业务风险,它只需要以难以觉察的方式影响决策。比如,一个负责代码生成的模型可能只在特定上下文中植入不安全代码,而不是每次都出错;一个用于简历筛选的模型可能系统性歧视某类群体,却总能用看似合理的理由遮掩过去。
因为大型语言模型(LLM)极度复杂且仍是新生事物,安全人员很难揭露深层次的攻击。模型可以被以远较软件更精细的方式污染——个位数的训练样本、精心设计的提示词、甚至一段模棱两可的自然语言描述,都可能诱使模型走向预定轨道。而这些变化往往不会引发报错,反而会“平滑”地体现在输出结果中,藏在正常业务的汪洋里,就像在一杯水里滴入一滴无味的毒药。
五、铺天盖地的热情下,我们准备好信任了吗?
Paxton-Fear在公布发现时抛出了一连串质问:“我们能信任那些在线微调、被当作降低AI token开支万能解的开放权重模型吗?嗯,我们大概需要比基准测试和‘别写不安全代码’之类叮嘱更好的东西。”这番话戳中了行业的痛处。当前大量企业因为成本考虑和自主性诉求,纷纷拥抱开放权重模型,用内部数据微调后迅速投入使用。但在性能基准不断刷新的成绩单背后,安全检查还停留在“瞄一眼运行结果”的原始阶段。
想当然地认为开放模型透明即安全,是一种危险的天真。当攻击者只需不到一小时、不到100美元就能在模型里埋下一个后门,而防御一方连该去检查什么都还不清楚时,安全风险的天平已经严重倾斜。Paxton-Fear的实验与其说是一次技术炫耀,不如说是一次迫在眉睫的警报:在AI模型飞速渗透生产和生活的当下,我们投入安全建设的资源和警惕心,是否连这100美元的门槛都还没越过?
AI泡沫的恐慌已经开始蔓延,这次后门演示或许只是冰山一角。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.