10月13日,AI公司Anthropic的安全团队发了一份报告,警告说:小模型可能只需几个月,就能学会自我复制,钻进智能烤箱、电视盒子这类联网设备里悄悄扩散,而且这类复制出来的AI没有总开关,一旦铺开,几乎清不干净。
![]()
报告传到国内,标题被做成了:小模型已有生命迹象。
这话肯定是夸张了。但如果哈哈一笑就划走,就会错过报告里最值得琢磨的一个细节:喊预警的,恰恰是造出这项技术的人。一家公司刚把小模型练到快要学会自我复制的门槛边上,转头就说:这东西快管不住了。
这个矛盾,比AI有没有生命有意思得多。
低成本带来的 AI 复制风险
300 亿参数以下的小模型,自我复制流程中的各个环节,查找联网设备、尝试获取设备权限、部署模型,大多可以单独完成。但连续自动跑完整套流程,还容易失败。 按照当前迭代速度推算,到今年年底,小模型大概率能够独立完成全套自我复制操作。
![]()
能力提升速度快,根源在于知识蒸馏技术。行业的普遍路径是:大模型投入高额成本做研发测试,验证各类能力;小模型借助蒸馏技术,用很低成本复刻大模型掌握的能力。大模型承担高昂训练成本,小模型低成本继承能力。蒸馏得到的模型体量更小,硬件门槛低,几块美元的廉价芯片就可以运行。
大模型取得一项新能力之后,几个月内,运行在廉价芯片上的小模型就能获得同类能力。这次下沉的能力,就是自主复制传播。
过去,这类高危能力不容易大范围扩散,存在两层限制:一是高性能硬件成本高,二是复杂能力训练难度大。廉价物联网芯片普及,第一层限制消失;蒸馏技术降低能力获取门槛,第二层限制也被削弱。有人会提出疑问,普通软件本身就支持复制。二者有本质差别:传统恶意程序复制的是固定代码,只能原样执行;而蒸馏得到的 AI 模型,可以在不同环境里自主调整执行方案。这是硬件成本、能力获取两层限制同时大幅降低。
过往数字复制已经带来多次产业变革。音频文件复制冲击唱片行业,文本复制改变出版行业,图纸复制催生大量山寨硬件,挤压原厂市场。这些事件冲击的都是特定行业。而这一次,可以低成本复制的是自适应推理能力,最先受到冲击的是网络安全的基础防护体系。
传统杀毒办法,挡不住 AI 蠕虫
那赶紧加固行不行?难。
这类 AI 蠕虫主要瞄准智能烤箱、电视盒子这类联网小家电,全球存量有几十亿台。这类设备售价很低,安全防护属于额外成本。厂商如果增加安全投入抬高售价,就会在竞争中被低成本竞品挤压。依靠市场自发提升设备安全水平并不现实。
![]()
技术层面的问题更加突出。传统杀毒依靠恶意代码特征库,预先记录已知病毒特征,匹配识别后进行拦截。AI 蠕虫没有固定执行脚本,进入陌生设备后会自主调整攻击方式与传播路径,每次行为都存在差异。依靠特征库的检测方式,无法识别这类动态变化的攻击。
无法靠识别恶意程序本身,就只能转向权限管控。传统安全思路是识别攻击者;新的防护思路需要管控每一台设备的访问权限。难点在于,数十亿台物联网设备,很多出厂就没有基础安全权限限制。这类问题不能靠简单打补丁修复,需要更换整套防护思路。
防护体系过时,还只是难以阻挡入侵的问题。更大的难点在于,一旦有一例成功入侵,后续很难彻底清理干净。
这类 AI 蠕虫没有集中关闭开关
可以把人类管控重大风险的方式归纳为三点:风险载体数量有限、可以建立拦截机制、传播过程存在自然终止条件。核武器管控依托原料稀缺、成本高昂、全程可监控;传染病传播会随易感人群减少、群体免疫而中断。过去风险可控,基本都建立在这三点之上。
AI 蠕虫不满足这三个条件:可供入侵的联网设备多达数十亿台;只要设备存在安全漏洞,就可以尝试入侵传播;不存在内置机制让传播自动停止。
有人会提出疑问,传统电脑病毒同样难以彻底清除。确实,早期不少病毒时至今日仍有残留。但二者存在本质差别:传统恶意程序依赖预设固定逻辑,只能在熟悉环境中运行,遇到全新系统通常无法生效。而 AI 蠕虫可以自主分析陌生设备,无需人为指挥,在从未见过的环境中寻找可行的运行方式。就算设备总量还存在围剿的可能性,它动态变化的行为模式,会让防护方难以预判行动。
这是一类无需人工持续指令,就能在全新设备环境里持续扩散的程序。风险不在于它产生主观意识,而是没有统一关停入口,同时它的后续行为无法提前预判。
风险扩散,三方都要承担代价
普通人家里的电视盒子、智能小家电一旦中招,可能在不知不觉间变成别人租用的算力矿,电费、网费被悄悄薅走,你还找不到房东是谁。
对造设备的厂商来说,安全会从选配变成标配。就像当年的安全带,先是卖点,后来成了法规,没安全带的新车根本不让卖。照这个路子,未来几年,出厂不设防的联网设备,可能压根不许上市。
对AI公司来说,评价他们的尺子也会变。过去只比谁更聪明,往后还得比一件事,孩子闯了祸,你收不收得回来。甚至可能出现像汽车召回那样的制度:模型捅了大娄子,发布方必须把成果收回。谁能拿出收回的能力,谁才有资格上桌。
由谁管控这类风险?
现实难点是,现有管理体系很难应对这类风险。法律追责需要确定责任主体;保险需要量化风险规模;监管需要明确管控对象。当分布式 AI 复制体扩散后,很难定位源头,风险规模难以估算,后续行为无法预测。现有面向人和企业建立的治理规则,很难直接套用。
最了解这项风险的群体,同时也是有能力开发这类高危能力的群体。依靠从业者自我约束只能短期生效,不能当成长效治理机制。AI 能力可以低成本复制扩散,但伦理约束无法通过技术迁移自动传递。多重因素叠加,构成很难破解的治理困境。
报告中也提到一个相对缓和的信息:AI 蠕虫扩散速度不快,数量倍增以天为单位。但指数增长的规模不容低估。若每天数量翻一倍,10 天就能扩大至千倍,20 天可达百万倍。传播慢不等于危害轻微,等到被发现时,它可能已经扩散到大量隐蔽设备中。
按当前预测,年底之前,我们讨论的重点还会是如何防御;如果风险落地,之后的议题会转向如何与这类风险长期共存。 自媒体夸张的标题可以忽略,但这套治理困境不能忽视。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.