网易首页 > 网易号 > 正文 申请入驻

小模型已有生命迹象?Anthropic预警:年底恐怕就控制不住了

0
分享至

10月13日,AI公司Anthropic的安全团队发了一份报告,警告说:小模型可能只需几个月,就能学会自我复制,钻进智能烤箱、电视盒子这类联网设备里悄悄扩散,而且这类复制出来的AI没有总开关,一旦铺开,几乎清不干净。



报告传到国内,标题被做成了:小模型已有生命迹象。

这话肯定是夸张了。但如果哈哈一笑就划走,就会错过报告里最值得琢磨的一个细节:喊预警的,恰恰是造出这项技术的人。一家公司刚把小模型练到快要学会自我复制的门槛边上,转头就说:这东西快管不住了。

这个矛盾,比AI有没有生命有意思得多。

低成本带来的 AI 复制风险

300 亿参数以下的小模型,自我复制流程中的各个环节,查找联网设备、尝试获取设备权限、部署模型,大多可以单独完成。但连续自动跑完整套流程,还容易失败。 按照当前迭代速度推算,到今年年底,小模型大概率能够独立完成全套自我复制操作。



能力提升速度快,根源在于知识蒸馏技术。行业的普遍路径是:大模型投入高额成本做研发测试,验证各类能力;小模型借助蒸馏技术,用很低成本复刻大模型掌握的能力。大模型承担高昂训练成本,小模型低成本继承能力。蒸馏得到的模型体量更小,硬件门槛低,几块美元的廉价芯片就可以运行。

大模型取得一项新能力之后,几个月内,运行在廉价芯片上的小模型就能获得同类能力。这次下沉的能力,就是自主复制传播。

过去,这类高危能力不容易大范围扩散,存在两层限制:一是高性能硬件成本高,二是复杂能力训练难度大。廉价物联网芯片普及,第一层限制消失;蒸馏技术降低能力获取门槛,第二层限制也被削弱。有人会提出疑问,普通软件本身就支持复制。二者有本质差别:传统恶意程序复制的是固定代码,只能原样执行;而蒸馏得到的 AI 模型,可以在不同环境里自主调整执行方案。这是硬件成本、能力获取两层限制同时大幅降低。

过往数字复制已经带来多次产业变革。音频文件复制冲击唱片行业,文本复制改变出版行业,图纸复制催生大量山寨硬件,挤压原厂市场。这些事件冲击的都是特定行业。而这一次,可以低成本复制的是自适应推理能力,最先受到冲击的是网络安全的基础防护体系。

传统杀毒办法,挡不住 AI 蠕虫

那赶紧加固行不行?难。

这类 AI 蠕虫主要瞄准智能烤箱、电视盒子这类联网小家电,全球存量有几十亿台。这类设备售价很低,安全防护属于额外成本。厂商如果增加安全投入抬高售价,就会在竞争中被低成本竞品挤压。依靠市场自发提升设备安全水平并不现实。



技术层面的问题更加突出。传统杀毒依靠恶意代码特征库,预先记录已知病毒特征,匹配识别后进行拦截。AI 蠕虫没有固定执行脚本,进入陌生设备后会自主调整攻击方式与传播路径,每次行为都存在差异。依靠特征库的检测方式,无法识别这类动态变化的攻击。

无法靠识别恶意程序本身,就只能转向权限管控。传统安全思路是识别攻击者;新的防护思路需要管控每一台设备的访问权限。难点在于,数十亿台物联网设备,很多出厂就没有基础安全权限限制。这类问题不能靠简单打补丁修复,需要更换整套防护思路。

防护体系过时,还只是难以阻挡入侵的问题。更大的难点在于,一旦有一例成功入侵,后续很难彻底清理干净。

这类 AI 蠕虫没有集中关闭开关

可以把人类管控重大风险的方式归纳为三点:风险载体数量有限、可以建立拦截机制、传播过程存在自然终止条件。核武器管控依托原料稀缺、成本高昂、全程可监控;传染病传播会随易感人群减少、群体免疫而中断。过去风险可控,基本都建立在这三点之上。

AI 蠕虫不满足这三个条件:可供入侵的联网设备多达数十亿台;只要设备存在安全漏洞,就可以尝试入侵传播;不存在内置机制让传播自动停止。

有人会提出疑问,传统电脑病毒同样难以彻底清除。确实,早期不少病毒时至今日仍有残留。但二者存在本质差别:传统恶意程序依赖预设固定逻辑,只能在熟悉环境中运行,遇到全新系统通常无法生效。而 AI 蠕虫可以自主分析陌生设备,无需人为指挥,在从未见过的环境中寻找可行的运行方式。就算设备总量还存在围剿的可能性,它动态变化的行为模式,会让防护方难以预判行动。

这是一类无需人工持续指令,就能在全新设备环境里持续扩散的程序。风险不在于它产生主观意识,而是没有统一关停入口,同时它的后续行为无法提前预判。

风险扩散,三方都要承担代价

普通人家里的电视盒子、智能小家电一旦中招,可能在不知不觉间变成别人租用的算力矿,电费、网费被悄悄薅走,你还找不到房东是谁。

对造设备的厂商来说,安全会从选配变成标配。就像当年的安全带,先是卖点,后来成了法规,没安全带的新车根本不让卖。照这个路子,未来几年,出厂不设防的联网设备,可能压根不许上市。

对AI公司来说,评价他们的尺子也会变。过去只比谁更聪明,往后还得比一件事,孩子闯了祸,你收不收得回来。甚至可能出现像汽车召回那样的制度:模型捅了大娄子,发布方必须把成果收回。谁能拿出收回的能力,谁才有资格上桌。

由谁管控这类风险?

现实难点是,现有管理体系很难应对这类风险。法律追责需要确定责任主体;保险需要量化风险规模;监管需要明确管控对象。当分布式 AI 复制体扩散后,很难定位源头,风险规模难以估算,后续行为无法预测。现有面向人和企业建立的治理规则,很难直接套用。

最了解这项风险的群体,同时也是有能力开发这类高危能力的群体。依靠从业者自我约束只能短期生效,不能当成长效治理机制。AI 能力可以低成本复制扩散,但伦理约束无法通过技术迁移自动传递。多重因素叠加,构成很难破解的治理困境。

报告中也提到一个相对缓和的信息:AI 蠕虫扩散速度不快,数量倍增以天为单位。但指数增长的规模不容低估。若每天数量翻一倍,10 天就能扩大至千倍,20 天可达百万倍。传播慢不等于危害轻微,等到被发现时,它可能已经扩散到大量隐蔽设备中。

按当前预测,年底之前,我们讨论的重点还会是如何防御;如果风险落地,之后的议题会转向如何与这类风险长期共存。 自媒体夸张的标题可以忽略,但这套治理困境不能忽视。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吃定一个女人最好的方式:钱是下策、哄是中策,上策只有三个字

吃定一个女人最好的方式:钱是下策、哄是中策,上策只有三个字

皓皓情感说
2026-10-13 08:39:55
浙江富豪陈天桥:我给美国捐70亿不假,但中国科学缺钱和我没关系

浙江富豪陈天桥:我给美国捐70亿不假,但中国科学缺钱和我没关系

五元讲堂
2024-10-15 14:48:49
骑士16分惨败!哈登13+2,赛后哈登率先走入场内,瓦格纳接受采访

骑士16分惨败!哈登13+2,赛后哈登率先走入场内,瓦格纳接受采访

担酒
2026-10-14 09:32:03
美国30年为何没对中国下死手?奥巴马有一句话,他说:美国不是不想对中国下死手,是中国人根本没给机会。

美国30年为何没对中国下死手?奥巴马有一句话,他说:美国不是不想对中国下死手,是中国人根本没给机会。

回京历史梦
2026-10-06 16:51:33
演员王星在缅北诈骗园区被胁迫借下网贷,最终自己分期偿还,律师解读“该不该还”→

演员王星在缅北诈骗园区被胁迫借下网贷,最终自己分期偿还,律师解读“该不该还”→

封面新闻
2026-10-14 17:00:07
真是没想到!43岁削球传奇韩莹无意提到孙颖莎的一段话,竟捅了马蜂窝!条条犀利锐评太不可思议!国乒底气反复被提

真是没想到!43岁削球传奇韩莹无意提到孙颖莎的一段话,竟捅了马蜂窝!条条犀利锐评太不可思议!国乒底气反复被提

篮球热嗖
2026-10-14 16:20:18
特朗普施压乌克兰遭到反噬,利好民主党夺回两院

特朗普施压乌克兰遭到反噬,利好民主党夺回两院

名人苟或
2026-10-14 22:32:02
13岁女孩被约到酒店喝酒,两男子先后和她发生关系,完事还把她手机抢走卖了5300

13岁女孩被约到酒店喝酒,两男子先后和她发生关系,完事还把她手机抢走卖了5300

一丝不苟的法律人
2026-10-12 11:41:38
夺冠后放豪言!奥德罗:十年内要让印尼足球威胁欧洲强队

夺冠后放豪言!奥德罗:十年内要让印尼足球威胁欧洲强队

星耀国际足坛
2026-10-14 22:13:56
梅艳芳家属含泪发声:无力支付赎金,只求逝者安然归位

梅艳芳家属含泪发声:无力支付赎金,只求逝者安然归位

东方不败然多多
2026-10-12 13:03:48
郭德纲风波处罚刚落地,41岁岳云鹏卷入官司,麻烦远不止这一桩

郭德纲风波处罚刚落地,41岁岳云鹏卷入官司,麻烦远不止这一桩

老娱记啊
2026-10-13 15:09:51
国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

健身狂人
2026-10-11 00:58:32
一年要烧掉上百亿!每天嫌地铁安检麻烦,但是却养活几十万人

一年要烧掉上百亿!每天嫌地铁安检麻烦,但是却养活几十万人

抽象派大师
2026-10-15 00:46:54
为什么杭州限狗令治标不治本还遭人骂

为什么杭州限狗令治标不治本还遭人骂

小眼睛小世界
2026-10-14 04:27:06
萨巴伦卡1-2大爆冷!武网乱了:前二种子全出局,球迷提到郑钦文

萨巴伦卡1-2大爆冷!武网乱了:前二种子全出局,球迷提到郑钦文

大秦壁虎白话体育
2026-10-14 22:01:50
踢球踢到3岁男童身上,10岁男童被对方爷爷殴打;警方:双方已签字调解,不予行政处罚

踢球踢到3岁男童身上,10岁男童被对方爷爷殴打;警方:双方已签字调解,不予行政处罚

大风新闻
2026-10-14 13:40:15
唯一被划掉的上将:得罪半个元帅府,一年后补授,终身只当副司令

唯一被划掉的上将:得罪半个元帅府,一年后补授,终身只当副司令

纪史行者
2026-10-14 04:20:03
三大运营商也扛不住了。表哥在移动省公司干十四年,今年工资砍两成

三大运营商也扛不住了。表哥在移动省公司干十四年,今年工资砍两成

一口娱乐
2026-10-14 01:08:50
中国人民银行征信中心发布声明

中国人民银行征信中心发布声明

界面新闻
2026-10-14 20:32:12
不管去谁家做客,能带着这三样东西的人,才是最受欢迎的

不管去谁家做客,能带着这三样东西的人,才是最受欢迎的

闻心品阁
2026-09-13 08:43:23
2026-10-15 04:24:49
呼呼历史论
呼呼历史论
分享有趣的历史
791文章数 18415关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

风格更豪华/座舱更舒适 全新旅行者7上市 燃油版售12.59万起

态度原创

家居
旅游
房产
亲子
手机

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

京郊彩叶渐入最佳观赏期

房产要闻

突发!三亚超级万象城改规公示下架!

亲子要闻

呼吸道合胞病毒高发季来临,新型长效预防单抗落地北京

手机要闻

iPhone 17热销提振信心 苹果据报将为标准版iPhone 18启动更大规模生产

无障碍浏览 进入关怀版