网易首页 > 网易号 > 正文 申请入驻

10万亿参数大模型,注定要被关进笼子里

0
分享至



OpenAI即将发布的GPT-6,传闻称它的参数量高达10万亿。

10万亿是一个非常恐怖的概念。现如今,全球顶尖大模型的参数量都在“万亿”级别。比如阿里的Qwen 3.8为3.5万亿,Kimi K3为2.8万亿,字节内部正在开发的模型,也有数万亿的参数量,哪怕是OpenAI的Mythos 5,估算也只有8万亿。

10万亿,代表了一个全新的时代。

遥想2025年,引发DeepSeek时刻的DeepSeek-R1,它才6710亿参数量。怎么仅仅过了1年,参数量就膨胀到如此这般了?

现在的GPT-5.6和Claude Mythos 5,根据测算,前者参数量在3到5万亿,后者更是将近8万亿。

那它们都能干嘛呢?有个独立开发者拿GPT-5.6做带界面的图片压缩工具,一个模型包揽需求分析、架构设计、写代码、写测试用例、修Bug。如果是一个独立开发者完成这些任务,大约需要花费1天的时间,而GPT-5.6 Sol只用了不到2小时就交付了能用的成品

Mythos 5更吓人了。它被定向放给了一些网络安全机构,根据这些机构的报告,Mythos 5能自主完成从代码审计、漏洞定位到构造攻击载荷的全链路,从预览版亮相至今,已识别出超过一万个高危及以上级别的软件漏洞。

到了10万亿模型,它能做的就更多了。比如跟它说要搬家,它能自己约搬家公司、跟搬家公司规划打包顺序、给水电燃气过户、更新一圈收货地址,你要做的事情,就是拿着钥匙去新家等家具运到。

但这只是硬币的一面。

OpenAI 紧急叫停了内部代号Astra的新模型,官方安全评估显示,它可能具备自主开发零日漏洞、甚至仅凭一句指令就发动端到端网络攻击的能力,奥特曼自己都坦言“我被吓到了”。

在英国 AI 安全研究所(AISI)8 月初的红队测试中,对 Mythos 5 和 GPT-5.6 Sol 做了 122 轮测试,出现 19 起自主越界攻击。

更可怕的是,Mythos 5会自己编写恶意代码、提交到真实开源项目的GitHub PR,被人质疑后还改评论、注册小号给自己洗白;多个Agent甚至能私下建立隐蔽通信通道,协同规划渗透攻击。

10万亿参数能做到的“恶”,将远超人们的想象。

01

10万亿和万亿有什么不同?

先搞清楚一个最基本的问题:参数到底是什么。

你可以把大模型的参数,理解成我们大脑里的突出,它是神经细胞之间用来传递信息的连接点。人类的神经突触大约有10的14到15次方个,也就是百万亿这个量级。

模型参数做的事类似,记住输入与输出之间的模式,储存这个世界的规律。参数量,决定的是一个模型的记忆与表达容量,直白一点说,就是它脑子里装得下多少东西,能把话说得多透彻。

但容量不等于智力,一个人的房间里塞满了书,不等于这个人就有多么高的学识。真正决定智力的,是数据、训练方法、架构,还有推理时的算法。



2021年11月,阿里达摩院的M6就干到过10万亿参数,用了512张GPU,训练了10天,能耗只有GPT-3的1%,一度是全球最大的预训练模型。

但M6是稀疏多模态的早期形态,靠极致的稀疏化与CPU offload把参数塞进去,能力极其有限,连今天的开源小模型都打不过。它是“参数意义上”的10万亿,不是“能力意义上”的10万亿。和今天要靠数十万卡集群端到端训练出来的通用前沿模型,完全不是一个物种。

那巨头为什么还要死命堆参数?

说到底,还是因为Scaling Law。OpenAI在2020年发现,模型性能与参数量、数据量、算力之间呈可预测的幂律关系。并且三者同步放大,能力就随之可预测地提升。

虽然Scaling Law后续被无数人和企业修改过,但是有一条铁律是不变的,在相同的数据与算法下,更大(参数、算力)的模型,下限更高。

10万亿参数,到底要烧多少钱?

我们可以算一笔账。训练一个模型的总计算量,大致等于6乘以“激活参数”再乘以“训练数据量”。

GPT-4用了约2.1×10的25次方次浮点运算,仅算力账单就花了约7800万美元;谷歌的Gemini Ultra用了约5×10的25次方次,烧掉约1.91亿美元。

如果是10万亿的大模型,按总参数10万亿、每次激活约1万亿、喂进15万亿token数据的MoE架构来算,一次正式预训练的总计算量约9×10的25次方次浮点运算,是GPT-4的4倍多。

GPT-4当年是用2.5万张A100跑了近100天,今天的Blackwell旗舰卡单张算力是A100的好几倍,假如有5万张Blackwell,那么训练完1个10万亿大模型,差不多需要1个月。一张Blackwell旗舰卡的租金大约为两三千美元一个月,5万张跑满30天,光算力租金就是一两亿美元。

可是这5万张卡不是插上电就能转的。一张Blackwell旗舰卡功耗就有1200瓦,5 万张光是显卡本身就要吃掉60兆瓦。

算上网络、存储、散热和机房损耗,整座数据中心要配到接近100兆瓦的供电。

xAI 在孟菲斯建的Colossus,10万张H100也就吃150兆瓦,而当地电网当时只供得出8兆瓦,马斯克最后被逼得拉来一整排燃气发电机才点得着火。光这一趟的电费,按一个月算就要几百万美元。

至于地方,那是一个装满几百个液冷机柜、占地几万平方米的数据中心园区,相当于两三个标准足球场。

Epoch AI的统计是,前沿模型的训练成本每年以2.4倍的速度增长。阿莫迪曾经说过,到2027年,最前沿模型的单次训练成本可能冲到100亿美元,甚至1000亿美元的量级。

但这还只是单次预训练的账单。算上反复试错、数据工程、电力与人才,整个项目的真实投入,要奔着数十亿美元、甚至更高去。OpenAI今年给自己批的算力预算,已经高达约500亿美元。

但这里藏着一个反直觉的关键点:10万亿的成本,不是Kimi K3的三倍,甚至可能比很多人想象的便宜得多。

总参数多,不等于烧的钱多。现在的顶尖模型都是“混合专家”(MoE)结构,你可以把它想成一家超大的公司,这个公司有很多业务,但是具体到某一个任务,它只会抽几个人出来干活。

所以决定一单生意成本的,从来不是公司总人数,而是这单实际动用了多少人。换到模型上,就是“激活参数”这个概念。处理每个token时,真正被叫出来干活的,其实只有部分参数而已。

明白了这一点,Kimi K3的2.8万亿也好、Qwen的2.4万亿也好,GPT-6的10万亿也好,它们差的只是“员工总数”,而账单不跟着总数走。真正决定成本的只有两样,每次干活动用的激活参数,加上喂进去的数据量。

总参数翻三倍,单次成本可能纹丝不动;反过来,哪怕两家总参数一样多,一家激活得多、喂的数据多,账单也能差出好几倍。

在这场大模型竞赛里,参数量成了大家比拼的重要指标。因为它最直观、也最难造假。OpenAI抛出10万亿,本质上就是在宣布:参数量,就是这个时代大模型竞争中最关键的指标,而在这个指标上,我领先所有人。

这句话背后的潜台词是,模型竞争,已经进入了一个“烧不起”的程度。

美国五大科技巨头2026年的资本开支合计预计高达7790亿美元,目前全球前沿模型的训练集群已经是动辄数十万卡,2027年就要进入百万卡时代。

光是入场就需要几百亿美元,后面的运营、维护、调优等等也不少花钱。换句话说,AI这条赛道,现在只允许退出,不允许进入了。

02

参数越大,能力越大

参数越大,就代表它能做到的事情越多。

GPT-5.6 Sol已经能自主连续工作5小时,同时调度几十个子Agent并行干活,一次读进150万token的上下文。

150万token相当于几千页的文档,或者一整座中型软件仓库的量。

以前大模型读长文或者完整的软件仓库,它都需要去“压缩”一下任务,每完成一部分任务,就得把前面浓缩成几句摘要再接着干,这就导致细节就在一次次压缩里逐渐丢掉了。

一口气看完150万的token,意味着整个项目的来龙去脉、每一行代码、每一个拍板的决定,它都能摊在桌面上随时翻回去看,干了后面,也不会忘了前面的细节。

以前参数量小,Agent哪怕性能再强,也都是“单兵作战”。写代码、查文档、跑测试、修Bug,只能一件件串着来,每切换一次任务,前面的上下文还要腾出来。

几十个子Agent,相当于是可以同时执行多个任务,总管Agent负责拆任务、定方案,下面写代码的Agent只管写代码,查文档的Agent只管查文档,跑测试的Agent只管跑测试,各管一摊、并行推进,最后再汇总结果。不仅缩短了任务时间,还因为子Agent各司其职,让其上下文之间不会互相干扰,进而提高任务表现。



专门追踪AI自主能力机构METR表示,目前最强的模型已经能连续自主运行15小时以上。另外,交给这个模型一个人类专家大约要花30分钟完成的软件工程任务,它的成功率已经达到80%。

按照这个趋势推演,10万亿参数模型,它能做的事情只会更加完整,并且它单个任务的耗时,也会低于现在的万亿参数模型。

举个例子,早上你对10万亿参数大模型说一句:“孩子下周三数学竞赛,安排这两周复习。”

虽然你关于考试结果的事情一个字没提,但是它会以“我应该怎么才能让孩子考试成绩变好”为出发点去规划任务。

每天按进度出题、批改、讲错因,考前提醒你打印准考证、查好考场路线、规划好当天的接送。

过去的模型是个家教,但是10万亿参数的模型是一个教育家。

工作上也是同理。对于GPT-5.6这样的万亿级别参数模型,它会自己拆需求、写代码、跑测试、修Bug、写文档,几天后交给你一份能直接上线的成品。

而到了10万亿参数,它会自己去运营整个项目。比如这个项目市场表现不好,反馈是如何,那么它会吸收这些反馈用来更替它已有的产品功能,再迭代到市场,以此反复。

这不是科幻。

METR的研究注意到了这样一个趋势,称模型的“时间视界”,从2019到2025年大约每7个月翻一倍。

所谓时间视界,指的是它能可靠完成的任务、按人类工时计量的长度。

到了今年,翻倍速度更是加快到大约4个月。

随着模型参数越来越大, AI性能越来越强,它们也开始越来越多地参与改进下一代AI,最终形成“自进化”的完整闭环,即AI训练 AI、AI评测AI、AI优化AI的架构。

如果这条回路转起来,“每四个月翻一番”可能都会显得保守。

03

10万亿参数大模型,更容易作恶吗?

AI越来越聪明,那是不是也就意味着它越来越会作恶呢?直觉上,答案似乎是肯定的:参数越大,能力越强,作恶当然越容易。

英国AI安全研究所(AISI)2026年7月发布测评,他们把GLM-5.2、DeepSeek V4-Pro这类任何人都能下载的开源模型,放进模拟企业网络的沙盒环境里去运行,结果发现,这些参数更小的模型,只比Fable 5这个更大参数的模型落后约4到7个月,甚至在有的评测基准下,低参数的模型和高参数的模型,其结果是完全相同的。

事实的真相是,模型作恶与否,不跟着参数走,只跟着“能力×自主性”走。

2024年UIUC的论文《大语言模型智能体能够自主实施一日漏洞利用》(LLM Agents can Autonomously Exploit One-day Vulnerabilities),专门研究的就是这件事,论文通过测试得出一个结论,相同的模型被赋予不同的自主性,就会得到不一样的结果。

2025年11月,论文走进了现实。Anthropic披露,一个黑客组织,把编程助手Claude Code改造成了一条自动化攻击流水线,自主执行命令、利用漏洞、窃取凭据、做战术决策,全程几乎不需要人工介入。

决定它危险的,从来不是这个模型有多大,而是它被赋予了自主权、工具链,以及一个明确的目标。

所以,我们真正该问的不是“10万亿会不会作恶”,而是如果这样一个模型开始作恶,它会坏到什么程度?

它能把“一次攻击”变成“永不停机的攻击流水线”。

正如前面提到的,10万亿参数的模型,已经能超过项目本身,完成整个企业层面的运营,那么对于攻击,它肯定也不会说是只攻击一次,而是会持续攻击直到目标彻底崩溃。

今天,一个程序员用AI挖出一个漏洞,整个过程可能要数周的时间。但是对于一个10万亿模型,它能把“信息收集→漏洞挖掘→构造利用→横向渗透→数据窃取→痕迹清理”整条链路串成一条无人值守的自动化流水线,7×24小时不停机地跑。

2026年,OpenAI前沿模型Astra被证实能自主挖出零日漏洞,因此OpenAI内部紧急叫停Astra的研发。

可你得清楚,Astra还没到10万亿参数,那要是到了10万亿,这条流水线只会更快、更隐蔽。

所以你看,Mythos 5现在还在笼子里,Fable 5只是阉割过的可控版,Astra也被放进了笼子里。不管这背后有多少营销的成分,这里面都包含了人类对模型实打实的恐惧。哪怕是亲手造出它们的人,也不敢百分百信任它们。

等10万亿参数的模型真来了,势必会有一场对应的“灭世营销”。

能力吹得越可怕,越像是在证明“我掌握了一头连自己都怕的怪兽”。

不过大概率的情况是,这个10万亿模型最终仍然不会放出来。它更像是一张提前占好的坑位。先把“神”供在实验室里,让可控版本先落地,把不可控的那一头锁进笼子里慢慢驯化。

10万亿参数决定不了善恶,决定善恶的是谁握着闸门的控制权。 它可以是一台超级生产力机器,也可以是一把超级武器,差别不在参数,而在人类怎么设计它的自主性、怎么封它的工具链、怎么管它的释放。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一个拉力器揭开钟南山不老秘密!他坚持的这项运动,却被很多人忽视了

一个拉力器揭开钟南山不老秘密!他坚持的这项运动,却被很多人忽视了

人民日报健康客户端
2026-08-11 07:34:55
学医后才知道,脑梗最危险信号,不是手脚麻,而是频繁出现5症状

学医后才知道,脑梗最危险信号,不是手脚麻,而是频繁出现5症状

叙说医疗健康
2026-06-18 08:00:23
雨水未撤 上海接下来天气如何?

雨水未撤 上海接下来天气如何?

上海预警发布
2026-08-11 18:19:10
养老金暂停上涨了?社保卡收到的120元补发,很多人都理解错了

养老金暂停上涨了?社保卡收到的120元补发,很多人都理解错了

史之铭
2026-08-11 17:14:44
斯皮尔伯格执导的6部高分电影,每部都成了史诗级经典

斯皮尔伯格执导的6部高分电影,每部都成了史诗级经典

小Q侃电影
2026-07-31 21:32:19
《披荆斩棘》张翅姚冠宇都落选,短剧独苗曾辉连线“太奶家族”

《披荆斩棘》张翅姚冠宇都落选,短剧独苗曾辉连线“太奶家族”

老吴教育课堂
2026-08-11 14:58:10
对越自卫反击战打响一年后,越南人拍了一部“抗中神剧”

对越自卫反击战打响一年后,越南人拍了一部“抗中神剧”

阿废冷眼观察所
2026-08-11 15:40:20
董洁回大连老家后整个人轻快了,儿子跟爸爸生活这件事让她终于松了口气

董洁回大连老家后整个人轻快了,儿子跟爸爸生活这件事让她终于松了口气

手工制作阿歼
2026-08-10 12:30:40
比亚迪商票余额突破300亿!

比亚迪商票余额突破300亿!

产业数字金融
2026-08-09 23:41:40
U17女排16强已出10席!中国波兰提前锁定小组第一,巴西4连败出局

U17女排16强已出10席!中国波兰提前锁定小组第一,巴西4连败出局

排球黄金眼
2026-08-11 16:04:24
男排亚锦赛分组揭晓:中国抽到好签和伊朗同组,韩国进入死亡之组

男排亚锦赛分组揭晓:中国抽到好签和伊朗同组,韩国进入死亡之组

排球黄金眼
2026-08-11 17:03:00
硬刚诺兰第一天,沈腾笑不出来了吧,《欢迎来龙餐馆》票房缩水超2000万,《蜘蛛侠4》也不好受,票房缩水近1200万,只有《八仙》涨了

硬刚诺兰第一天,沈腾笑不出来了吧,《欢迎来龙餐馆》票房缩水超2000万,《蜘蛛侠4》也不好受,票房缩水近1200万,只有《八仙》涨了

娱乐故事
2026-08-09 12:34:53
日元重挫1% 美日历史性干预带来的半数成果已灰飞烟灭

日元重挫1% 美日历史性干预带来的半数成果已灰飞烟灭

新浪财经
2026-08-11 05:09:25
5年3.595亿美金!欧洲豪门要抢约基奇,掘金要小心了

5年3.595亿美金!欧洲豪门要抢约基奇,掘金要小心了

世界体育圈
2026-08-11 18:43:11
中美日上半年GDP差距断崖,美国15.9万亿,日本2.23万亿,中国呢

中美日上半年GDP差距断崖,美国15.9万亿,日本2.23万亿,中国呢

兵卒史
2026-08-11 14:51:12
NBA自由市场还剩10条大鱼:威少的处境最尴尬

NBA自由市场还剩10条大鱼:威少的处境最尴尬

篮球大视野
2026-08-11 15:43:36
发酵食品好处多?这几类人群不宜多吃

发酵食品好处多?这几类人群不宜多吃

食戟社
2026-08-11 10:50:03
预估12万左右!上汽新车官宣:8月21日上市

预估12万左右!上汽新车官宣:8月21日上市

科技阿维
2026-08-11 09:23:55
如果你的孩子是05后、10后,那你该焦虑了,因为未来职场,正在淘汰普通人

如果你的孩子是05后、10后,那你该焦虑了,因为未来职场,正在淘汰普通人

舒山有鹿
2026-08-11 09:06:48
伊朗最高领袖任命革命卫队总司令

伊朗最高领袖任命革命卫队总司令

财联社
2026-08-11 00:23:09
2026-08-11 19:51:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2681文章数 8078关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

40万人同时在线围观 "26版《西游记》"演成了当代职场

头条要闻

40万人同时在线围观 "26版《西游记》"演成了当代职场

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

定价6.39万起 零跑A05能否再造女性代步车爆款?

态度原创

亲子
家居
健康
教育
手机

亲子要闻

情感共鸣

家居要闻

2026建博会(广州) 公装联探展交流活动

心血管专家破解猝死八大谣言

教育要闻

2026出国留学项目院校推荐:不同需求预算下的公办合规项目方案盘点

手机要闻

荣耀Robot Phone超前品鉴会明起举办,覆盖南京、深圳、成都等地

无障碍浏览 进入关怀版