网易首页 > 网易号 > 正文 申请入驻

20岁写出Transformer的人,真开源了2180亿大模型

0
分享至


新智元报道


【新智元导读】刚刚,Cohere放出2180亿参数的MoE大模型Command A+,单张B200可跑,支持48种语言,还带原生引用能力。但这次发布最炸的,不在参数表上,而在那一个许可证:Apache 2.0。

「Attention Is All You Need」,正是这篇著名的论文,催生了今天所有的大模型。

5月20日,该论文的一位共同作者Aidan Gomez,在X上宣布推出首个完全开源的Apache 2.0许可的模型:Cohere Command A+。


Gomez是前谷歌研究员,如今是Cohere的联合创始人兼CEO。

Command A+是Command A家族的最后一个模型,也是Cohere的第一个MoE(混合专家)模型。218B总参数,25B激活参数:一次性把视觉输入、推理、翻译和AI智能体能力,全部塞进了同一个模型。

最低部署配置:1张NVIDIA B200,或者2张H100。许可证:Apache 2.0。


https://cohere.com/blog/command-a-plus

据VentureBeat报道,这是Cohere历史上第一个真正可商用的开源旗舰。联合创始人Nick Frosst称它是「我们发过最好的模型」。

2180亿参数

每次干活的只有250亿

2180亿参数,听起来就是个吞算力的巨兽。但Command A+每次生成,真正被激活的只有250亿参数。

这正是MoE架构的精髓。

一个MoE模型,会将进来的问题只路由给最擅长处理它的那几个「专家」神经网络,其余部分保持休眠。这样的设计,既让模型保留了「巨头级」的知识储备和推理能力,但运行时的算力和能耗,却接近一个小得多的模型。

VentureBeat报道,据第三方观察估计,OpenAI的GPT-5.5、Anthropic的Claude Opus 4.7参数量都在万亿级别,而Command A+每次激活的参数只有250亿。

靠MoE省算力,如今是大多数头部模型的惯常做法。但Cohere在这个基础上又叠了第二层压缩:量化。

Command A+提供BF16、FP8和高度压缩的W4A4三种版本,其中W4A4是这次发布的技术核心。

通常,推理模型一旦被压缩,复杂问题上的表现会肉眼可见地退步,业内称之为「量化税」。

Cohere的做法,是只将MoE专家压到4-bit,关键的注意力通路保留全精度,再叠加一项叫量化感知蒸馏(Quantization-Aware Distillation)的技术。

Cohere称其W4A4量化方案接近无损。据Cohere发布的性能数据显示,W4A4版本在低并发下达到每秒375个token,首token延迟仅113毫秒。

正是靠这套方案,让一个2180亿参数的模型,能跑在单张NVIDIA B200上,或者两张H100上。


不同并发与量化下,Command A+与前代Command A Reasoning的速度和延迟对比。TOPS为每秒生成token数,TTFT为首token延迟。数据由Cohere发布。

这里所谓「单卡运行」,指的是一张数据中心级的Blackwell B200,并非消费级显卡。

过去一个千亿级模型要一整个GPU集群伺候,现在一台机器搞定。

这正是Cohere这次想讲的故事:大参数,不再等于烧钱。

Apache 2.0

一张通往真开源的许可证

如果只看参数和速度,Command A+是一次强大的工程升级。但更值得开发者们注意的,是一张Apache 2.0许可证。

在今天的AI圈,「开源」是一个早被「玩坏」的词。

很多领先的AI公司放出权重,却套着限制性的商用条款:大企业不许拿去做商业用途,也不许用它训练竞品模型。下载可以,研究可以,真要赚钱,回来买授权。

Cohere过去在这个方向上也摇摆了很久。

据VentureBeat报道,它此前的Command R、Command R+,采用的是CC-BY-NC 4.0,也就是「知识共享-非商业」许可。研究者和开发者能下载、能折腾、能评测,但严禁商用。

也就是说:开放一半,留一半。但到了Command A+,另一半也松开了。

它采用了Apache 2.0,一个OSI认可的真正开源许可证。从独立开发者到世界500强企业,任何人都可以使用、修改、分发并商业化这个模型,不付授权费,也没有竞业条款。

这是Cohere首次这么做,它在一位写出Transformer的人的带领下,全面倒向了真正的开源。

据VentureBeat报道,这个决定由联合创始人Nick Frosst力主推动。

Frosst是Cohere三位联合创始人之一,曾在谷歌大脑多伦多实验室做研究员,是AI教父Geoffrey Hinton在那里最早的雇员之一。

Cohere将旗舰模型从CC-BY-NC 4.0转到Apache 2.0,意味着企业彻底不必再被供应商捆住。

一家公司可以下载Command A+的权重,用自己高度机密的内部数据做微调,部署在私有服务器甚至气隙网络里,从此不再被Cohere的基础设施、定价变动或API稳定性绑住。

Command A+

把「可追溯」做成模型的原生能力

能跑和敢用,完全是两回事。

一个模型要真正进入金融、医疗、法律的生产环境,真正的瓶颈不是模型能力,而是可信。

Command A+在这件事上,做了一个原生层面的设计:原生引用(native citation)生成。

当Command A+从外部工具检索信息时,它不只是把答案合成出来,还会生成所谓的「grounding spans(溯源标记)」。

通过在输出里嵌入特殊标签,模型把它给出的每一条事实声明,直接链接到它所引用的那份具体文档或那一行数据库记录。

举个场景。你让它出一份当日销售报告,它给出总销售额的同时,会明确标出提供这个数字的那一次数据库查询结果。出处一目了然,幻觉风险被压到最低。

这种可追溯性,对于受到严格监管的行业尤为重要。

智能体能力,也是这次发布的一个重点。

Command A+支持标准chat template下的对话式工具调用,可以无缝对接内部API、搜索引擎或SQL数据库。

它还是全多模态的,在128K输入上下文里原生处理文本和图像,适合分析扫描发票、图表和技术手册。


Command A+与Command A Vision的多模态能力对比,Command A+是Cohere首个多模态推理模型。数据由Cohere发布。

据Cohere发布的性能数据显示,在测试复杂推理的²-Bench Telecom上,Command A+从前代的37%跳到85%;在衡量智能体编码能力的Terminal-Bench Hard上,从3%爬到25%;在AIME 25数学测试上,从57%升到90%。


Command A+与前代Command A Reasoning在五项开源基准上的表现对比。数据由Cohere发布。

这些都是VentureBeat援引Cohere自己发布的数据,并非第三方独立评测。

VentureBeat认为,Command A+以250亿激活参数的体量,在纯推理和数学上可以媲美体量大出许多的模型;但在深度智能体编码和综合智能的广度上,它目前仍落后于DeepSeek等中国头部开源模型。

比跑分更重要的,是Command A+把「可追溯」做成了模型的原生能力。

Transformer作者联手辛顿门徒

让Cohere真开源了

最后,再说一说Command A+背后的两个人。


https://arxiv.org/pdf/1706.03762

2017年,Transformer论文《Attention Is All You Need》在谷歌诞生。八位作者中,最年轻的Aidan Gomez当时只有 20 岁,还是Google Brain实习生,还在多伦多大学读计算机和数学本科。


Aidan Gomez

据TIME报道,为了赶上一个重要AI会议的截稿,他和同事们甚至睡在办公室里。后来他对TIME坦言,那时没人能预料到,这篇论文会把整个AI行业带到今天。

Gomez擅长把底层架构变成能落地的东西。2017年他还发起了FOR.ai,一个让研究者共享机器学习知识的协作项目,后来演化成Cohere For AI。

2019年,他从谷歌大脑离开,和Ivan Zhang、Nick Frosst一起在多伦多创办了Cohere。三个人选了一条和OpenAI不一样的路:不做面向大众的聊天机器人,只为企业做模型。


Nick Frosst

Frosst是Cohere联合创始人,曾在AI教父Geoffrey Hinton的谷歌大脑多伦多实验室做研究员,是那里最早的雇员之一,业内常视他为Hinton的得意门生。研究方向是胶囊网络和模型可解释性。

一个写出Transformer,一个师承Hinton。Cohere从第一天起,就具备了「把前沿研究做成企业能用的产品」的基因。

到了Command A+,在Frosst的力主推动下,Gomez拍板,Cohere彻底松手把旗舰模型的许可证翻到Apache 2.0。

据Cohere官方表示,Command A+是Command A家族的最后一个模型,这往往也意味着下一个家族已经在路上了。

长期以来,数据隐私和成本控制,把企业死死卡在这样一个瓶颈上:想用前沿AI,就必须依赖中心化的大型算力集群。

这一次,Command A+把前沿级的推理、稳健的智能体工具调用、多模态能力,和一套专为硬件效率设计的架构绑在了一起,这一转变正在重写企业采纳AI的成本账。

首先,部署的门槛降了。过去一个千亿级模型要一整个GPU集群,现在最低1张B200或2张H100就够。

其次,推理的开销也降了。W4A4版本的输出速度较前代Command A Reasoning最高提升63%,延迟降低17%。算力时间就是金钱,速度上去,单位成本就下来。

第三,多语言的账也降了。新的分词器让非欧洲语言更省token:阿拉伯语少20%,日语少18%,韩语少16%。推理按token计费,token少了,跨国和多语言部署的账单就跟着薄了。

近期,Cohere还宣布与德国AI公司Aleph Alpha合并。两家公司方向一致:不押注聊天机器人,而是为政府和大企业做能装进自家机房的AI。

开源大模型的竞争,已经进入下半场。上半场比的是参数规模,下半场比的是另一件事:谁能让企业把模型,真正搬进自己的机房。

参考资料:

https://cohere.com/blog/command-a-plus

https://venturebeat.com/technology/cohere-cracks-lossless-quantization-and-native-citations-with-first-full-apache-2-0-licensed-open-model-command-a

编辑:元宇

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孙颖莎爆冷出局,原因曝光!对手说出大实话,邓亚萍点评一针见血

孙颖莎爆冷出局,原因曝光!对手说出大实话,邓亚萍点评一针见血

南海浪花
2026-10-08 01:16:18
82岁独享2026诺贝尔物理学奖,奖金超800万,他说:希望这个奖能帮我的新提案过关

82岁独享2026诺贝尔物理学奖,奖金超800万,他说:希望这个奖能帮我的新提案过关

科普中国
2026-10-07 15:25:48
“95后”女生买了3条“次抛衣”,总花费不到80元,国庆假期回程时直接舍弃;商家称核心购买群体为18至30岁的年轻女性;专家提醒

“95后”女生买了3条“次抛衣”,总花费不到80元,国庆假期回程时直接舍弃;商家称核心购买群体为18至30岁的年轻女性;专家提醒

扬子晚报
2026-10-07 13:59:16
郑钦文上演“过山车”式胜利,2-1击败“黑马”查拉耶娃挺进中网8强,用胜利庆贺自己的24岁到来

郑钦文上演“过山车”式胜利,2-1击败“黑马”查拉耶娃挺进中网8强,用胜利庆贺自己的24岁到来

极目新闻
2026-10-07 21:50:06
蔡康永风波再升级!发声惹众怒,官媒下场,这次谁也“救”不了他

蔡康永风波再升级!发声惹众怒,官媒下场,这次谁也“救”不了他

喜欢历史的阿繁
2026-10-07 17:49:43
欠薪2300万元!估值140亿的机器人巨头,如今连工资都发不出来了

欠薪2300万元!估值140亿的机器人巨头,如今连工资都发不出来了

李砍柴
2026-10-07 18:56:23
郑钦文战胜本届中网“最大黑马”,用胜利作为24岁生日礼物

郑钦文战胜本届中网“最大黑马”,用胜利作为24岁生日礼物

澎湃新闻
2026-10-07 21:44:05
2026年的6位诺奖得主,到底发表了多少篇CNS?

2026年的6位诺奖得主,到底发表了多少篇CNS?

必记本
2026-10-07 22:48:02
教育竟突然松绑了!真正原因在这里

教育竟突然松绑了!真正原因在这里

行者殷涛
2026-10-06 18:12:56
围攻中国的六个“人权婊“:英国、澳大利亚、日本、爱尔兰、捷克、立陶宛

围攻中国的六个“人权婊“:英国、澳大利亚、日本、爱尔兰、捷克、立陶宛

华人星光
2026-10-07 12:18:30
AlphaGo核心作者决裂谷歌!发文痛撕大模型皇帝新衣:所谓的思维链,全是事后编造!

AlphaGo核心作者决裂谷歌!发文痛撕大模型皇帝新衣:所谓的思维链,全是事后编造!

人工智能学家
2026-10-07 18:18:07
不留情面!葡媒痛批C罗:自尊心作祟,不配再进国家队,看看梅西告别战

不留情面!葡媒痛批C罗:自尊心作祟,不配再进国家队,看看梅西告别战

体育见习官
2026-10-07 19:05:37
华为余承东:极紫外光刻(EUV)设备是制造先进芯片的关键,国内目前正在研发

华为余承东:极紫外光刻(EUV)设备是制造先进芯片的关键,国内目前正在研发

IT之家
2026-10-07 21:34:10
游客没地方住,祁连县把学生宿舍让给游客住,为什么翻车了

游客没地方住,祁连县把学生宿舍让给游客住,为什么翻车了

互联网大观
2026-10-07 13:40:53
世界排名飙升12位,奖金70万,郑钦文2-1大黑马,连续两站晋级8强

世界排名飙升12位,奖金70万,郑钦文2-1大黑马,连续两站晋级8强

求球不落谛
2026-10-07 21:31:19
高市早苗对华重磅改口,一名39岁女性的生命换来的?

高市早苗对华重磅改口,一名39岁女性的生命换来的?

健身狂人
2026-10-06 04:25:10
汽车离加油站20多米燃油耗尽,请加油员手动灌油被拒,无奈花350元叫拖车,加油站道歉:签字备案后可借散装油

汽车离加油站20多米燃油耗尽,请加油员手动灌油被拒,无奈花350元叫拖车,加油站道歉:签字备案后可借散装油

极目新闻
2026-10-07 16:00:12
央视明示:此前在南海“瘫痪”4天的美军驱逐舰,疑似是被055大驱高速拉爆的!

央视明示:此前在南海“瘫痪”4天的美军驱逐舰,疑似是被055大驱高速拉爆的!

天下布武
2026-10-07 15:13:22
大闹航班逼空乘下跪的欧皓辰,后续来了:企业十天不敢认领,公司切割的背后,全在算利益账

大闹航班逼空乘下跪的欧皓辰,后续来了:企业十天不敢认领,公司切割的背后,全在算利益账

秋风妃
2026-10-08 01:00:30
泰国失联的上海教师回国!多方出手,囚禁缅甸11天获救,细节炸裂

泰国失联的上海教师回国!多方出手,囚禁缅甸11天获救,细节炸裂

牛锅巴小钒
2026-10-07 19:50:21
2026-10-08 06:36:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16368文章数 67148关注度
往期回顾 全部

科技要闻

诺贝尔化学奖揭晓,两位科学家摘得大奖

头条要闻

中国新婚夫妇在马尔代夫度假溺亡 有人1天目睹2起溺水

头条要闻

中国新婚夫妇在马尔代夫度假溺亡 有人1天目睹2起溺水

体育要闻

从骑马舞到开口全中文 德约在北京不止七冠

娱乐要闻

蔡康永风波再升级!这次谁也救不了他

财经要闻

谷歌签下科技史上最大核能协议

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

教育
亲子
房产
旅游
数码

教育要闻

一张虚伪的“女儿躺赢奖状图”,被懂行的人扒了个干净,家长连底裤都不剩

亲子要闻

赴美生子曾经很流行,5年暴涨过20倍,现在这些孩子怎么样了?

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

旅游要闻

新场景新玩法释放京城文旅消费活力

数码要闻

韩媒称三星12层HBM4E通过英伟达等客户验证 但尚无供货合同披露

无障碍浏览 进入关怀版