网易首页 > 网易号 > 正文 申请入驻

OpenAI 下场,国产开源还有机会吗?从 gpt-oss 与 Qwen3/DS 的技术路线说起

0
分享至

北京时间8月5日,OpenAI 终于发布了其自 GPT-2 以来的首个开源大模型 gpt-oss,整个技术圈瞬间沸腾。在众多媒体和开发者涌向官方博客和性能榜单的同时,我更习惯直奔主题——扒开它在 Hugging Face 上公开的 config.json 配置文件,从最底层的技术架构,一探究竟。

这次时隔多年的“Open”,究竟是革命性的技术突破,还是现有技术的精巧组合?它与 Qwen3、Kimi K2 等国产开源大模型相比,在设计思路上有何本质不同?其实际体验和可玩性又如何?

本文将从 【技术架构解析与对比】、【上手体验与感悟】 和 【快速使用指南】 三个部分,为你带来一份全面且深入的 gpt-oss 分析报告。

Part.01

开源技术分析和国内开源大模型对比

我第一时间去hugging face上扒了120B模型的config文件,也就是模型的描述文件,就想看看它这次时隔多年的开源,到底有没有什么重磅内容。

这是详细内容,layer_ types层是sliding_ attention和full_attention的交错分布,所以省略了。

作为对比,这里放了Qwen3的结构。

先来看GPT oss的结构,MoE写的明明白白了:GptOssForCausalLM,现在的大模型暂时还跑不出MoE这种结构范围内,毕竟这种结构兼容了性能和速度,不二之选。

独特的Attention交替排列

attention大家都用,传统full attention,linear attnetion挺多,但是这种sliding_ attention和full_ attention交替排列的还是在开源大模型里面第一次见。

Qwen用的full_attention,刚刚看了下Kimi K2,也是full attention(继承的DeepSeek R1结构),可以说这个交错的attention使用或者应用,算是GPT oss一个独创性的工作。

这种方式的直接效果就是极大的减少内容的使用,这也是120B可以放到单卡H100,20B消费级显卡就可以使用的一个重要原因。

但是相比起full_attention,这种方式必定会减少一定程度的性能,但是至于是多少,得看更多的案例分析。

很稀疏的MoE + 路由器的强行均衡

num_local_experts: 128
experts_per_token: 4: 4

在其内部,每一层都设有128个“专家”网络,但在处理任何一个任务时,系统只会智能地激活最相关的4位专家来协同工作。

但有一个细节,router_ aux_ loss_ coef: 0.9,解释一下,比如有很多个专家,但是系统可能会抽风,那么就会老让最热门的几个专家(比如数学和编程专家)干活,他们肯定会忙不过来,造成交通拥堵,针对这种可能性GPT oss定了一个非常严格的规矩(router_aux_loss_coef: 0.9)。这个规矩强制调度员必须公平地给各位专家分配任务,确保冷门的专家也能得到锻炼,不会出现“旱的旱死,涝的涝死”的情况。

与此相比,Qwen3 模型在专家协作上则采用了截然不同的策略,它一次会激活 8位专家(是 gpt-oss 的两倍),相当于为每个任务都组建一个更庞大的“专家小组”,理论上能调动的瞬时智慧更多。

更关键的是,它的“调度员”规则非常宽松(router_ aux_ loss_coef: 0.001),几乎不干涉专家的选择。这更像一个“自由市场”,允许最顶尖的专家处理绝大部分他们擅长的问题,从而可能在特定领域形成极强的专业优势。

在这一点儿上,OpenAI非常的保守,它通过强有力的外部规则来保证系统的整体稳定和健康,相信一个泛化、均衡的系统是通往强大通用人工智能的更可靠路径。

而国内的大多数开源大模型要激进一些,它相信通过赋予模型内部组件最大的自由,能够涌现出更高效、更专业化的内部结构,从而冲击更高的性能极限。

Context:128K

这个上下文并没有很夸张,中规中矩,毕竟Gemini直接干到了100万,kimi也是。

就是RoPE + YaRN,核心代码就是这里,本来的4096个,翻了32倍,直接干到128K。

Qwen3没用这个,不过在Kimi k2,也就是DeepSeek R1上找到了类似的用法。

区别就是factor和rope_theta。

但是相比起开源的早晚,DeepSeek很早就应用了这个技术并开源,功德更高。

词表大小

只是列举出区别,之前听过有大佬说,这玩意也不是越大越好,但事实上GPT oss的词表最大。

GPT oss:201088

Qwen3: 151936

Kimi k2: 129280

选择性的量化

还是追求性能,应该就是要把模型塞进单卡里作为一个硬性约束,直接做了4bit的量化,不过在关键的部位依旧保持高精度。

DeepSeek也有类似的应用,不过比起4bit要柔和了不少,用的8bit。

Part.02

体验效果分享和感悟

开源大模型从整体上暂时弱于闭源大模型。

这种弱几乎是全方面的。

所以比较性能意义不大,之需要知道这个大模型还不错,可以单卡运行即可。

要关注的是它的可玩性:

  • Apache 2.0 许可:可自由用于实验、定制和商业部署。

  • 可调的推理力度:可设为“低、中、高”三档,以平衡延迟与性能。

  • 完整的思维链:完全访问模型的推理过程,便于调试和建立信任(不建议对终端用户展示)。

  • 可微调:支持参数微调,以完全适应特定业务。

  • 原生智能体能力:内置函数调用、网页浏览、代码执行和结构化输出能力。

  • 原生 MXFP4 量化:训练时自带的量化精度,使120B模型能在单张H100上运行,20B模型仅需16GB内存。

我在OpenRouter上用20B的模型跟,Qwen3的30B,GLM4.5 Air和Kimi K2做了对比实验。

结果粗看大家性能都差不太多,GLM4.5 Air成功的破解了问题里预设的“鸡蛋陷阱”,而GPT oss结果有点儿小问题,还是比较低级的计算问题,kimi k2发现了鸡蛋陷阱,但是方法采用的是假设法,不是很理想。Qwen3也有点儿小问题,那就是最开始的时候竟然没有区分公斤和斤,在做了提示之后没什么问题,也避开了陷阱。

Part.03

使用方法介绍

OpenAI建议通过Huggingface使用:https://huggingface.co/openai/gpt-oss-120b

其中OpenAI提供了免费玩的地方:

本地玩玩的话,推荐用Ollama,连代码都不用运行,直接一键激活下载功能。

有老哥在M1 ultra上测试了,token速度还可以。

最后,开源这个模型,对于OpenAI来说很重要,因为终于它Open了一把,但是对于整个开源大模型社区,意义不是特别大,只是现有技术的组合应用,相信很快会有基于GPT oss的二创。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

游文刀
2026-10-14 23:14:33
太能扛了!用了18年西数机械硬盘终报废:盘片满是坑洞

太能扛了!用了18年西数机械硬盘终报废:盘片满是坑洞

快科技
2026-10-14 14:50:29
暴利!净利润 797 亿、收入 2230 亿

暴利!净利润 797 亿、收入 2230 亿

云头条
2026-10-14 21:44:34
楼市开始离谱了!县城的房价,或许会迎来新一轮洗牌,提前准备好

楼市开始离谱了!县城的房价,或许会迎来新一轮洗牌,提前准备好

兴趣知识
2026-10-15 00:54:37
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
养老金不够用了

养老金不够用了

西政资本
2026-10-14 09:47:31
别再被忽悠!宁德时代、比亚迪电池真实差距,看完买车不踩坑

别再被忽悠!宁德时代、比亚迪电池真实差距,看完买车不踩坑

娱乐圈的笔娱君
2026-10-14 07:59:31
人民日报点名尊界,一切都结束了!

人民日报点名尊界,一切都结束了!

财经三分钟pro
2026-10-12 11:54:44
数据中心:乌军捅穿马蜂窝?

数据中心:乌军捅穿马蜂窝?

YY团长
2026-10-13 09:51:47
助布鲁日客胜国米后,索默社媒宣布与妻子结束7年婚姻

助布鲁日客胜国米后,索默社媒宣布与妻子结束7年婚姻

懂球帝
2026-10-14 19:18:16
莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

孤城落叶
2026-10-12 15:01:41
武网爆冷!萨巴伦卡决胜盘连救9赛点,仍1-2遭李吉妮逆转首战出局

武网爆冷!萨巴伦卡决胜盘连救9赛点,仍1-2遭李吉妮逆转首战出局

随梦而飞起
2026-10-15 00:59:18
订婚现场超吸睛!新娘美得像天仙般惊艳众人,新郎一现身却让全场愣住,这差距到底在哪呢

订婚现场超吸睛!新娘美得像天仙般惊艳众人,新郎一现身却让全场愣住,这差距到底在哪呢

世界圈
2026-10-14 15:27:12
《伟大的长征》唯一输家:实力派演员跌下神坛,演技尴尬,全程被吊打

《伟大的长征》唯一输家:实力派演员跌下神坛,演技尴尬,全程被吊打

娱乐圈十三太保
2026-10-14 16:44:08
23.59万 !比亚迪新车正式上市

23.59万 !比亚迪新车正式上市

科技堡垒
2026-10-14 11:37:17
无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

梦史
2026-08-29 06:21:20
单位欠缴社保,最高罚3倍!11月1日起施行!社保断缴,远不止“几个月没交钱”那么简单!

单位欠缴社保,最高罚3倍!11月1日起施行!社保断缴,远不止“几个月没交钱”那么简单!

本账号停运
2026-10-13 20:47:41
涉嫌严重违纪违法,徐璐怡被查

涉嫌严重违纪违法,徐璐怡被查

中国基金报
2026-10-14 15:16:20
记者:威尔考克斯对他的职位没有任何压力;曼联董事会和更衣室都对利马的言论感到愤怒和困惑

记者:威尔考克斯对他的职位没有任何压力;曼联董事会和更衣室都对利马的言论感到愤怒和困惑

MUREDS
2026-10-15 00:43:32
超强厄尔尼诺来了,广东最低温度或达1.5°C,今冬将迎来暴雨寒潮、极端低温

超强厄尔尼诺来了,广东最低温度或达1.5°C,今冬将迎来暴雨寒潮、极端低温

琉璃聊科学
2026-10-14 21:01:42
2026-10-15 05:35:00
平凡AI incentive-icons
平凡AI
高校AI从业者
83文章数 26关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

风格更豪华/座舱更舒适 全新旅行者7上市 燃油版售12.59万起

态度原创

家居
时尚
房产
健康
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

雪莉离开7年后,被改变的女孩们

房产要闻

突发!三亚超级万象城改规公示下架!

孩子运动莫名晕倒?当心这类疾病

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版