网易首页 > 网易号 > 正文 申请入驻

刚刚,字节开源Seed-OSS-36B模型,512k上下文

0
分享至

机器之心报道

机器之心编辑部

开源赛道也是热闹了起来。

就在深夜,字节跳动 Seed 团队正式发布并开源了 Seed-OSS 系列模型,包含三个版本:

  • Seed-OSS-36B-Base(含合成数据)
  • Seed-OSS-36B-Base(不含合成数据)
  • Seed-OSS-36B-Instruct(指令微调版)

  • Hugging Face 地址:https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct
  • 项目地址:https://github.com/ByteDance-Seed/seed-oss

Seed-OSS 使用了 12 万亿(12T)tokens 进行训练,并在多个主流开源基准测试中取得了出色的表现。

这三个模型均以 Apache-2.0 许可证发布,允许研究人员和企业开发者自由使用、修改和再分发。

主要特性:

  • 灵活的推理预算控制:允许用户根据需要灵活调整推理长度。这种对推理长度的动态控制能力,可在实际应用场景中提升推理效率。
  • 增强的推理能力:在保持平衡且优秀的通用能力的同时,针对推理任务进行了特别优化。
  • 智能体能力:在涉及工具使用和问题解决等智能体任务中表现突出。
  • 研究友好:考虑到在预训练中加入合成指令数据可能会影响后续研究,字节同时发布了含有与不含指令数据的预训练模型,为研究社区提供了更多样化的选择。
  • 原生长上下文:在训练中原生支持最长 512K 的上下文窗口。

模型架构

Seed-OSS-36B 的架构结合了多种常见的设计选择,包括因果语言建模、分组查询注意力(Grouped Query Attention)、SwiGLU 激活函数、RMSNorm 和 RoPE 位置编码。

每个模型包含 360 亿参数,分布在 64 层网络中,并支持 15.5 万词表。

其最具代表性的特性之一是原生长上下文能力,最大上下文长度可达 512k tokens,能够在不损失性能的情况下处理超长文档和推理链。

这一长度是 OpenAI 最新 GPT-5 模型系列的两倍,大约相当于 1600 页文本。

另一个显著的特性是引入了推理预算,它允许开发者在模型给出答案之前,指定模型应执行多少推理过程。

这一设计在近期其他一些开源模型中也有所体现,例如 Nvidia 新推出的 Nemotron-Nano-9B-v2。

在实际应用中,这意味着团队可以根据任务的复杂性和部署的效率需求来调节性能。

推荐的预算值为 512 tokens 的倍数,其中 0 表示直接输出答案的模式。

结果

基准测试结果显示,Seed-OSS-36B 位列当前性能较强的开源大模型之列。

Seed-OSS-36B-Base

含合成数据版本的 Base 模型在 MMLU-Pro 上取得 65.1 得分,在 MATH 上取得 81.7 得分。非合成基础版本虽然在许多方面略微落后,但也具有竞争力。

Seed-OSS-36B-Instruct

Instruct 版本在多个领域都取得了 SOTA 成绩。

  • 数学与推理:Seed-OSS-36B-Instruct 在 AIME24 上取得 91.7% 的成绩,在 BeyondAIME 上取得 65,均代表开源领域的最新 SOTA 水平。
  • 代码能力:在 LiveCodeBench v6 上,Instruct 模型得分 67.4,同样刷新 SOTA 纪录。
  • 长上下文处理:在 RULER(128K 上下文长度)测试中,该模型达到 94.6,创下开源模型的最高分。

思考预算

用户可以灵活指定模型的推理预算。下图展示了在不同任务中,随着推理预算变化而产生的性能曲线。

对于较简单的任务(如 IFEval),模型的思维链较短,随着推理预算的增加,分数会出现一定波动。

而在更具挑战性的任务(如 AIME 和 LiveCodeBench)中,模型的思维链较长,分数则会随着推理预算的增加而提升。

模型在运行过程,会提醒用户 token 使用情况:

Got it, let's try to solve this problem step by step. The problem says ... ...

I have used 129 tokens, and there are 383 tokens remaining for use.

Using the power rule, ... ...

I have used 258 tokens, and there are 254 tokens remaining for use.

Alternatively, remember that ... ...

I have used 393 tokens, and there are 119 tokens remaining for use.

Because if ... ...

I have exhausted my token budget, and now I will start answering the question.

To solve the problem, we start by using the properties of logarithms to simplify the given equations: (full answer omitted).

如果未设置推理预算(默认模式),Seed-OSS 将以无限长度启动推理。

如果指定了推理预算,字节建议用户优先选择 512 的整数倍数(如 512、1K、2K、4K、8K 或 16K),因为模型已在这些区间上进行了大量训练。

当推理预算为 0 时,模型会被指示直接输出答案;对于低于 512 的预算,字节也建议统一设为 0。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

巢客HOME
2026-11-19 11:00:09
逃过了股市暴跌,却没逃过银行理财的暴击

逃过了股市暴跌,却没逃过银行理财的暴击

深水财经社
2026-11-18 14:21:15
蒙古国独立都快一百年了,为何一大半蒙古族,还“窝”在中国?

蒙古国独立都快一百年了,为何一大半蒙古族,还“窝”在中国?

浩渺青史
2026-11-19 02:17:33
国产手机官宣,安装 App 要看「身份证」了!

国产手机官宣,安装 App 要看「身份证」了!

果粉俱乐部
2026-11-18 13:55:06
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
APEC火出圈!李在明下专机时,中方高规格接待,韩媒给予高度评价

APEC火出圈!李在明下专机时,中方高规格接待,韩媒给予高度评价

麓谷隐士
2026-11-19 09:19:56
利好突袭!刚刚,全线拉升!史上最大IPO定了

利好突袭!刚刚,全线拉升!史上最大IPO定了

证券时报
2026-11-19 09:45:34
哈珀女友太惊艳,文班学着点,这才是人生赢家

哈珀女友太惊艳,文班学着点,这才是人生赢家

体育篮球弟
2026-11-19 03:37:31
儿媳生完孩子后,婆婆每天变着花样做饭,直到儿媳说:“妈,我不是嫌你做得不好,我只是想自己带孩子”

儿媳生完孩子后,婆婆每天变着花样做饭,直到儿媳说:“妈,我不是嫌你做得不好,我只是想自己带孩子”

自由心向往之
2026-11-12 08:00:09
再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

牛锅巴小钒
2026-11-16 02:14:24
广东广州,本博八年连读医学生从宿舍楼坠亡,警方已经介入调查

广东广州,本博八年连读医学生从宿舍楼坠亡,警方已经介入调查

雪峰说法
2026-11-19 10:00:10
黄金大跌!高盛却做出一个大胆的未来预测

黄金大跌!高盛却做出一个大胆的未来预测

上观新闻
2026-11-18 15:32:31
发现一个规律:要是长期不祭祖的家庭,过个十年八年,会有变化

发现一个规律:要是长期不祭祖的家庭,过个十年八年,会有变化

云居历史
2026-11-17 03:47:34
16.96万!奥迪新车突然官宣,再次降价

16.96万!奥迪新车突然官宣,再次降价

科技堡垒
2026-11-19 08:00:44
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
面相全变了!黄晓明和杨颖看同场演唱会,一个头秃,一个长腿吸睛

面相全变了!黄晓明和杨颖看同场演唱会,一个头秃,一个长腿吸睛

白面书誏
2026-11-19 12:14:58
广东15岁女孩和父母吵架断零花钱,跑去KTV陪酒,和已婚经理交往后怀孕,报警称被性侵,警方撤案后法院判赔

广东15岁女孩和父母吵架断零花钱,跑去KTV陪酒,和已婚经理交往后怀孕,报警称被性侵,警方撤案后法院判赔

一丝不苟的法律人
2026-11-19 06:45:23
离谱!女儿刚入职,父亲私加 HR:愿每月掏 5000,请假要向他汇报

离谱!女儿刚入职,父亲私加 HR:愿每月掏 5000,请假要向他汇报

另子维爱读史
2026-11-18 20:45:10
妻子出轨,丈夫将15公分蜡烛塞进妻子的阴道内

妻子出轨,丈夫将15公分蜡烛塞进妻子的阴道内

胖胖侃咖
2025-04-13 08:00:08
人均吃饭32.8元,跌回十年前!半年倒闭205万家,餐饮业咋了?

人均吃饭32.8元,跌回十年前!半年倒闭205万家,餐饮业咋了?

云霄纪史观
2026-11-19 02:44:32
2026-11-19 13:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14510文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
数码
时尚
旅游
公开课

房产要闻

6.6亿!海口卖地!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版