网易首页 > 网易号 > 正文 申请入驻

320B模型一次指令重建骨骼,四项基准拿第一

0
分享至

一个指令,从 12,4 87 张 CT 图像里重建出三维骨骼模型。Sage S2.1 Flash 的做法并不玄:先找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,把立体可见的骨骼模型建出来。


近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校,正式发布 Sage S2.1 Flash 技术报告。报告系统披露了这一总参数量达 320B 的混合专家(Mixture-of-Experts,MoE)模型的完整训练流程与技术细节。

读懂分子和光谱、接连调用工具、在专业软件中交付作品,这几项本领如今集中在了同一个模型身上。上线首周,多名体验者评价它“快且聪明”,在多轮任务测试中感受到流畅的工具调用体验;在更贴近实际开发的场景中,模型也能承担完整的任务执行。

统一架构:让模型直接理解科学数据

Sage S2.1 Flash 采用 320B 混合专家架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力支持长上下文处理。模型主干能够在共享上下文中处理文本、图像和科学数据表示,为复杂推理与多步骤任务执行提供基础。

针对分子、蛋白质、核酸及光谱等科学数据,研究团队设计了 Sage Sci-Perception 科学多模态感知模块,采用 MoleculeSTM(分子结构)、ESM-2(蛋白质序列)、DNABERT-2(DNA)、RNA-FM(RNA)、DiffSpectra(光谱数据)等专用编码与表示方法,提取原子连接、序列依赖及连续测量信号等特征,并通过可训练的模态投影器映射至语言模型的统一表示空间。

训练阶段结合监督学习与强化学习,构建分子性质分类、蛋白质相互作用位点预测、原子计数及结构关系查询等可验证任务,利用分类准确性、集合重叠度和数值误差等指标提供奖励信号。

可验证环境:把工具调用练成肌肉记忆

为提升模型在复杂任务中的自主执行能力,研究团队构建了覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互的可验证训练环境,并通过独立的科学强化学习机制优化科学多模态理解能力。

在工具调用训练中,ToolSpace 框架从 MCP 工具服务与真实智能体轨迹中提取工具定义、调用参数及执行结果,构建涵盖数据传递、环境状态变化和失败恢复关系的工具组合图。基于状态感知随机游走,系统自动生成跨工具、跨环境的调用序列,并通过执行条件检查、失败回滚与重新采样确保序列可执行。

最终构建的工具协作空间覆盖 2,042 种工具、77,760 个调用模式节点和 804 个环境,生成的监督微调轨迹平均包含 18.86 次工具调用,最长达 209 次,平均跨越 2.29 个环境。

机器学习工程方面,训练流水线整合了 4,936 条 Kaggle 数据来源、2,960 篇研究论文,以及 Hugging Face、GitHub 等平台的代码与数据资源。系统通过移除损失函数、特征变换或参数更新等核心代码,构建需要模型自主补全的算法任务;对于开放式实验,则要求智能体自行设计方案并执行训练。所有任务通过 Harbor 封装为可复现环境,将任务指令、执行环境与私有评测程序隔离。

视觉智能体采用分阶段训练:第一阶段用图像识别和单步点击任务,训练模型理解界面元素、定位交互目标;第二阶段扩展到连续操作任务,模型需要在每一步读取当前界面、判断任务进展、执行操作,并根据新的截图决定下一步动作。

33 项基准:四项第一,四个第二

研究团队在智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域开展了 33 项基准评测。

  • 机器学习工程任务 MLE-bench Lite:90.3 HumanRank,主要对比模型中位列第一
  • OfficeQA Pro:72.2,第一
  • Harvey LAB:25.0,第一
  • SpreadsheetBench 2:37.1,第一
  • PostTrainBench:39.2,第二
  • PaperBench:88.0,第二
  • 桌面操作评测 OSWorld-Verified:85.2,第二
  • 网页交互评测 WebArena-Verified:67.6,第二

面向真实科研软件,研究团队进一步展示了三维工程设计、科学数据分析和科研文献研究中的应用。在工程建模任务中,模型根据图像和设计要求操作 Blender 与 CAD 软件,构建建筑、涡扇发动机和卡车底盘等三维模型,生成能够进一步编辑和检查的工程文件。

在科学软件分析任务中,模型使用 Fiji、EEGLAB 和 QGIS 等专业工具完成显微图像处理、脑电信号分析和遥感数据对比。在科学深度研究案例中,模型围绕光学量子存储问题开展文献检索、实验参数提取、模拟计算与可视化,并生成可交互的研究应用。

从 12,4 87 张 CT 图像到可编辑的三维骨骼模型,这条链路串起的是感知、工具调用与专业软件操作三件事。通往通用科学智能体的道路才刚刚铺开,而每一次向真实世界的迈步,都在把模型从书斋推向科学现场。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
越南与云南谁更强?越南超1亿人创造4763亿美元GDP,云南有多少?

越南与云南谁更强?越南超1亿人创造4763亿美元GDP,云南有多少?

铭记历史呀
2026-11-21 03:22:42
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
小叔子婚宴,丈夫没和我商量随礼52万,我果断离婚,开庭那天他愣了

小叔子婚宴,丈夫没和我商量随礼52万,我果断离婚,开庭那天他愣了

云端小院
2026-10-31 08:52:38
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

青科新闻
2026-11-20 14:08:31
红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

幻梦人生
2024-12-08 04:05:03
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
日本称高市早苗在深圳,受到“惯常接待”,日本是在打什么主意?

日本称高市早苗在深圳,受到“惯常接待”,日本是在打什么主意?

蓝星杂谈
2026-11-20 20:27:03
克里姆林宫的麻烦不过才刚刚开始...

克里姆林宫的麻烦不过才刚刚开始...

魔幻故事
2026-11-21 00:33:02
14人缺席投票,约翰逊喊话同僚回来上班

14人缺席投票,约翰逊喊话同僚回来上班

我是一个粉刷匠2
2026-11-21 02:32:34
陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

商业周刊中文版
2026-11-20 00:53:10
我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

千秋文化
2026-11-18 20:57:40
美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

壹知眠羊
2026-10-09 07:09:42
VIX恐慌指数日内大涨逾10% 突破31点

VIX恐慌指数日内大涨逾10% 突破31点

每日经济新闻
2026-11-20 21:44:46
男子破产养家跑外卖8年,这天收到1800万汇款,查到汇款方:怎么是你

男子破产养家跑外卖8年,这天收到1800万汇款,查到汇款方:怎么是你

古怪奇谈录
2025-07-19 10:06:36
你所不知道的蔡元培:是蒋介石发动“四一二”政变的马前卒

你所不知道的蔡元培:是蒋介石发动“四一二”政变的马前卒

阿胡
2025-09-28 16:53:12
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
女模特被新加坡富商以80万邀请去度假,归来后抱头痛哭:我被当玩具

女模特被新加坡富商以80万邀请去度假,归来后抱头痛哭:我被当玩具

罪案洞察者
2025-08-22 15:07:45
二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

云景侃记
2026-11-19 10:07:21
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-19 16:08:33
2026-11-21 04:08:49
码上闲叙
码上闲叙
有态度网友ytd
231文章数 107关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
本地
房产
数码
军事航空

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

英特尔公布D270加速器成绩单 部分专业计算性能最高领先英伟达近六倍

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版