网易首页 > 网易号 > 正文 申请入驻

0.8B小模型反超27B,vLLM开源决策模型5连发

0
分享至

一个0.8B的模型,在公开评测上把上一代27B甩在了身后。这不是参数量的胜利,是任务定义变了——vLLM Semantic Router 团队刚刚发布的 Decision 3.0,不再让模型"写答案",而是让它"给概率"。

Decision 3.0 是一组多模态决策模型,一共 5 个尺寸,从 0.8B 到 27B,全部采用 Apache-2.0 许可。它们能读文本、JSON 和图像,然后针对这些输入回答带类型的问题。对开发者来说,这是一条不用解析生成文本、就能完成分类、路由和请求拦截的捷径。


不生成文字,只吐概率

传统做法是给大模型写提示词,再解析它吐出来的文字。Decision 3.0 换了个思路:你传入一个状态(文本或 JSON)、可选的图像,以及若干命名问题。每个问题要么是选择题,要么是是/否判断,要么是一个量表上的打分。

模型在一次调用里回答所有问题,并为每个答案返回一个概率。这套模式被团队称为路由器和护栏的"系统一"——你拿到的是经过校准的分数,可以直接设阈值卡线,而不是去猜一段自然语言到底什么意思。

每个模型都是 Qwen 基座的微调版本。27B 的 d3 建立在 Qwen3.8-27B 之上;另外 4 个较小的模型则基于 Qwen3.5 检查点,分别是 0.8B、2B、4B 和 9B。

每个尺寸都带视觉编码器

五个尺寸全部配备了视觉编码器:d3-lite 里是 0.10B,d3-nano 和 d3-mini 是 0.33B,d3-flash 和 d3 则是 0.46B。请求可以接受多张 PNG、JPEG 或 WebP 图像,每张图最高读取 1.6 百万像素。每个问题都能看到全部图像。

每个问题都会对输入做一次独立的前向计算。安装目标锁定 transformers==5.17.0,可选的 flash-linear-attention 包能加速线性注意力层。加载时需要设置 trust_remote_code=True。


评测数据来自模型卡。研究团队给出了 Jev Decision Index 0.3.1,这是一个对 TypeSafe 的 Jev 决策系统开源复现进行排名的榜单。d3 的分数是团队内部评测结果。

在文本任务上,d3 拿到 64.1,领先 Perplexity Decider v1.1 的 62.8 和 Jev 的 60.1。有一个需要注意的地方:Torchcast Decision 27B 在公开套件上的分数更高,为 65.1 对 64.9。在视觉榜单上,d3 拿到 71.6,Perplexity Decider v1.1 是 70.6。

尺寸故事才是重点

d3-flash(9B)得分 59.0,高于 Decision 2.0 的 27B 版本所取得的 55.9。在公开套件上,相比 Decision 2.0 的提升幅度从 +8.0(27B)一直到 +15.1(0.8B)。

但各领域的领先并不均匀。在公开视觉任务上,d3 在 InfographicVQA 上拿到 97.3,在 Mind2Web 上拿到 89.9,两者都是近似重建的版本。它在 MMMU-Pro 视觉任务上偏弱,只有 46.2;在 Hateful Memes 内容审核任务上是 44.6。

所有模型都在 AMD Instinct MI325X GPU 上训练。模型卡中给出的中位数延迟,对应的是单张 AMD Instinct MI325X、每次处理 1 个请求的场景。

对做路由和护栏的团队来说,这组模型真正改变的是工作流:过去要写提示词、调格式、解析输出、处理模型胡说八道;现在换成传入状态和问题,拿回一组可以卡阈值的概率。分类、路由、拦截三件事,被压缩进一次前向计算。

模型卡、Hugging Face 集合和 vLLM Semantic Router 的 GitHub 仓库都已放出。项目全部功劳归研究团队所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
太过分了!彩礼从10万降到6.6万,女生3次退让,男方还想压到5万,网友:10万以内还要砍价,最好不要结婚了

太过分了!彩礼从10万降到6.6万,女生3次退让,男方还想压到5万,网友:10万以内还要砍价,最好不要结婚了

火山詩话
2026-10-12 07:23:00
克林顿不是男人?借雪茄助兴!莱温斯基:他把我当“自助餐”对待!

克林顿不是男人?借雪茄助兴!莱温斯基:他把我当“自助餐”对待!

微野谈写作
2026-10-12 06:45:18
美记吐槽开拓者培养杨瀚森不靠谱:他赢得诺里信任 却拿不到上场时间

美记吐槽开拓者培养杨瀚森不靠谱:他赢得诺里信任 却拿不到上场时间

罗说NBA
2026-10-12 17:44:52
49岁赵长鹏晒薄肌:别比谁钱多、谁开兰博基尼了,比谁身体更抗造

49岁赵长鹏晒薄肌:别比谁钱多、谁开兰博基尼了,比谁身体更抗造

小方说跑步
2026-10-12 14:20:48
比亚迪苏工事件爆火,一杯水戳破员工福利困局

比亚迪苏工事件爆火,一杯水戳破员工福利困局

小怪吃美食
2026-10-12 11:49:33
新股碰不得?上市4天,4根大阴线,股价暴跌53%,炒新的亏得惨!

新股碰不得?上市4天,4根大阴线,股价暴跌53%,炒新的亏得惨!

财经智多星
2026-10-12 11:16:40
台湾县市长选举结果最新预测:国民党14席,民进党7席,无党籍1席

台湾县市长选举结果最新预测:国民党14席,民进党7席,无党籍1席

短发过这夏
2026-10-11 19:13:42
懂车帝全网下架,一切都结束了

懂车帝全网下架,一切都结束了

互联网品牌官
2026-10-10 11:49:01
鸿蒙智行9月销量曝光:问界M9破万第一、尊界V800首月超2000台

鸿蒙智行9月销量曝光:问界M9破万第一、尊界V800首月超2000台

快科技
2026-10-12 18:37:09
最新!上海发布一组人事任免信息

最新!上海发布一组人事任免信息

新浪财经
2026-10-12 16:22:43
掘金15分逆转公牛:约基奇三节22+11+10 戈登25分米勒26分

掘金15分逆转公牛:约基奇三节22+11+10 戈登25分米勒26分

醉卧浮生
2026-10-12 11:47:24
西安事变后,戴笠跪在蒋介石面前痛哭,抱腿怒骂自己无能!

西安事变后,戴笠跪在蒋介石面前痛哭,抱腿怒骂自己无能!

大运河时空
2026-10-11 17:55:05
郑钦文中网夺冠!支付宝、千问等14份代言加身,3年商业收入追平李娜

郑钦文中网夺冠!支付宝、千问等14份代言加身,3年商业收入追平李娜

科创板日报
2026-10-12 07:37:17
谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

寻墨阁
2026-03-06 13:57:52
人社部“数据找人”动员参保:不解决交不起的根,找再多也没用

人社部“数据找人”动员参保:不解决交不起的根,找再多也没用

墨言执笔
2026-10-11 09:30:56
少吃发物少生病,5 种发物是结节催化剂,再馋也要管住嘴

少吃发物少生病,5 种发物是结节催化剂,再馋也要管住嘴

荷兰豆爱健康
2026-10-12 11:00:45
1平方米45万元,杭州一别墅以2.88亿元拍出,4买家鏖战228轮争抢,拍卖公司称硬装花费近2000万元

1平方米45万元,杭州一别墅以2.88亿元拍出,4买家鏖战228轮争抢,拍卖公司称硬装花费近2000万元

极目新闻
2026-10-12 12:30:15
女网红拍新片不穿胸罩引争议 本人犀利回应:管得着吗

女网红拍新片不穿胸罩引争议 本人犀利回应:管得着吗

手工制作阿歼
2026-10-12 15:32:08
宇树王兴兴:过去十几年犯的最大错误,是对AI相信得还不太够

宇树王兴兴:过去十几年犯的最大错误,是对AI相信得还不太够

界面新闻
2026-10-12 12:08:14
斯瓦泰克坐高铁转战武网,坦言年终总决赛席位争夺激烈,会全力打好每场球

斯瓦泰克坐高铁转战武网,坦言年终总决赛席位争夺激烈,会全力打好每场球

极目新闻
2026-10-11 19:30:19
2026-10-12 19:16:49
硅屿手记
硅屿手记
有态度网友ytd
214文章数 82关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

全新smart精灵2号来了 两门两座 传承经典纯电进化

态度原创

本地
手机
数码
公开课
军事航空

本地新闻

踏访沙县第一村,寻国民小吃本源

手机要闻

华为新子品牌、Air、麒麟全系芯片、手机将全面回归

数码要闻

网友发现自家智能咖啡机10天产生超1TB上行流量

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

视频:沙特方面公布利雅得机场遭袭画面

无障碍浏览 进入关怀版