截至10月17日,在决策模型评测榜JevBench参与排名的129个开源系统中,元任务实验室研发的结构化决策模型MetaDecision的31B版本位列第3。同一榜单上,它的12B版本在同尺寸模型中排名第一。
![]()
按榜方GPU实测,31B版本单次判断的延迟中位数不到0.2秒,这个数字不含网络。对做Agent的开发者来说,判断延迟直接决定一次任务循环里能塞进多少次决策调用。
![]()
元任务是一家专注Agent Infra与决策模型的AI实验室,提供可嵌入的Agent运行底座以及知识与模型服务。MetaDecision的定位是结构化决策模型,与通用对话模型走的不是同一条路。
![]()
把这几项信息摆在一起看:
- 31B版本在129个开源系统中排第3
- 12B版本在同尺寸模型中排第1
- 31B单次判断延迟中位数不到0.2秒(不含网络)
榜单排名看的是决策质量,延迟看的是能不能用。两个数字同时出现在一个模型上,才是这次排名值得关注的地方——决策模型如果慢,再准也只能离线跑。
12B版本在同尺寸里排第一,意味着小参数量的选择也存在。对需要在本地或边缘侧嵌入决策能力的Agent来说,尺寸和延迟往往比绝对精度更先被考虑。
JevBench的排名截至10月17日,参与排名的开源系统共129个。MetaDecision的两个版本分别落在31B和12B两档,覆盖了不同的部署需求。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.