网易首页 > 网易号 > 正文 申请入驻

决策模型杀到GPT-6身后!只差3分,速度快40倍、成本仅1/15

0
分享至


智东西
编译 黄菲
编辑 江宇

智东西11月9日消息,昨日,AI模型评测机构Artificial Analysis更新AI决策模型评测榜单Artificial Analysis Decision Index v2(以下简称Decision Index v2),专业决策模型Drex Max v1.1、GLiDE v1.2均获得73分,并列第一,Mammoth 27B以72分紧随其后,三款模型得分仅相差1分。

在纳入通用语言模型的排行榜中,Anthropic模型Claude Haiku 5.5(Max)和OpenAI模型GPT-6 Luna(Max)分别获得77分和76分,包揽榜单前两名,前三名的专业决策模型仅落后得分最高的通用语言模型3至4分。

通用语言模型虽然在综合得分上领先,但其使用成本和任务耗时也明显更高。

其中,Claude Haiku 5.5(Max)在榜单所列模型中最高,每百万项任务达到6240美元(约合人民币4.19万元),约为榜单内并列第一的最佳专业决策模型Drex Max v1.1的61倍,单项任务耗时是其119倍;GPT-6 Luna(Max)每百万项任务的成本达到1530美元(约合人民币1.03万元),是Drex Max v1.1的15倍,单项任务耗时约为后者的40倍。

但专业决策模型的使用成本并非都很低,其模型之间也存在明显的差异。

每百万项任务中,成本最低的专业决策模型Celeris-1.1 Decision仅需14美元(约合人民币94元),而成本最高的Clef则需要859美元(约合人民币5772元),两者相差超过60倍。

不过,这种成本差异不仅与模型本身有关,也受到具体调用方式的影响。以GLiDE v1.2为例,该模型在处理每道题时,都需要重新输入整份文档并计算输入成本,无法在同一份文档的多道题之间复用输入内容。因此,其每百万项任务的成本达到780美元(约合人民币5242元),约为Drex Max v1.1的7.6倍。

一、三款专业决策模型得分仅差1分,头部竞争趋于激烈

在Decision Index v2的专业决策模型排名中,AI决策技术公司Nace AI的模型Drex Max v1.1和AI研究团队Fastino Labs的模型GLiDE v1.2均获得73分,并列第一;AI研究团队Baseten的模型Mammoth 27B获得72分,排名第二。

三款模型的得分仅相差1分,头部专业决策模型在综合评测中的表现已经十分接近。

若将通用语言模型纳入比较,Anthropic模型Claude Haiku 5.5(Max)以77分排名第一,OpenAI模型GPT-6 Luna(Max)获得76分,分别比专业决策模型榜首高出4分和3分。


▲Artificial Analysis Decision Index v2模型综合得分榜单,来源:Artificial Analysis

此次该榜单更新的一项重要变化,是Artificial Analysis调整了评分方式,将所测模型对答案的置信度纳入决策得分(Decision Score)的计算。

每道题的得分为0至100分,答对时得分高于50分,答错时低于50分。模型答对且对自己的判断有把握,会获得更高分数;如果模型对自己的答案很有把握却答错,受到的惩罚也越大。

这一评分机制也考虑了决策模型在实际应用中的工作方式。通常,模型只有在置信度达到一定阈值时,答案才会被直接采用;如果置信度不足,任务就会转交给人工或能力更强的模型处理。决策得分则综合计算不同置信度阈值下的预期收益。

具体到每道题,其得分公式为:50×(1+c−(p−c)²)

其中,p代表模型为所选答案分配的概率,c代表答案是否正确,答对时c=1,答错时c=0。

汇总整个测试集后,该公式等价于:50×(1+Accuracy−Brier Score)

其中,布里尔评分(Brier Score)用于衡量模型给出的答案概率与实际结果之间的差距,分数越低,说明模型的置信度校准越准确。

从专业决策模型榜单的布里尔评分来看,模型Elephant 9B、Clef-Omni、Drex Max v1.1和Drex 2.0并列第一,均为0.16;其余多数模型的布里尔评分集中在0.17-0.20左右;其中模型Clef、Mercury Decide置信度校准表现相对较弱,分别为0.23与0.26。


▲Decision Score将答案正确性与置信度校准纳入统一评分机制,来源:Artificial Analysis

在测试集方面,Decision Index v2共整合6项评测,包括AA-Paperclip、EvalSafe-O NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1、AA-Symmetry和When2Call,分别考察文档决策与信息提取、职场文档判断、知识掌握与避免错误信息、推理、答案一致性以及工具调用能力。

其中,新增的AA-Paperclip占总评分的30%,AA-Symmetry占15%。此外,Artificial Analysis将私有数据集在总评测中的占比从25%提高至45%;AA-Omniscience-Decision和HLE-MultiChoice的权重均从25%降至15%,When2Call的权重则从25%降至10%。由于WildGuardTest测试集的饱和度较高,该项目被移出新版榜单。

AA-Paperclip包含1500份文档,涵盖简历、收据、发票,以及AI和机器学习研究论文。每份文档包含5道决策题和10道事实提取题,模型必须全部答对才能通过测试。

在这一测试中,Claude Haiku 5.5(Max)的文档整体通过率为92%,GPT-6 Luna(Max)为86%,均高于表现最好的专业决策模型Drex Max v1.1(63%)。

具体来看,Drex Max v1.1的失分更多集中在决策环节。虽然其单项答案正确率达到97%,与Claude Haiku 5.5(Max)的99%接近,但Drex Max v1.1仅在71%的文档中答对了全部5道决策题,在88%的文档中正确提取了全部10项事实,从而拉低了其整体文档通过率。


▲不同AI模型在AA-Paperclip真实文档测试中的通过率对比,来源:Artificial Analysis

另一项测试AA-Symmetry则考察模型面对不同措辞的等价问题时,能否保持判断一致。

该测试包含120道基础问题,共设置440种不同表述形式。Artificial Analysis通过调整选项顺序、交换选项标签,以及将是非题改写为否定问法等方式,检验所测模型是否会因为问题表达方式发生变化而改变答案。

在这一测试中,专业决策模型Mammoth 27B(96分)、Elephant 9B(93分)领先其余模型。具体来看,模型Mammoth 27B在99%的问题中能够保持不同表述下的答案一致,而决策模型Clef仅为67%。

Artificial Analysis提到,部分模型在这一测试中的优势与较高的弃答率有关。面对不确定的问题,这些模型更倾向于承认自己不知道,并在不同问题表述下保持这一判断,从而获得更高的一致性得分。


▲不同AI模型在AA-Symmetry测试中的答案一致性表现,来源:Artificial Analysis

二、通用语言模型得分更高,成本和任务耗时也同步增加

如果只看Decision Index综合得分,通用语言模型仍然占据优势。

在通用语言模型中,Anthropic模型Claude Haiku 5.5(Max)获得77分,OpenAI模型GPT-6 Luna(Max)获得76分,分别比与此次评测中表现最好的专业决策模型Drex Max v1.1、GLiDE v1.2的73分高出4分和3分。

但这种性能优势却伴随着更高的使用成本和更长的任务处理时间。

按测评时通用语言模型以输入和输出Token计费,GPT-6 Luna(Max)完成每百万项任务的成本达到1530美元(约合人民币1.03万元),是最佳专业决策模型之一的Drex Max v1.1(102美元(约合人民币681元))的15倍;完成单项任务需要11.34秒,也约为Drex Max v1.1(275毫秒)的40倍。

Claude Haiku 5.5(Max)的任务成本更高,完成每百万项任务需要6240美元(约合人民币4.19万元),单项任务耗时达到32.65秒,是最佳专业决策模型之一的Drex Max v1.1的61倍,单项任务耗时是后者的119倍。

相比之下,专业决策模型Celeris-1.1 Decision的单项任务耗时仅为56毫秒,是此次榜单中速度最快的模型。

此外,专业决策模型Mammoth 27B的综合得分与通用语言模型GPT-6 Luna(Max)仅相差4分的同时,任务处理速度却快了118倍。


▲不同AI模型完成单项决策任务的耗时对比,来源:Artificial Analysis

整体来看,在相差不大的综合得分上,专业决策模型能够以更低的成本和更短的响应时间完成特定任务。

三、专业决策模型成本相差超60倍,调用方式影响实际支出

在每百万项任务的成本方面,专业决策模型之间的差距超过60倍。

按照评测时专业决策模型以输入Token计费,其决策模型在完成每百万项的任务中,Celeris-1.1 Decision的成本最低,为14美元(约合人民币93元);Decider v1.2为68美元(约合人民币454元);Drex Max v1.1为102美元(约合人民币681元)。

这三款模型均处于Decision Index得分与任务成本的帕累托前沿,即在当前成本水平下,难以找到得分更高的模型,或在相近得分下找到成本更低的模型。

相比之下,专业决策模型Clef的每百万项任务成本达到859美元(约合人民币5736元),是专业决策模型Celeris-1.1 Decision的61倍以上。


▲不同AI模型每百万项任务的成本及性能对比,来源:Artificial Analysis

不过,决策模型的实际使用成本并不只取决于Token单价,还与其处理任务的方式有关。

Artificial Analysis提到,大多数专业决策模型,包括Drex Max v1.1和Decider v1.2,在处理同一份文档中的多道题时,只会对文档输入内容计费一次。而GLiDE v1.2和Decider Flash v1.2则会针对每道题分别调用模型,每次调用都重新计算整份文档的输入成本。

以AA-Paperclip测试为例,专业决策模型GLiDE v1.2处理每项任务平均需要约6.3万个输入Token,而专业决策模型Drex Max v1.1只需要约9000个。

由于重复计算文档输入,最终任务成本明显更高。因此,专业决策模型GLiDE v1.2每百万项任务的成本达到780美元(约合人民币5208元),接近专业决策模型Drex Max v1.1的8倍,但前者的Token标价仅比后者高出33%。

专业决策模型Decider Flash v1.2也存在类似情况,其每百万项任务成本为196美元(约合人民币1309元),接近专业决策模型Decider v1.2的3倍,但其Token单价只有后者的一半。

结语:小模型比拼转向成本与执行效率

从此AI决策模型的测评榜单可以看到,头部专业决策模型的得分已经十分接近,但部分专业决策模型模型在特定任务中能够以远低于通用语言模型的成本完成工作。

尽管通用语言模型仍然在综合得分上领先,但在成本和响应速度方面,专业决策模型已经展现出明显优势。

来源:Artificial Analysis

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

普陀动物世界
2026-11-18 08:58:23
逃过了股市暴跌,却没逃过银行理财的暴击

逃过了股市暴跌,却没逃过银行理财的暴击

深水财经社
2026-11-18 14:21:15
普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

通鉴史智
2026-11-18 10:06:16
甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

民间精选故事汇
2025-06-14 13:37:34
41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

桑葚爱动画
2026-11-03 14:18:57
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

体坛卡卡说
2026-11-17 11:05:10
二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

户外阿毽
2026-11-17 06:11:58
完了!膝软骨退化,库里生涯真的要完了……

完了!膝软骨退化,库里生涯真的要完了……

体育新角度
2026-11-18 11:27:31
郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

混沌录
2026-11-17 22:34:08
财报炸裂!英伟达史上首次单季营收突破1000亿美元

财报炸裂!英伟达史上首次单季营收突破1000亿美元

每日经济新闻
2026-11-18 06:31:33
曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

神秘的未知领域
2026-11-18 01:50:28
JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

风尘Game
2026-11-18 12:56:14
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

兰姐说故事
2025-01-17 10:30:03
真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

派大星纪录片
2025-07-15 13:28:11
午后拉升!千亿PCB龙头,冲上涨停

午后拉升!千亿PCB龙头,冲上涨停

中国基金报
2026-11-18 16:08:54
美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

夜白侃球
2026-11-18 11:25:39
18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

担酒
2026-11-18 15:07:43
高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

靓仔情感
2026-11-17 04:36:22
2026-11-18 17:03:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12961文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
本地
手机
数码
教育

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

无障碍浏览 进入关怀版