网易首页 > 网易号 > 正文 申请入驻

成本只要1/20,编程得分却不到一半

0
分享至

一个预算模型和前沿模型,在同一套固定编程任务上跑同一场评测,结果反复出现同一个落差:便宜模型的每token成本大约是前者的1/20,编程得分却落在后者的一半以下。

光看表格里的数字说服不了人,于是整场评测被录成了一段短视频,把过程直接摆出来。

这套评测工具怎么跑?每个任务用完全相同的提示词、温度设为0,同时喂给两个模型,再拿留出的测试集按pass@1打分。不重试,不挑样本。

成本按服务商公开的每token费率乘以实际生成的token数计算。啰嗦的模型得为自己的啰嗦买单,这一点让对比站得住脚:便宜模型不是靠答得少取胜,而是按每美元完成的任务量取胜。

代价对操作者来说是实打实的钱和时间。每跑完一轮完整基准,API调用要烧掉几美元,还要等前沿模型更慢的生成,前后约二十分钟。

这笔账是愿意付的——比起发布一张没人信的图表,宁可花掉这些。跑过自己模型对比的人都清楚,“我测过”和“看我测”之间的差距,才是整件事的关键。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

韩小娱
2026-11-17 10:28:00
朋友来了有好酒,豺狼来了有啥?很明显,小日子的待遇就是这样的

朋友来了有好酒,豺狼来了有啥?很明显,小日子的待遇就是这样的

蜜桔娱乐
2026-11-18 22:19:08
国足和U19主教练在新闻发布会,异口同声批评中超

国足和U19主教练在新闻发布会,异口同声批评中超

真理是我亲戚
2026-11-18 13:02:47
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
曼晚:卡里克赋闲不到一周,斯旺西有意邀其执教

曼晚:卡里克赋闲不到一周,斯旺西有意邀其执教

懂球帝
2026-11-18 16:36:06
“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

极目新闻
2026-11-18 19:24:20
受贿数额特别巨大,中国农业发展银行原党委委员、副行长徐一丁被提起公诉

受贿数额特别巨大,中国农业发展银行原党委委员、副行长徐一丁被提起公诉

每日经济新闻
2026-11-18 18:43:23
菲总统小马科斯站着不动迎接各国代表,直到中国部长来后,全变了

菲总统小马科斯站着不动迎接各国代表,直到中国部长来后,全变了

消失的电波
2026-11-17 20:45:22
玄学提醒:这6个地方尽量少去,别拿自己的运气开玩笑

玄学提醒:这6个地方尽量少去,别拿自己的运气开玩笑

糖逗在娱乐
2026-11-18 03:56:31
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
《GTA6》首个地区正式上线!全球首发 见证历史

《GTA6》首个地区正式上线!全球首发 见证历史

游民星空
2026-11-18 19:11:14
美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

山河路口
2026-11-18 12:47:12
山东六旬老人坠入化粪池身亡,家属:这并不是普通意外

山东六旬老人坠入化粪池身亡,家属:这并不是普通意外

极目新闻
2026-11-18 21:39:22
皇马官宣续约!6年长约加核心定位,4球6助攻的居勒尔为啥带不动土耳其

皇马官宣续约!6年长约加核心定位,4球6助攻的居勒尔为啥带不动土耳其

夏侯看英超
2026-11-19 00:13:53
足坛被高估的球星盘点

足坛被高估的球星盘点

失我者永失qq
2026-11-18 23:39:09
中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

福建睿平
2026-05-25 08:01:59
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
网传2026年越来越多的人开始反向消费…

网传2026年越来越多的人开始反向消费…

慧翔百科
2026-11-12 08:28:44
曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

启迪你的思维
2026-11-18 17:58:04
2026-11-19 00:51:00
固件更新中
固件更新中
有态度网友ytd
261文章数 89关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
教育
手机
艺术
公开课

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版