网易首页 > 网易科技 > 网易科技 > 正文

Kimi K3暂停订阅,要不要等?别看榜单,看你做什么

0
分享至

出品 | 网易智能

作者 | 小爪

编辑 | 王凤枝

模型越强,排行榜反而越难告诉我们该选哪个。

7月19日,月之暗面的Kimi K3登上Arena网页前端开发榜首,得分约1677。而在Artificial Analysis的综合智能指数,它得到57分,在186款模型中排第四,在国产模型和开源模型中排名第一。

Arena这张分榜记录的是用户更喜欢哪个模型生成的网页,Artificial Analysis的综合智能指数则汇总多项评测。月之暗面在官方技术博客里也承认,K3的综合表现仍落后于Claude Fable 5和OpenAI的GPT-5.6 Sol。但和这两家的差距,比半年前的国产旗舰缩小了一截。

网页做得漂亮、事实答得准、跑得便宜、跑得稳,这是四件事,不是一件事。 K3两张成绩单上的排名差,只是最表面的一层。但更多的错位藏在排名背后:跑一次要花多少钱、结果能不能直接用。

第一名,只在一张榜上

Arena没有固定试卷。用户向两个匿名模型发出同一个要求,看完结果后投票,平台再汇总大量两两对战,计算分数和排名。

这种方法离真实使用更近。网页有没有做完、布局顺不顺眼、交互是否合意,用户一眼就能比较。K3排到第一,说明在这一批网页开发对战中,它赢得了更多选择。

当然,投票也会把审美带进成绩。一张视觉更完整、动画更丰富的页面可能胜出。放到普通问答里,写得长、显得笃定的答案同样可能讨喜,但答得对不对,用户不一定投得出来。

Arena因此给分数附上置信区间。两个模型的区间重叠,名次的先后未必稳定。新模型上线后,成绩还会被标为"初步",等待更多投票。K3当前的网页前端榜首就带着这一标记。

题目来源也在变。2026年5月,Arena把部分直接对话中的模型对战纳入榜单。平台随后发现,新票源里的问题更长,复杂指令和编程任务更多。模型没有更新,换一批提问者,分数也可能移动。

真要选模型,用户还得面对账单、等待时间和失败后的返工。

分数之外,还有账单和返工

Kimi K3官方API的价格为:缓存未命中的输入每百万token 3美元,输出每百万token 15美元。Artificial Analysis跑完整套智能指数评测时,K3生成约1.3亿个输出token,接近同类参评模型平均值6300万的两倍;整套测试花费约2710美元。该机构记录的输出速度约为每秒39.5个token。

按完成一项评测任务折算,K3平均花费约0.94美元,低于GPT-5.6 Sol的1.04美元,约为Claude Opus 4.8的1.80美元的一半。与上一代K2.6相比,K3的输出token减少约21%。

单价便宜不等于账单便宜。K3的输出token数接近同类平均值的两倍。单价再低,总量也会把账拉起来。

账单之外,还有结果能不能直接用。

在Artificial Analysis的AA-Omniscience测试中,K3的准确率由K2.6的33% 升至46%,幻觉率也从39% 升至51%。准确率看的是全部题目里答对了多少,幻觉率看的是答错的题目里模型是编了一个答案还是承认不知道。K3答对的比例提高了,但在仍然没答对的题目里,它更倾向于直接给出错误答案而非承认不知道。

开发者西蒙·威利森(Simon Willison)做过一个很小的测试:让K3生成一张"鹈鹕骑自行车"的SVG图片。模型用了16658个输出token,其中13241个是推理token,费用约0.25美元。这个例子无法代表K3的整体效率,却很像用户会遇到的真实瞬间,任务看着不大,模型在后台想了很久。

月之暗面目前让K3默认使用最高推理强度,称后续版本将提供低、高推理模式,让用户控制推理预算。想多久、花多少钱,最终还是用户自己决定的事。

模型在进步,试卷也在过期

K3目前的成绩主要来自Arena和Artificial Analysis,尚未在SWE-bench类固定题库上公布分数。但固定题库本身的可信度也在下降,因为模型越强,越容易接近试卷上限;题目在网上放得越久,进入训练数据的机会也越大。

今年2月23日,OpenAI宣布不再使用SWE-bench Verified衡量前沿编程模型。该公司审计了138道模型经常失败的题目,称其中59.4% 存在实质性的题意或测试设计问题。有些测试只接受一种特定写法,把功能正确的其他答案判错;还有些题目没有写清要求,测试却检查额外功能。

OpenAI称,它在GPT-5.2、Claude Opus 4.5和Gemini 3 Flash Preview中发现训练数据污染迹象:模型有时能够复现人类原始补丁或题目细节。OpenAI认为,在这些测试获得的高分里,模型可能受益于对训练数据中原始补丁或题目细节的熟悉,而非纯粹的能力。

就在此前的2月18日,一篇分析60个大模型基准的预印本研究也指出,许多固定评测在头部模型接近满分后,区分能力会下降。

把题目换成真实工作,差距更为明显。METR在2026年5月19日发布的回顾报告中称,截至2025年末,被SWE-bench Verified判定通过的AI代码方案,大约只有一半会在真实代码审查中被接受。 Arena记录用户偏好,固定题库适合追踪某项能力,METR试着测量模型可以独立完成多长的任务。三张榜,各管一段。

第一名需要一个后缀

面对数百款模型,榜单能帮用户快速缩小范围。但麻烦的是,"某模型登顶"这种说法,并不考虑任务类型和成本。

写作、做网页、维护代码不是一回儿事;人类偏好、标准答案、任务成功率不是一个指标;token用量、耗时、单价也各算各的账。

到最后,模型还得放回自己的提示词、数据和工具链里跑一遍。写作者关心事实准不准、要不要大改;程序员看代码能不能进真实仓库;企业算的是一件工作交付后的总成本。没有一个榜首可以同时替这三类人作决定。

Kimi K3拿下网页前端榜首,说明它在这项能力上已经进入前沿。综合指数第四、较高的token消耗,以及准确率和幻觉率同时上升,则补上了另外几面。这些成绩放在一起,才像一个可以拿来选型的模型画像。

模型榜单不会消失,但"第一名"三个字需要越来越长的注释。真要付账单的人,看的是能不能交付、花多少钱、要回来改几次,冠军两个字,解决不了你的具体问题。

Kimi K3现在暂停接受新增订阅,想订的人得等下一批。等真能订上的时候,这些问题还得再问一遍。

延伸阅读
相关推荐
热点推荐
梅西即将离去,阿根廷队大概率又变回一支内讧球队,并进入低谷

梅西即将离去,阿根廷队大概率又变回一支内讧球队,并进入低谷

生活新鲜市
2026-07-21 03:36:23
长鑫科技:网上投资者放弃认购658.62万股

长鑫科技:网上投资者放弃认购658.62万股

界面新闻
2026-07-21 19:25:03
远超比亚迪,暴赚3000亿!出口94万辆,这个国产汽车闷声发大财

远超比亚迪,暴赚3000亿!出口94万辆,这个国产汽车闷声发大财

史行途
2026-07-20 20:40:56
生育率跌破1.01!比日本还低,中国人为啥再也不愿生孩子了?

生育率跌破1.01!比日本还低,中国人为啥再也不愿生孩子了?

誮惜颜a
2026-07-02 06:37:56
哈马斯新领导人哈利勒·哈亚是谁?同僚评价:他不会轻易冲动

哈马斯新领导人哈利勒·哈亚是谁?同僚评价:他不会轻易冲动

无意争春
2026-07-21 22:20:42
知名品牌爆出致癌物!山姆已下架!不少常州人爱吃

知名品牌爆出致癌物!山姆已下架!不少常州人爱吃

常州大喇叭
2026-07-21 14:26:11
于金永一战封神,值得连续首发,泰山队防守太差,韩鹏没预判苏帅后手

于金永一战封神,值得连续首发,泰山队防守太差,韩鹏没预判苏帅后手

替补席看球
2026-07-21 22:40:58
宏远速递!陈老板做重要决定,王少杰买断新动态,萨姆纳主动降薪

宏远速递!陈老板做重要决定,王少杰买断新动态,萨姆纳主动降薪

多特体育说
2026-07-21 22:06:08
按摩店里的黑话你能听懂几个?最后一个尤其要当心

按摩店里的黑话你能听懂几个?最后一个尤其要当心

小虎新车推荐员
2026-07-19 11:55:55
电影《功夫女足》实时票房破16亿

电影《功夫女足》实时票房破16亿

界面新闻
2026-07-21 20:57:56
经济自由化本应促进民主,为何一些威权国家反而更专制了?

经济自由化本应促进民主,为何一些威权国家反而更专制了?

全栈遛狗员
2026-07-20 02:33:38
外资撤离印度越南?美媒大胆预言:中国西部将成新世界工厂

外资撤离印度越南?美媒大胆预言:中国西部将成新世界工厂

霁寒飘雪
2026-07-21 14:17:42
65岁以后,能拿到这个数的退休金,你就很优秀了

65岁以后,能拿到这个数的退休金,你就很优秀了

小鹿姐姐情感说
2026-07-21 10:38:33
央视:钨球暴雨从天而降:PHL-191空爆弹药改写现代战场压制规则

央视:钨球暴雨从天而降:PHL-191空爆弹药改写现代战场压制规则

止戈军是我
2026-07-21 06:55:08
马特·达蒙揭秘《奥德赛》实拍巨人:没有CGI,选身高差7英尺和5英尺替身搞定

马特·达蒙揭秘《奥德赛》实拍巨人:没有CGI,选身高差7英尺和5英尺替身搞定

晚星归航2
2026-07-21 18:19:58
多名院士呼吁快停止食用,吃一口等于14斤塑料袋,女子因肾衰走了

多名院士呼吁快停止食用,吃一口等于14斤塑料袋,女子因肾衰走了

任医生聊健康
2026-06-18 22:00:09
皮克带俩儿子看夏奇拉中场秀!全程面无表情,儿子却跟着妈妈又唱又跳

皮克带俩儿子看夏奇拉中场秀!全程面无表情,儿子却跟着妈妈又唱又跳

乡野小珥
2026-07-21 10:09:13
背锅多年终于澄清!罗志祥发文辟谣:本人并没有参演《美人鱼2》

背锅多年终于澄清!罗志祥发文辟谣:本人并没有参演《美人鱼2》

陈意小可爱
2026-07-20 12:28:31
周星驰御用“如花”,没演《功夫女足》!原来他已中风7年,大小便不能自理

周星驰御用“如花”,没演《功夫女足》!原来他已中风7年,大小便不能自理

头号电影院
2026-07-20 08:49:40
180元就能飞伦敦?国航多条飞伦敦航线现180元、200元低价票,客服:不含税费,实际总价为1800多元,且不能退票

180元就能飞伦敦?国航多条飞伦敦航线现180元、200元低价票,客服:不含税费,实际总价为1800多元,且不能退票

极目新闻
2026-07-20 13:26:11
2026-07-21 23:28:49

科技要闻

OpenAI高管:Kimi K3强到没法用"蒸馏"解释

头条要闻

男子连人带摩托车卡在第19层立体车库 身体离地近40米

头条要闻

男子连人带摩托车卡在第19层立体车库 身体离地近40米

体育要闻

“不会进球”的前锋,在世界杯决赛进球了

娱乐要闻

谢贤被曝已火葬,狄波拉携儿女送别

财经要闻

百虾竞速上车:4条路线争夺车载AI话语权

汽车要闻

WAIC专访|易启未来余志勇:网易孵化按摩机器人 能识穴会“手法”

态度原创

房产
健康
数码
本地
手机

房产要闻

最高奖励15万!免学费!海南民办高中,疯狂抢人!

我这么年轻,也会中风吗?

数码要闻

TCL华星自研AGLR技术实现量产:解决屏幕反光、画面泛白痛点

本地新闻

杭州诗意路名,自带氛围感

手机要闻

唯一没涨价的国产旗舰!魅族:与其高价买低配 不如看看魅族22

无障碍浏览 进入关怀版
×