网易首页 > 网易号 > 正文 申请入驻

Ripple 65B自称美国开源编码最强,独立测试仅93分

0
分享至

一个模型宣称自己在美国开源权重模型里编码能力最强,第三方实测却只拿到157分里的93分。Ripple 65B Preview的发布,把开源编码模型的老问题又摆上了台面:榜单分数和真实开发工作流之间,到底隔着多少东西?


Ricursive Intelligence在发布公告中把Ripple 65B Preview定位为前沿开源权重系统,并声称它在Terminal-Bench 2.1和SWE-bench Pro v2.0 Hard两项评测上,取得了美国开源权重模型中最强的编码表现。这两个榜单测的不是聊天窗口里解释代码,而是模型在计算机环境中调用工具的能力,以及智能体能否处理代码仓库里的真实软件问题。

换句话说,成绩好看,只能说明模型"可能"能在开发流程里干活,不能直接等同于好用。接下来要追问的是可重复性、执行条件,以及拿到这个成绩付出了多少成本。

按Ricursive的公告,Ripple 65B是一个650亿参数的模型,采用Apache 2.0许可证发布。许可证在这里有战略意义:开发者可以检查、修改和部署模型,不必完全依赖某家公司的专有API。Hugging Face上的官方模型卡提供了权重,确认了许可证,并给出架构、训练信息、推理流程和部署指引,还附上了两项评测的成绩表。

但650亿参数的体量意味着实打实的显存和带宽需求。模型卡里有硬件指引,指引不等于保证每个开发者都能经济地跑起来。对一家公司来说,要算的不只是模型能不能装进内存,还有每小时能处理多少任务、延迟够不够低。一个要试好几次才给出正确补丁的模型,可能还不如一个稍弱但稳定快速的系统。

第一份外部证据是批评性的。在Nemo为SMF Works所做的一次独立测试中,测试者报告得分为93/157,并称许多失败与推理服务商超时和上下文长度上限有关。Nemo据此认为,这次测试没有复现Ricursive宣称的智能体编码领先地位。

这构成一个值得重视的质疑,但单凭它也不能证明Ricursive的榜单成绩是错的。请求被服务商截断,或者模型留不住足够的仓库上下文,失败可能反映的是部署环境,而不只是编码能力。反过来,这些限制也不能一句"无关"带过——开发者在真实部署里天天遇到它们。一个只有在上下文格外充裕、推理格外稳定时才表现良好的模型,优势会比标题数字窄得多。

另一路批评来自被标注为首席技术官的Dominic Plouffe。他在对Ripple本地硬件与成本要求的评估中认为,Ripple的稠密架构会让本地推理变慢,并指出那个亮眼的Terminal-Bench成绩目前仍是厂商说法,没有独立复现。

这里的逻辑很直接:大模型不只需要装下参数的内存,还需要足够的内存带宽把参数快速送过每一步生成。带宽不够,模型技术上能跑,但慢到没法用于交互式编码。于是"能拿到"和"能用好"之间出现分界——模型可以开源可下载,实际使用却集中在有专门硬件的资金充裕的团队手里。云服务商能降低门槛,代价是持续推理费用、服务商限额和可用性变化。

Apache 2.0许可证的价值仍然真实:组织可以避免被单一托管服务锁死,也能按自己的需求优化部署。但开放不消除基础设施经济学,它只是把更多责任转移给用户。

所以更有信息量的比较,应该看完成一个仓库任务的总成本,而不是每生成一个token的成本。便宜模型反复重试,可能比一次通过的贵模型更贵;快模型产出不可靠的补丁,可能比慢模型更耗工程师时间。

严肃的对比还应该把Ripple和领先开源模型放在相同条件下:同样的仓库、工具定义、上下文上限、时间预算和推理设置。工具使用要单独看,有的系统擅长判断何时查文件、跑测试、搜仓库,有的能写出像样的代码却收集不到做安全修改所需的信息。任务通过与否之外,还要记录失败类型——是误解了问题,改错了文件,耗尽了上下文,工具调用失败,还是没验证就停了。延迟要从用户视角记录,包括首次响应时间、工具调用间隔和拿到完整补丁的总时间。最后要测失败恢复:编码智能体很少一次成功,能自己发现测试失败、调整思路继续干的系统,才是更强的那个。

目前可用的证据是混合的。Ricursive的原始材料给出了强劲的编码与智能体评测成绩,并把模型开放给外部测试;两份独立说法则对可复现性、超时、上下文上限、速度和榜单说法本身提出了实际异议。在现有来源中,没有找到有利的独立评估,外部证据目前偏向批评一侧。

这不能给Ripple的前景下结论,它只定义了还需要做的工作。榜单领先只有在受控复现中活下来、并且在开发者面对普通约束时继续成立,才算数。若成立,Ripple可能成为市场上一个可信的宽松许可替代品;若不成立,这次发布也说明了一件事:开放权重扩大了获取渠道,但真实世界的编码领先,取决于整个部署系统,而不是一个分数。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
比穷更可怕!农村“新四害”疯狂蔓延,害苦无数家庭

比穷更可怕!农村“新四害”疯狂蔓延,害苦无数家庭

笑熬浆糊111
2026-09-29 09:15:18
博物馆展品清代“扬州八怪”汪士慎画作疑似现代仿品?工作人员回应:实为工艺品,因工作失误错误地标注为清代,已修改

博物馆展品清代“扬州八怪”汪士慎画作疑似现代仿品?工作人员回应:实为工艺品,因工作失误错误地标注为清代,已修改

极目新闻
2026-11-13 18:19:58
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
34%关税只是幌子,中国真正的目标是台湾!剑指美国“军工企业”

34%关税只是幌子,中国真正的目标是台湾!剑指美国“军工企业”

文史道
2025-04-05 12:29:24
听说两种药混吃能“上头”,一对男女KTV饮酒后从两家药店买药,在酒店各吃下23颗,当天男子死亡……妻子起诉多方索赔百万元,法院:驳回

听说两种药混吃能“上头”,一对男女KTV饮酒后从两家药店买药,在酒店各吃下23颗,当天男子死亡……妻子起诉多方索赔百万元,法院:驳回

都市快报橙柿互动
2026-11-14 02:43:07
听了30年相声,说句得罪人的实话:姜昆和郭德纲,中后期都退步了

听了30年相声,说句得罪人的实话:姜昆和郭德纲,中后期都退步了

阿废冷眼观察所
2026-11-13 08:34:01
1955 年授衔名单传到海外,英国元帅蒙哥马利骤然起身,吃惊问副官:除了彭德怀,还有九位元帅?朝鲜三年到底在和什么样的对手交战

1955 年授衔名单传到海外,英国元帅蒙哥马利骤然起身,吃惊问副官:除了彭德怀,还有九位元帅?朝鲜三年到底在和什么样的对手交战

磊子讲史
2026-11-13 18:30:05
“早该炸掉”?让西安人民痛恨的三门峡大坝,到底壮举还是败笔?

“早该炸掉”?让西安人民痛恨的三门峡大坝,到底壮举还是败笔?

混沌录
2026-11-13 23:00:12
注意!宁波交警全域严查

注意!宁波交警全域严查

象山发布
2026-11-13 17:32:33
“志短比人穷可怕多了!”小男孩抱紧茅台不撒手,网友:丢的全是父母的脸

“志短比人穷可怕多了!”小男孩抱紧茅台不撒手,网友:丢的全是父母的脸

妍妍教育日记
2026-10-20 13:38:53
华为轮值董事长罕见在美国《时代》杂志刊文

华为轮值董事长罕见在美国《时代》杂志刊文

观察者网
2026-11-13 19:08:02
“沈阳北站”灯不亮?刘克斌回复了

“沈阳北站”灯不亮?刘克斌回复了

沈阳公交网小林
2026-11-13 03:24:31
600715,股价翻倍!逾172亿元资金,流入这一板块

600715,股价翻倍!逾172亿元资金,流入这一板块

证券时报
2026-11-13 17:32:06
两名50多岁科室主任,为争抢20岁小护士大打出手,一人被打进ICU

两名50多岁科室主任,为争抢20岁小护士大打出手,一人被打进ICU

四海神君
2026-11-02 21:00:07
国内金饰价格集体下跌

国内金饰价格集体下跌

北青网-北京青年报
2026-11-13 08:07:07
美媒突然表示:中国大批歼-16突然服役,距离核潜艇基仅几百公里,敌军战机无法靠近,西方没想到速度这么快

美媒突然表示:中国大批歼-16突然服役,距离核潜艇基仅几百公里,敌军战机无法靠近,西方没想到速度这么快

绝对军评
2026-11-10 10:16:11
《谷雨》大结局:欧阳煦赢了,8人下场各异,第9把伞没上棋盘

《谷雨》大结局:欧阳煦赢了,8人下场各异,第9把伞没上棋盘

天玑影视说
2026-11-13 20:53:47
欠薪400万,厂里人去楼空,创始人玩消失,中国饮料巨头破产了?

欠薪400万,厂里人去楼空,创始人玩消失,中国饮料巨头破产了?

梦史
2026-07-16 22:06:54
69岁张瑜将上亿资产,上海江景大平层、北京四合院全都转给外甥,一句我蛮可怜的,格外戳人心

69岁张瑜将上亿资产,上海江景大平层、北京四合院全都转给外甥,一句我蛮可怜的,格外戳人心

背包旅行
2026-09-07 14:55:30
2026-11-14 04:20:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
257文章数 87关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

媒体:出轨的巨头很多 只有黄仁勋犯了大忌"非走不可"

头条要闻

媒体:出轨的巨头很多 只有黄仁勋犯了大忌"非走不可"

体育要闻

坎宁安52分:肯吃苦的人就有吃不完的苦

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

黄仁勋和英伟达的6大难题还在后头

汽车要闻

原厂宽体 2027款领克03家族上市限时10.38万起

态度原创

房产
时尚
本地
数码
手机

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

算不懂双十一,是数学不好,还是你太单纯?

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

成本推动价格修复 大尺寸面板12月有望小幅涨价

手机要闻

华为新旗舰真机曝光,本月多款手机新品你期待哪款?

无障碍浏览 进入关怀版