网易首页 > 网易号 > 正文 申请入驻

只要定语足够多,谁都能拿第一

0
分享至


最近AI办公这条赛道,在WorkBuddy跑出来后,肉眼可见的热闹起来。

阿里整合了QoderWork、悟空、MuleRun三个智能体,端出一个千问办公;字节把飞书并入豆包后,刚上线了工作任务模式,AI在虚拟桌面能像人一样查看电脑屏幕、移动鼠标、点击按钮、敲键盘,在电脑端操作Windows,果然还是对GUI路线爱得深沉。

这两天,华尔街投行杰富瑞(Jefferies)发了一份AI研究报告《China AI:US AI Cutting Prices》,除了跟踪模型智能排名与API价格变化外,还拿出相当篇幅,做了一件很少有机构做的事:

对中美市面上8款主流AI Agent产品进行了五项实测,并给出量化评分。

结果让人有点意外。

千问办公95分登顶,以微弱优势超过Claude Cowork和codex;WorkBuddy66分,跟谷歌Gemini Spark 分数一样,并列倒数第一,排排坐到小孩座;豆包77分,路边一条。

报告说,千问办公的底座模型智能分只排第四,但 Agent总分拿了冠军,所以核心结论是,“决定 Agent好不好用的是Harness,不是模型。”

Harness对于模型后训练能力提升和使用体验的重要性,早就是行业共识,这大结论虽然有点废话,但看着没毛病。

不过,浪哥有个习惯就是不只看结论,还要仔细看测试内容,结果这一看,却有了不一样的发现:

测试这玩意儿跟统计有点像,真是一门艺术呐。


我们一个个看。

这测试有五项,每项满分100,等权20%,加权平均就是总分。把千问办公和WorkBuddy的逐项成绩放一起看,就能看出玄妙之处。

测试一,多文件检索取证。任务是给一堆财务文件,写一页年报摘要,每条事实必须标来源,数字打架必须指出矛盾。这是有硬标尺的活儿,数字对就是对,错就是错。

结果是千问95,WorkBuddy95。

测试二,自主联网研究。任务是上网比较微软、Meta、谷歌三家的营收增速和资本开支,产出一张表,区分官方数字和自行估算。同样是有客观标尺的任务。

千问90,WorkBuddy90。

两项有客观标准的任务,千问和WorkBuddy分数完全一样。

然后看测试四,做一份五页的英文PPT。千问95,WorkBuddy80,差15分。

测试五,做一张营销海报。千问95,WorkBuddy 65,差30分。

PPT做得好不好,海报有没有创意,没有客观标准,打分的弹性空间比较大。评分细则没公开,盲评机制没说明,评分者一致性没有披露,这45分的差距从哪来的,没法验证。

但最有意思的,还是藏在中间的测试三。

测试三的任务是,让AI使用真实的桌面浏览器,从 OpenAI官网首页一路点进去,找到新闻页面,打开最新一篇文章,读完全文,输出一个包含标题、日期、分类、链接、摘要和要点的Word文件。

重点来了。规则明确写着,不许用API,不许用爬虫,必须真的操作浏览器去点。

这一项测试,千问办公拿了100分的满分,WorkBuddy跟MiniMax Code一样,都喜提零分。

看到这里,你浪哥笑了。

禁止API接口、必须点浏览器,这是人为把最优解砍掉,专门去测一个特定技术路线。这就是把“办公 Agent好不好用”,偷换成了“你家Agent有没有做 computer-use视觉操控”,但这跟“能不能做好办公任务”有毛关系呢?

就好比要考一个翻译的英语水平,但规定只能用手语表达,不许开口说话。

WorkBuddy走的是接口+生态集成路线,深嵌腾讯文档/企微等腾讯生态,靠连接器而非模拟点击去操作,靠API和MCP调用外部服务。现在这道题,把接口这条路直接堵死,只允许用视觉操控,接口派选手肯定直接归零。

倒是豆包,绝对要后悔读屏功能上晚了,没赶上趟,起个大早赶个晚集,很是可惜。

所以归因分解之后,千问成了大赢家,在两道能客观验证的测试上,跟WorkBuddy打平了,两道主观评判的测试上,比WorkBuddy多了9分,在一道“禁止用你最擅长的方法来做事”的测试上,WorkBuddy得了0分,千问得了满分,又拉开20分差距。

浪哥最近喜欢看一个厨艺综艺《一饭封神2》,这个测试看下来,感觉workbuddy真不容易,就像你去参加厨艺比赛,前两道菜评委说味道一样好,第三道菜规定不许用明火,只能用微波炉,你没有微波炉,零分。第四道第五道是摆盘比赛,评委觉得对面的盘子更好看,你又输了45分。总分出来,你是最差的厨师。

很多人说综艺节目有剧本,但估计没有任何一个综艺的剧本敢这么写。

而且这份报告里还有一个非常有趣的细节,提到了各家Agent的交付速度,在国内的办公AI里,WorkBuddy全场最快,千问办公全场最慢

但是呢,交付速度不在评分维度里面。不算分。

所以WorkBuddy干活最快这件事,在办公场景里当然很重要,但却进不了这套评价体系,就像一个大厨,风风火火把菜端出来,评委说小伙子你出餐速度挺快嘛,但我们今天不对外营业,比赛不考这个哦。

看到没朋友们,测试就是这么一门博大精深的艺术,学吧,学无止境,太深了。

这让浪哥想起一个老笑话。怎么证明大象是世界上最好的动物?很简单,出一份五项全能测试。第一项,体重。第二项,鼻子长度。第三项,耳朵面积。第四项,皮肤厚度。第五项,象牙质量。鲸鱼体重比大象重?对不起,这项规定必须在陆地上称。

只要定语足够多,谁都能拿第一。

当然,千问办公肯定是不错的产品。在两项客观任务上拿了95和90的高分,比豆包有一项拿了45分,不知高到哪里去了,这个没有争议。但一份评测的价值,取决于它能不能经得起拆开打量,很明显,这个不行。

不过虽然有点离谱,但考虑到是杰富瑞做的报告,倒也说得通。

杰富瑞刚发了一份看多阿里的投资报告,看涨45%,叙事线就是“阿里AI双轮驱动”,这时候再出一份评测,证明千问办公是全球最好的AI Agent,故事就讲圆了。

最近AI行业都在强调产品和大模型之间,可以形成一个互相促进、彼此强化的协同飞轮。看上去,杰富瑞也学会了这一套协同飞轮了,买入评级配合评测报告,一套动作衔接起来,确实是无比丝滑。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
网友:四川升学宴5死17伤,东家要承担3个后果:巨额赔偿、亲友反目、客人心理阴影,被吐槽乐极生悲!

网友:四川升学宴5死17伤,东家要承担3个后果:巨额赔偿、亲友反目、客人心理阴影,被吐槽乐极生悲!

谭谈社会
2026-08-19 12:28:48
大陆决心已下,做好了最坏打算,和平统一的可能性越来越小!

大陆决心已下,做好了最坏打算,和平统一的可能性越来越小!

叶葉夜
2026-08-19 13:03:46
又一款10000mAh新机官宣:9月1日,正式亮相!

又一款10000mAh新机官宣:9月1日,正式亮相!

科技堡垒
2026-08-19 11:55:16
温兆伦每天下午三点半拎着保温杯站在小区门口,等他女儿放学

温兆伦每天下午三点半拎着保温杯站在小区门口,等他女儿放学

西楼知趣杂谈
2026-08-17 21:31:18
“韩杰案”后,儿科不敢救人,5家医院,4家拒诊!

“韩杰案”后,儿科不敢救人,5家医院,4家拒诊!

医脉圈
2026-08-13 22:42:14
不反华了?美媒公开赔罪,中国54岁铁娘子出山,中美稳定利好全球

不反华了?美媒公开赔罪,中国54岁铁娘子出山,中美稳定利好全球

知法而形
2026-07-07 16:10:54
四川长宁县一升学宴墙体垮塌致5人死亡17人受伤,知情人称当天持续降雨,镇政府回应:现场具体多少人还需调查,正全力救治伤员

四川长宁县一升学宴墙体垮塌致5人死亡17人受伤,知情人称当天持续降雨,镇政府回应:现场具体多少人还需调查,正全力救治伤员

极目新闻
2026-08-19 11:51:13
刘晓庆事件升级!索赔504万后,古柯再爆猛料,难怪庆奶绯闻不断

刘晓庆事件升级!索赔504万后,古柯再爆猛料,难怪庆奶绯闻不断

趣味八卦
2026-08-18 18:50:07
上海91岁老人喜丧当天,61岁女儿同步火化!亲戚怒骂太冷血

上海91岁老人喜丧当天,61岁女儿同步火化!亲戚怒骂太冷血

趣味萌宠的日常
2026-08-20 01:45:56
昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满!

昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满!

智东西
2026-08-20 08:09:26
“巨大损失”!梅仁毅逝世,出生于广东

“巨大损失”!梅仁毅逝世,出生于广东

南方都市报
2026-08-20 11:21:41
10年时间,万达账面从2000多亿缩到100来亿。很多人认为是因为对赌协议,可如果往回翻一翻,真正让王健林不是滋味的,是3笔不算大的投资

10年时间,万达账面从2000多亿缩到100来亿。很多人认为是因为对赌协议,可如果往回翻一翻,真正让王健林不是滋味的,是3笔不算大的投资

千年历史老号
2026-08-18 20:40:01
血赚 6600 万!切尔西甩卖亿元水货!捡漏 3400 万世界顶级飞翼

血赚 6600 万!切尔西甩卖亿元水货!捡漏 3400 万世界顶级飞翼

澜归序
2026-08-20 08:09:17
能不能长寿,看手背青筋就知道?医生:若有5特征,长寿几率更大

能不能长寿,看手背青筋就知道?医生:若有5特征,长寿几率更大

健康之光
2026-07-31 19:40:05
赵薇还有脸出来?与女儿同框,小四月身高超170,大眼睛跟妈妈一样

赵薇还有脸出来?与女儿同框,小四月身高超170,大眼睛跟妈妈一样

八星人
2026-08-18 15:12:30
36.4%:19.4%,郑丽文天塌了!国民党关键人物摊牌,只剩1条路可走

36.4%:19.4%,郑丽文天塌了!国民党关键人物摊牌,只剩1条路可走

坠入二次元的海洋
2026-08-20 07:32:24
陈皮再次成为关注对象!医生发现:喝陈皮时,千万多留意这几点!

陈皮再次成为关注对象!医生发现:喝陈皮时,千万多留意这几点!

39健康网
2026-08-14 19:01:52
美国军火巨头洛克希德·马丁万万没想到,只因拒缴中方此前开出的990亿元人民币罚单,连自家最先进的F-35战机都变成了“睁眼瞎”

美国军火巨头洛克希德·马丁万万没想到,只因拒缴中方此前开出的990亿元人民币罚单,连自家最先进的F-35战机都变成了“睁眼瞎”

人生录
2026-08-20 00:05:09
陈寿昌不知红军长征,逆势重建红16师,扩军至5000人,重建苏区

陈寿昌不知红军长征,逆势重建红16师,扩军至5000人,重建苏区

顾史
2026-08-15 11:39:22
2026-08-20 12:35:00
浪潮不癫 incentive-icons
浪潮不癫
不在浪尖癫狂,只从深处发问
15文章数 2关注度
往期回顾 全部

科技要闻

DeepSeek Harness更新多模态支持

头条要闻

牛弹琴:戏剧性一幕 美国对日本人下黑手了

头条要闻

牛弹琴:戏剧性一幕 美国对日本人下黑手了

体育要闻

拥有“儿皇梦”的罗德里,为何选择巴萨?

娱乐要闻

汪峰也没想到章子怡,挖到了一条财路

财经要闻

美联储纪要"鹰声"不小 AI借贷风险被盯上

汽车要闻

第二代家庭旗舰的样子 奕境X9预售价29.98万起

态度原创

亲子
数码
本地
公开课
军事航空

亲子要闻

深夜时谈 麦家:养育孩子的最终目的是把孩子培养成幸福的普通人

数码要闻

349元!REDMI Watch 6活力版发布:1.85英寸大屏 续航18天

本地新闻

先导片|攀登不止,让不同的故事在此连接

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

弹药危机 美步入“战略更年期”的征兆

无障碍浏览 进入关怀版