网易首页 > 网易号 > 正文 申请入驻

800个场景实测:Gemini决策模型46%准确率翻车

0
分享至

谷歌最近发布了Gemini Decision 1,官方把它叫作"系统1"模型。它不像聊天模型那样一个token一个token地生成文本,而是一次读完输入,直接返回三种结构化结果之一:真或假、一个分数、一个分类。


有人拿它跑了800个真实场景、24个类别,想看看这个"决策模型"到底能干什么、又在哪儿翻车。结论先摆出来:问题问得越窄越具体,它越快越准;问题一旦宽泛主观,它连抛硬币都不如。

为什么它快、也便宜

没有生成的文本token,速度和定价就跟标准大模型完全不是一回事。单次请求最多能一次问1000个问题,每个问题多出来的延迟很小。实测里,问1个问题大约180毫秒,一次问100个问题大约250毫秒。

价格上,输入token每百万0.10美元,输出token成本为0,免费额度每天最多10000次请求。习惯了聊天模型高昂输出token单价的人,看到这个数字会有明显落差。

实验一:模型路由

最先试的是模型路由——不让最重的前沿模型跑agent会话的每一步,而是先判断某个请求能不能交给更轻、更快、更便宜的模型。

用大模型做路由的麻烦在于,你为了省成本,先多花了一次大模型调用的延迟和钱。决策模型提供了一个更便宜的前置打分方式。

第一版把它当普通大模型用,问了一个宽泛的主观问题:"根据这段提示词的内容,这个请求该走小模型还是大模型?"结果准确率只有0.72,勉强比抛硬币好一点,没法信。

于是把这一大问拆成四五个窄而具体的小问题,放在同一次请求里:这段提示词涉及认证或计费吗?只是样式调整还是文档更新?改完这一处,准确率跳到了0.88。

五个场景,从最好到最差

24个类别、800个真实会话跑下来,五个代表性结果如下:

  • 客服工单分派(约100%准确):把进来的客户问题分给对的团队,准确率接近100%,平均每次请求230毫秒,每万次请求0.34美元。这类基础分类是它的主场。
  • 提示词注入检测(99.7%准确):检查输入里有没有提示词注入和文本劫持,准确率99.7%
  • 判断该记住什么(88%准确):扫描最近的对话消息,找出值得存进记忆的长期规则、指令或事实,准确率88%。每轮对话后都跑一次大模型来检查记忆更新,成本涨得很快,这里当过滤器正合适。
  • 切分代码文件做检索(纯代码逻辑赢了):想用模型把大代码文件切成检索用的相关片段,效果不好。简单的确定性代码逻辑更省事,也更管用。
  • 预测用户会不会反驳(46%准确):这是最被寄予厚望的一项——想要一个常驻检查,在用户出手纠正agent之前就预判到。结果只有46%,比抛硬币还差。这个问题对单次判断来说太宽、太主观了。

决策模型该放在哪

这些测试都跑在自己的会话和一份公开数据集上,谈不上穷尽,边界情况永远存在,拿自己的数据去测仍然是最靠谱的办法。

800个场景里反复出现的规律是一致的:把检查拆成尽可能窄、尽可能具体、尽可能不主观的问题,决策模型就会又快又便宜又准。宽泛的主观判断留给完整的大语言模型,能用简单代码逻辑解决的地方就直接用代码。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中美元首会晤,特朗普:请中国继续保持强大

中美元首会晤,特朗普:请中国继续保持强大

澎湃新闻
2026-11-19 18:17:23
APEC“全家福”的围巾里,藏着一个数字

APEC“全家福”的围巾里,藏着一个数字

极目新闻
2026-11-19 21:21:29
预售飙到10亿,没上映就要破沈腾的纪录?2026年票房冠军要易主了

预售飙到10亿,没上映就要破沈腾的纪录?2026年票房冠军要易主了

靠谱电影君
2026-11-18 20:02:46
腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

大风新闻
2026-11-19 10:40:03
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
网传樊振东已于今年8月退役?上海体育局回应,已采取相应措施

网传樊振东已于今年8月退役?上海体育局回应,已采取相应措施

米修体育
2026-11-19 16:55:10
厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

果妈聊娱乐
2026-11-19 11:16:39
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

裕丰娱间说
2026-11-19 07:19:30
“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

新民周刊
2026-11-19 21:09:03
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

扶苏聊历史
2026-11-17 14:55:44
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

扶苏聊历史
2026-11-19 15:51:44
恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

狍子歪解体坛
2026-11-19 12:08:05
我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

狸猫之一的动物圈
2026-11-19 09:00:33
特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

读鬼笔记
2026-11-19 17:39:10
和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

澎湃新闻
2026-11-19 18:20:41
大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

醉卧浮生
2026-11-19 13:31:32
广东“化妆女孩”石芷蔓去世!年仅29岁,前后才一年半,最后聊天记录让人泪目

广东“化妆女孩”石芷蔓去世!年仅29岁,前后才一年半,最后聊天记录让人泪目

裕丰娱间说
2026-11-19 12:39:08
2026-11-20 00:56:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
278文章数 128关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

旅游
健康
亲子
教育
手机

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

性别中立教育真的刻不容缓啊

教育要闻

法考通过率 75% 和 20%,差的不是学生

手机要闻

苹果因iPhone维修限制面临法国“计划性报废”诉讼

无障碍浏览 进入关怀版