网易首页 > 网易号 > 正文 申请入驻

100毫秒做一次决策:AWS把判断模型塞进了本地显卡

0
分享至

为什么一个AI代理在调用天气工具之前,要先停下来问自己一句"用户到底说的是哪个城市"?这个看似多余的动作,正是AWS在周四发布的Strands Decider 2B想要解决的问题。

它不是又一个生成式大模型,而是一个专门用来"做选择题"的决策模型。AWS把它做成了可下载的版本,连同训练数据和脚本一起放出,让开发者能看清整套配方。


决策模型和生成模型,分工不同

决策模型放弃自由文本生成,转而从开发者提供的选项里挑一个,或者返回一个数值分数。这让它们适合处理自然语言请求的路由、工具选择、输出评估,以及检查代理准备执行的动作。

至于对话和更复杂的工作,仍然交给生成式模型去做。两者不是替代关系,而是流水线上的不同工位。

这股风潮由TypeSafe的Jev在几周前带起,随后主要AI厂商纷纷推出自己的版本。OpenAI在周二发布了Decisions API,但那是有限预览的托管接口,把Luna模型聚焦在有预设答案的问题上。AWS走的是另一条路:模型可下载,训练数据和脚本一并给出。

把语言模型的"嘴"换成"打分器"

Strands Decider以Qwen3.5-2B作为语言理解底座,AWS管这部分叫"躯干"。团队移除了负责生成文本的语言模型头,换上一个指针头,用来给候选答案打分。

这个头只有一百多万个参数,主干部分使用了一个rank-16的LoRA适配器。限制答案空间的做法,能防止模型凭空编造一个没被提供的选项。

当然,这并不意味着它每次都答对。不过这个取舍并不算大——大语言模型也不是永远正确。换来的回报是更快的决策速度,以及可供开发者使用的置信度分数。

在AWS给出的示例里,用户问天气却没说是哪座城市,代理猜了一个城市,并提议调用天气工具。在工具真正运行之前,Decider会检查参数值是否有对话依据、代理掌握的信息是否足够。应用随后把代理送回去,让它先问清楚用户指的是哪座城市。

这套检查走的是Strands的干预系统,开发者可以选择放行工具调用、拒绝、请求人工确认,或者把反馈退回给代理。在这个演示中,Decider在本地运行,代理则通过Amazon Bedrock调用生成式模型。AWS表示还在开发决策模型的集成库。

跑在显卡上的速度账

和Kev一样,Strands Decider建立在开放的Qwen模型之上,这也说明当前这波实验有多依赖开放权重。Kev已经支持本地部署和微调,而AWS这次把训练数据和脚本一起放出,开发者可以检视配方,并把它调整到自己的任务上。

AWS称其重点在于平衡准确率、校准度和延迟。校准度指的是模型的置信度分数与实际答对频率的贴合程度。在JevBench公开测试集上,AWS表示Strands Decider在约20亿参数的公开模型中排名第二,在提供完整训练配方的公开模型中排名第一。

AWS还提到,Strands Decider 2B把JevBench简单档位的每一道题都答对了,而这正是它被设计来处理的那类日常代理决策。

速度方面,AWS报告在Nvidia RTX 3090上决策耗时低于100毫秒,任务变复杂时响应时间会上升。在M3 MacBook上,小型任务的中位数约为150毫秒。

现在放出的这个模型是这套架构的第二个主要迭代版本。AWS称更早的一版头部设计表现明显更差。公司把此前每一个迭代都留在了代码仓库里,开发者可以追溯模型是怎么演化的。

Strands Decider孵化于Strands Labs,这是AWS今年早些时候启动的代理式AI实验基地。它也是继Strands Harness之后的又一发布,后者打包了运行长生命周期代理所需的工具和配套机制。

托管版本还是个问号

有一件事还有待观察:AWS是否会在自己的云上提供这个模型——或者它的未来版本——的托管服务。

混合场景适合做实验和在本地跑,但要把基于这个模型的应用投入生产,开发者会希望也能有一个托管版本可用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
iPhone买对不买贵,闭眼入的3款苹果手机,系统流畅用到2032年

iPhone买对不买贵,闭眼入的3款苹果手机,系统流畅用到2032年

时尚的弄潮
2026-10-01 19:47:26
马斯克的星链覆盖150多个国家,为何始终无法进入中国?

马斯克的星链覆盖150多个国家,为何始终无法进入中国?

壹知眠羊
2026-09-27 07:07:22
网红"富婆"人设崩了,镜头前的钻石是塑料的,她承认剧本是编的

网红"富婆"人设崩了,镜头前的钻石是塑料的,她承认剧本是编的

一盅情怀
2026-09-29 12:55:43
蒙古总理访日口出狂言,中蒙声明刚签不到仨月,就对中国捅刀子?

蒙古总理访日口出狂言,中蒙声明刚签不到仨月,就对中国捅刀子?

三生一梦莫
2026-10-01 02:55:57
美国媒体不打码国内媒体打码,受害者的痛苦一字未删,打码保护了谁?

美国媒体不打码国内媒体打码,受害者的痛苦一字未删,打码保护了谁?

王新喜
2026-10-01 21:39:39
微软又开始塞软件!Windows 11开机引导装第三方App:怕你下到盗版

微软又开始塞软件!Windows 11开机引导装第三方App:怕你下到盗版

快科技
2026-10-01 18:39:06
许鞍华检讨《第一炉香》的失利:马思纯太肿了,我没有及时停下来

许鞍华检讨《第一炉香》的失利:马思纯太肿了,我没有及时停下来

乡野小珥
2026-10-01 15:33:28
伊朗内部发生激烈交火!安全部队出动坦克控局,准将级指挥官阵亡

伊朗内部发生激烈交火!安全部队出动坦克控局,准将级指挥官阵亡

闻识
2026-10-01 11:37:44
淘宝自行车店主拒绝“到手刀”后遭报复式退货 运费超过车价 有异常警示平台仍支持买家

淘宝自行车店主拒绝“到手刀”后遭报复式退货 运费超过车价 有异常警示平台仍支持买家

信网
2026-09-30 15:27:04
比穷更可怕!农村“新四害”疯狂蔓延,害苦无数家庭

比穷更可怕!农村“新四害”疯狂蔓延,害苦无数家庭

丁隗解说
2026-09-30 15:26:21
我朋友在寺庙做义工,突然不去了,他说:有些寺庙比社会还现实!

我朋友在寺庙做义工,突然不去了,他说:有些寺庙比社会还现实!

千秋历史
2026-06-01 20:19:40
卡脖子卡怕了!俄罗斯盯上中国芯片厂股份,想直接占产线

卡脖子卡怕了!俄罗斯盯上中国芯片厂股份,想直接占产线

叹为观止易
2026-10-02 03:00:42
WTT中国大满贯:国乒首日8胜2负!女单轰11-1比分,15岁小将闪耀

WTT中国大满贯:国乒首日8胜2负!女单轰11-1比分,15岁小将闪耀

显微镜下的人性
2026-10-02 03:49:24
美韩巨头:,一窝蜂搞,AI,存储!,中国:,你们空出来的全球市场,我拿走了!

美韩巨头:,一窝蜂搞,AI,存储!,中国:,你们空出来的全球市场,我拿走了!

让生活充满温暖
2026-09-30 11:18:33
1-2韩国刚1夜!没想到韩国U23主帅李敏成赛后这样说,句句大实话

1-2韩国刚1夜!没想到韩国U23主帅李敏成赛后这样说,句句大实话

范动舍长
2026-10-01 06:18:48
秦桧32世孙发出质疑:祖上跪岳飞800年我认了,凭啥还跪岳飞之母

秦桧32世孙发出质疑:祖上跪岳飞800年我认了,凭啥还跪岳飞之母

古渡观书
2026-09-24 20:30:56
被骗了132年?甲午海战北洋水师根本没有对日作战优势

被骗了132年?甲午海战北洋水师根本没有对日作战优势

老达子
2026-09-29 06:20:10
迪拜航空劫机事件成“罗生门”,以色列和伊朗疑似打嘴仗

迪拜航空劫机事件成“罗生门”,以色列和伊朗疑似打嘴仗

红星新闻
2026-10-01 15:00:24
保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

z千年历史老号
2026-09-07 11:43:45
歌星李琼:我这辈子最后悔的事儿,就是让央视主持人朱迅替我报幕

歌星李琼:我这辈子最后悔的事儿,就是让央视主持人朱迅替我报幕

林轻吟
2026-06-17 16:55:56
2026-10-02 05:15:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
209文章数 81关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

本地
亲子
旅游
公开课
军事航空

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

亲子要闻

重新拥抱亲密:产后妈妈的温柔复兴之路

旅游要闻

藏在黔北的小城湄潭,名字藏着古人的浪漫,读懂才知山水诗意!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美防长宣布组建“自主作战司令部”

无障碍浏览 进入关怀版