网易首页 > 网易号 > 正文 申请入驻

不生成文字的决策AI,凭什么比大模型快?

0
分享至

不是每个AI任务都需要一个大语言模型来生成文字。有时候,我们只需要一个模型快速做个决定:选哪个工具、给客户投诉分类、判断一笔交易是否可疑。这正是决策AI的用武之地。


随着TypeSafe AI发布Jev,以及一批开源替代方案出现,现在有了专门为"做决定"设计的模型——它们不生成多余文字,只从预设答案里选一个,并返回概率。

决策模型回答三类问题

  • 选择:从选项中挑一个,比如账单、销售或技术支持。
  • 打分:按量表给某件事评级,比如客户投诉的紧急程度。
  • 是或否:估计某件事是否成立,比如一封邮件是不是垃圾邮件。

举个例子:客户发来邮件说"我的订单被扣了两次钱"。我们不需要大模型写一大段解释,决策模型可以直接判定"账单"是最合适的部门,并给出这个答案的概率。对需要处理成千上万条类似请求的应用来说,这种能力很实用。

它是怎么工作的

流程很直接:给模型一些信息,定义一个问题和可能的答案,模型评估信息后返回决定和概率。最大的好处是答案结构化,应用可以直接使用,不必再从生成的段落里提取信息。

把现有大模型改造成决策模型,思路是用它的内部预测代替文字生成。大模型处理输入时会产生logits,也就是下一个token的原始分数。我们可以取出预设答案对应的分数,用softmax函数把它们转换成概率。

比如给商品评论分类,模型可能给出正面2.0、负面1.0的logit,经过softmax后大约是73%正面、27%负面。这些概率是相对于我们所选选项而言的。更进一步,可以把常规的文本生成层换成一个小型预测头,在决策任务上微调模型,让它一次前向传播就给多个选项打分,甚至回答多个问题。跳过逐token生成文字这一步,重复决策会更快、更高效。

开源方案已经跑起来了

Jev是TypeSafe通过API提供的专有模型。公司分享了一些思路细节,但没有公开完整架构、模型权重和训练配方,所以内部到底怎么运作仍不清楚。

与此同时,开源社区动作极快,发布了可以检查、微调、本地运行的替代品。有些项目已在特定基准上报告了更好的结果、更快的推理和可能更低的运行成本。值得关注的五个项目:

  • Laya:轻量级决策模型,支持100多种语言,推理快,能自动选择合适的模型,可在普通硬件上运行。
  • Kev:基于Qwen的模型家族,参数从0.8B到27B,支持长文档、自定义微调,可通过兼容Jev的API部署。
  • Simple Jev:无需额外训练,直接用现有的Hugging Face模型做分类和打分,还支持视觉模型对图像做决策。
  • Decider:设计目标是一次前向传播处理多个决策,每个问题最多支持255个选项,附带了俄罗斯方块和Pong等游戏的实验演示。
  • SemIf:专注本地决策,支持NVIDIA GPU、Apple Silicon和CPU,带交互式浏览器演示和可复现的基准,用于比较准确率和推理速度。

有意思的地方在于,不依赖闭源API也能构建决策应用了。可以选小模型换速度,可以针对具体任务微调,也可以全部本地运行来降低API成本。

用llama.cpp在本地跑一个

Ollama和llama.cpp现在都通过兼容TypeSafe的/v1/systemone端点支持决策模型。Ollama支持Nimble、Tev1等模型,llama.cpp支持Laya、Kev、Julia-1和OpenJev。

用最新版llama.cpp试一下Laya,先启动本地服务:

llama update
llama serve -hf ggml-org/Laya-GGUF

模型跑起来后,另开一个终端发送客服请求:

curl http://localhost:8080/v1/systemone,请求体里把"我的订单被扣了两次钱"作为state,问题department设为choice类型,候选答案为billing(支付与退款)、shipping(配送问题)、technical(Bug与账户问题)。

模型会评估这条消息,返回选中的部门以及每个选项的概率。就这样,不用付费API,也能在本地试验决策模型。

它和现有大模型是搭档

决策AI最有意思的地方,是它能和现有大模型配合,让AI应用更快、更便宜。设想一个AI编程智能体,用小决策模型来选工具、决定要不要联网搜索、判断任务是否需要更强的大模型。不必为每个小决定都调用昂贵的推理模型,把它留给真正需要的任务。

实时应用是另一个方向。决策模型已经在游戏里测试,能在毫秒内选出下一步动作。类似的用法还可能出现在机器人、欺诈检测和自主AI智能体上。本地运行还能降低API成本,把敏感数据留在自己的硬件上。

最大的挑战是可靠性。如果一个模型说自己有95%的把握,我们得知道这个数字能不能信。随着这类模型进入真实应用,更好的训练、校准和人工复核会很重要。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

一丝不苟的法律人
2026-11-22 13:20:47
9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

风过乡
2026-11-22 08:12:54
拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

华夏时报
2026-11-21 19:35:10
高市制造了“舷梯门”

高市制造了“舷梯门”

天真无牙
2026-11-21 14:52:51
每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

医学科普汇
2026-11-22 08:30:33
46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

洲洲影视娱评
2026-11-22 10:20:20
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

火山詩话
2026-11-22 05:03:22
50分空砍!恩不出界,太离谱了!

50分空砍!恩不出界,太离谱了!

篮球实录
2026-11-22 16:20:56
“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

火山詩话
2026-11-21 20:49:37
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

财通社
2026-11-22 16:41:17
突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

大厂财经社
2026-11-22 11:23:39
出大事了!澳洲银行,突然大量关停中国人账户!

出大事了!澳洲银行,突然大量关停中国人账户!

澳洲财经见闻
2026-11-21 15:10:02
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

火山詩话
2026-11-22 09:07:07
年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

可读
2026-11-21 00:13:14
“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

排球大视界
2026-11-22 13:47:44
云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

快科技
2026-11-22 10:00:08
2026-11-22 17:00:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
214文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
教育
时尚
家居
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版