不生成文本的大模型，凭什么百毫秒给出判断？

一个客服工单进来，系统要在百毫秒内判断：该转给技术、账单还是销售？客户有多不满？这条消息算不算紧急？

常见的语言模型完成一次回答要数秒到数分钟。2026 年 9 月，TypeSafe AI 发布的 Jev 给出的数字是：一组判断在百毫秒量级完成。

它不生成文本。针对给定的输入材料，它只回答三类限定形式的问题：从若干选项中选一个，在若干等级上评分，或判断一个陈述是否成立，并直接返回各个答案的概率。

从两段式说起

要说明 Jev 与主流大模型的关系，得回到 Transformer 架构本身。2017 年提出 Transformer 的论文《Attention Is All You Need》针对的任务是机器翻译，原始结构是两段式的。

Encoder 读取源语言句子，输出一组上下文向量；Decoder 通过 cross-attention 读取这组向量，同时逐词生成目标语言句子。Encoder 对源句子只运行一次，Decoder 每生成一个词运行一次。

两段式框架本身不是这篇论文的贡献，RNN 时代的 seq2seq 模型已经采用同样的结构。它的贡献在于用注意力完全取代了循环结构：循环网络逐词读入，第 n 个词必须等前 n−1 个词处理完；注意力在处理每一个词时直接查看句子里的其他词，所有位置可以同时计算。

三条路线的分化

2018 年前后，研究者发现 Transformer 的两个部件可以拆开单独使用。由此形成三条技术路线，它们在层结构上几乎相同，实质差异只有两点：注意力的可见范围，以及预训练任务是填空还是续写。

• Encoder-only 路线由 BERT（2018 年 10 月）开创，预训练任务是完形填空，随机遮住句子里的一部分词让模型还原。
• Encoder-Decoder 路线以 T5（2019 年 10 月）为代表，两半都保留，适合翻译、摘要这类输入输出形态固定的任务。
• Decoder-only 路线由 GPT-1（2018 年 6 月）开创，预训练任务就是续写：给定前文，预测下一个词。

Encoder-only 路线退出了通用能力的竞争，但一次前向、毫秒级延迟的特点使其在检索、推荐、内容审核等高吞吐判别场景中仍被广泛使用，2024 年发布的 ModernBERT 即为例证。这类模型走的是“预训练加微调”：微调后的模型读取输入一次，直接输出各类别的概率，但它只会这一个任务，类别集合在训练时就已固定。

主流路线怎么读输入、怎么出输出

对 Decoder-only 模型而言，“理解输入”与“生成输出”是同一个网络、同一套参数在推理时的两个阶段。

第一阶段称为 prefill：整段 prompt 一次性输入网络，所有 token 并行计算，各层的键、值向量存入缓存。第二阶段称为 decode：网络基于缓存逐 token 生成，每生成一个 token 就将其键、值追加进缓存。

“输出读取输入”在 Decoder-only 结构里同样发生，只是不再通过 cross-attention，而是通过普通的自注意力：回答的每个 token 与 prompt 处于同一条序列，直接查看 prompt 各位置的键、值即可。

这条路线成为主流，原因之一是训练信号更密集——续写任务在句子的每一个位置上都能出一道题，填空任务只能在被遮住的少数位置上出题。另一个原因是任务形态统一：对话、代码补全、思维链推理、工具调用都可以表述为“在同一序列上继续生成”。

Jev 的不同在哪一步

Jev 很可能以预训练的 Transformer 作为底层网络，它能理解任意自然语言问题的能力就来自这里，这一部分与 LLM 同源。不同的是结果的产生方式。

LLM 无论输出普通文本还是 JSON，都要经过 decode 阶段逐 token 生成，再由调用方解析字符串；Jev 在 prefill 之后不进入 decode，而是直接从网络中读出每个问题在各选项上的概率分布。

这与给 LLM 加一个强制 schema 不是一回事：后者只是约束了生成出来的字符串的格式，逐 token 生成的过程一步没少；前者根本没有生成过程。发布文章里把这一区别写作“串行采样”与“并行采样”，所谓“类型安全”也由此而来：输出被限定在给定选项上，不可能出现选项之外的内容。

官方指标显示：多数查询约 100 ms，同一请求内增加问题几乎不增加延迟；每百万输入 token $0.042，输出免费；仅支持文本，英语为主；不开源。

为什么要另做一类模型

创始人 Diogo Almeida 是 InstructGPT 论文的作者之一，曾在 OpenAI 负责后训练。发布文章的第一句话是他们的问题所在：“Models have been superhuman at chat for years, so where is all the automation?”

他们的解释是，RLHF 训练出来的模型从设计上就是为协助人而准备的：奖励模型拟合人类评分者的偏好，模型学会让回答看起来正确，而不是让概率反映真实的正确率。一个模型如果在 95% 的情况下能完成任务，却无法指出剩下的 5% 在哪里，就不能用于无人值守的自动化。

TypeSafe 把自己的方法 RLCD 与 RLHF、RLVR 并列为第三种后训练范式：前两者分别优化人类偏好和可验证奖励，RLCD 优化校准的决策。“System One”一名取自卡尼曼的快慢两种思考，LLM 被归为慢的系统二，Jev 定位为快的系统一。

文档建议按置信度分流：高置信度自动执行，低置信度交给人处理。TypeSafe 主张的形态是代码掌握控制流，只在需要常识判断的地方调用模型，而且每个问题都要拆到原子——比如不问“这是不是垃圾邮件”，而是对同一封邮件同时问六个判断，由代码加权合成风险分数并设阈值。

一个开源对照

Jev 发布三天后的 9 月 18 日，Convai Innovations 的 Nandakishor M 以 Apache 2.0 开源了 Laya，定位是“33 ms 的开源 System 1 决策引擎”，社区普遍称之为开源版的 Jev。

Laya 的底层网络是 ModernBERT-large，一个 4 亿参数量级的双向 encoder，其上接一个小的决策头。每个问题被拼成一条序列，每个选项前放一个 [MASK] 标记，state 接在最后，在每个 [MASK] 位置取出隐向量打分，对同一问题的所有选项做 softmax 得到概率分布。它一次最多读入 512 个 token。

按前文的划分，Laya 是 BERT 分类器往前走了一步：把选项写进输入而不是写进参数，于是不必为每个任务重新训练。同样的输出方式装在 4 亿参数的 BERT 上，零样本判断的表现远不及 Jev。两相对照，差距不在读出方式，而在读出方式之下的网络：能在不训练的前提下读懂任意问题，依赖的是 LLM 级的理解能力。

从 Transformer 到今天，主流模型的骨架没有变过：ChatGPT 与推理模型改变的是训练方式，DeepSeek 与 Qwen 改变的是内部组件。Jev 保留了这套骨架的读取部分和 LLM 级的理解能力，去掉了生成部分。

它不能写、不能思考、不能作为 agent 运行，换来的是百毫秒级的延迟和可以直接用于程序判断的概率。是否适用，取决于任务本身需要的是自由的文本生成，还是在有限选项之间做出判断。