用万亿参数模型分个工单？他说这是拿坦克送披萨

周三下午，一个客服系统收到一条工单：用户说自己的订单三天没发货。系统需要做的判断很简单——这条工单该归到"物流延迟"还是"售后咨询"。但为了这一个判断，后台调用的却是一个万亿参数的前沿大模型，它要先"思考"、再"组织语言"、最后吐出一段完整的回复文本，开发者再从那堆文字里把分类结果抠出来。

Featherless 的 CEO 兼联合创始人 Eugene Cheah 把这种做法比作"用坦克送披萨"。他的原话是：披萨坦克确实能送到，但它慢、它贵，而且用错了交通工具。在他看来，企业需要的是被调用那一刻的快速反应，而这类 AI 恰恰是行业长期忽视的一种。

不写答案，只读分数

Featherless 是一家无服务器推理服务商，它最近开源了一个叫 Simple Jev 的库，做的事情是把开源 AI 模型转换成高速的零样本分类引擎。这个库建立在本月早些时候发布的闭源、纯文本 Jev 之上，把结构化决策能力扩展到了开源模型，图像能力则跑在 Featherless 自己托管的端点上。

它要解决的问题是：让应用能够评估进来的数据，直接返回类别归属或者二选一的结果，而不是生成一段对话式的文字。

Cheah 解释了背后的机制：Simple Jev 从不"写"出答案。模型运行到本该开始选择的位置就被停住，系统直接读取它对每个允许选项的分数，然后输出概率。这样一来，绕开了文本生成，延迟降下来了，算力消耗也降下来了。

他把这个思路概括为"旧的东西又变新了"。分类器本身并不新鲜，ChatGPT 之前大学里教 AI 就在教这个。新的地方在于，有人为它设计了一套好用的零样本 API。核心部件早就在那儿，团队也熟悉，所以做得很快。

Cheah 甚至认为，任何一个刚毕业的 AI/ML 博士都能用一句话重新实现 Simple Jev——实现一个"共享前缀、两阶段、仅预填充、基于 logit 的分类器"。他们选择开源，就是为了让这件事更容易被复制、更高效，他预计会出现上百个开源 Jev 克隆。

图像也能当分类依据

Featherless 托管的 Simple Jev 端点还带视觉支持，可以用于决策工作流。目前这项功能只在 Gemma 或 Qwen 模型上可用，开发团队可以把图像作为上下文，做即时分类。

在多模态视觉支持这件事上，Featherless 的立场摆得很清楚。Cheah 承认，大型闭源模型确实能干这些活。但他坚持认为那是"用错了工具"，因为这些模型是靠"庞大的数万亿参数 LLM"生成文本来完成的，开发者显然要为这种服务付前沿价格。

他的判断是，行业太盯着 LLM 的规模，已经有一阵子没退后一步想想成本和效率了。

价格方面，Featherless 推出了免费的公共端点，开发者不需要 API key 或登录就能测试分类模型，演示版限制在 2000 token 上下文、每秒两次请求。生产用途上，Simple Jev 的定价从每百万输入 token 0.03 美元起步，输出 token 免费；作为对比，TypeSafe 的 Jev 是每百万输入 token 0.042 美元。

不过这是测试期的地板价，可能会上涨。Featherless 自己列出的基于 Qwen 的分类器价格是每百万输入 token 0.28 美元和 0.30 美元。

Cheah 算了一笔账：一次典型的图像或段落文本分类决策，大约消耗 500 到 1200 个 token，按每百万 0.03 美元算，一次决策大约花千分之三美分，换算下来是每百万次决策 15 到 35 美元，而且输出还是免费的。他的说法是，这几乎便宜到"字面意义上没法计量"。

从通用大模型转向专用小模型

Featherless 在推动一件事：从它所说的"单体通用模型"上移开。它给出的判断是，未来将由数百万个轻量、专用的模型驱动。

Cheah 用一段递进的说法描述这个转变：一开始他们说开源模型永远追不上；然后他们说开源只在个别场景赢；很快他们就会说闭源模型只在个别场景赢了。

零样本分类这个赛道上，确实早有玩家。2021 年初问世的 OpenAI CLIP，可以算是零样本图像分类的早期开源先驱，它从自然语言监督中学习视觉概念，能应用到任何视觉分类基准上。微软的 Florence-2 在 2024 年夏天作为开放权重的视觉语言基础模型出现，承诺解决空间层级等方面的复杂性。

Cheah 自己也承认分类器不新。作为模型工具链工程的一个子分类，其他零样本视觉和多模态分类技术已经存在了一段时间。他押注的不是"新概念"，而是把这件事做成一套设计良好的 API，并且把价格压到让开发者愿意为每一个具体任务单独部署一个专用模型，而不是所有事情都去调用那个最贵的通用大脑。