![]()
华为联合新加坡国立大学和中国科学技术大学研究人员提出 QuantClaw。
这是一款面向 OpenClaw 的即插即用动态模型精度路由插件,基于大规模低精度量化实证研究,让模型精度成为可动态分配的资源,实现服务质量不降反升、成本下降、延迟降低的三重收益。
![]()
项目主页:https://sparkengineai.github.io/QuantClaw/
GitHub 仓库:https://github.com/SparkEngineAI/QuantClaw-plugin
arXiv 论文:https://arxiv.org/abs/2604.22577
OpenClaw 很强大,但成本让人头疼
2026 年,OpenClaw 已经成长为最火爆的开源 AI Agent 框架之一。它不只是「聊天机器人」,而是能操控浏览器、执行 Shell 命令、读写文件、管理记忆的全功能数字助手。但真正用过 OpenClaw 的开发者和用户都知道一个痛点:Token 消耗太猛了。
一个看似简单的查询,可累积消耗超 23 万 Token,你付的钱不只是为了那个最终答案,而是在为整个 Agent 系统的「运行开销」买单。更糟的是,目前这些系统通常以固定精度运行。无论任务是简单查个资料,还是写一段复杂代码,模型都在全力输出,导致不同任务复杂度与计算资源之间缺乏匹配机制。该策略同时带来不必要的计算开销、推理延迟增加以及整体成本上升。
破局思路:不是每个任务都需要「超算级」精度
量化(Quantization)是业界常用的降本手段。把模型的数值精度从 32 位浮点压缩到 4 位甚至 2 位,能显著减少内存占用和计算量。但问题是:量化对复杂 Agent 任务的影响到底有多大?所有任务都适合压低精度吗?目前仍缺乏系统性的研究来回答这一问题。
华为联合新加坡国立大学、中国科学技术大学,对 OpenClaw 工作负载进行了系统性的量化研究,基于 ClawEval 评测集(release v0.0.0),覆盖 24 类任务、104 个实例、6 个主流大模型(9B–744B),系统揭示了 OpenClaw 框架下 Agent 量化的核心规律:
(1)Scaling Effect:模型越大,量化容忍度越高
![]()
在 OpenClaw 量化评测结果上,研究团队发现了一个清晰的模型规模和性能下降之间的关系:
- 小模型(<30B):量化后性能下降 3-5%。
- 中等模型(30B-70B):下降通常在 2% 以内。
- 大模型(200B+):下降不到 2%,部分模型(如 GLM-5、MiniMax-M2.5)量化后反而有轻微性能提升(+0.9% 到 +1.4%)。
实验结果显示,模型规模与量化误差容忍度呈正相关,这可能源于更大参数量的模型拥有更高的表征冗余,从而削弱了量化噪声的影响。
(2)量化对 Agent 的影响,显著依赖任务类型
研究团队对所有测试模型的结果取平均值并进行任务敏感度分析,根据敏感度将 OpenClaw 任务分为三类:高、中、低。
![]()
- 高精度敏感区(推荐 16bit/8bit):涉及代码生成、安全关键决策和复杂操作工作流的任务对量化高度敏感。这些领域的共同特征是需要精确的边界判断,模型输出的微小扰动都可能导致性质完全错误的行为,例如错误的工具调用、策略违规或代码逻辑错误。
- 低精度友好区(推荐 4bit):知识检索、分析类与问答类任务对量化具有较强容忍度,有的甚至还能小幅提升。这可能是因为量化充当了隐式正则化器的角色,从而促进更具泛化性的表示。
(3)如何实现得分、速度与成本的平衡?
![]()
真正决定是否应该对某个任务使用低精度,不能只看分数变化,必须把速度和成本一起纳入考量。基于任务敏感性分析,研究团队给出了两种实用的优化视角:
- 得分 vs 速度(更快):在不牺牲质量的前提下降低推理时延,优先选择速度收益大于分数边际变化的任务。
- 得分 vs 成本(更便宜):在质量基本持平的情况下压低推理成本,重点关注成本降低时仍能保持或提升质量的任务。
QuantClaw:开箱即用的精度调度引擎
基于以上发现,研究团队推出了 QuantClaw,一个为 OpenClaw 设计的即插即用的任务路由量化插件。
![]()
(1)QuantClaw 的工作逻辑非常清晰:
- 任务识别:用户发来请求,QuantClaw 首先判断它属于哪种任务类型。
- 精度路由:根据预设的「任务-精度敏感度档案」,自动将请求分配给 4bit、8bit 或 16bit 的模型实例。
- 透明执行:用户无感知,不用手动选择精度,系统在后台完成一切。
(2)QuantClaw 的架构设计兼顾了实用性和灵活性:
![]()
![]()
实测效果:省钱、提速、分数还涨了
研究团队在 PinchBench 上进行端到端评估。结果表明,QuantClaw 在省钱提速的同时,任务完成质量反而更高。低敏感任务用低精度高效执行,高敏感任务保留高精度确保可靠,实现整体上更好的质量、成本和时延平衡。
(1)GLM-4.7-Flash(PinchBench v1.2.0):相比 BF16 基线,得分 +2.85,成本 -21.6%,延迟 -8.4%
![]()
(2)GLM-5(PinchBench v2.0.0):相比 FP8 基线,得分 +2.09,成本 -21.4%,延迟 -15.7%
![]()
展望
QuantClaw 不止是一个插件,更提供了一种将精度纳入系统调度的实现路径:把精度当作像算力、内存一样的动态调度资源;轻任务跑低成本配置,重任务保留高精度。
当精度成为可动态调配的资源,Agent 系统才能真正从演示场景走向生产级应用。未来,个人 AI 助手不再是「单模型满负荷跑」,而是多精度、多能力协同的智能系统。QuantClaw 正是这一方向的关键一步。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.