2026年11月20日,Thinking Machines Lab 发布 Inkling 2 Mini。开放权重、Apache 2.0 许可,总参数 26.4B,激活参数 3.4B。二十四个层里中间十二层每个 token 跑三遍,等于每个 token 实际经历约 5.4B 权重激活、四十八次层访问。
![]()
原生 NVFP4/MXFP8 格式下,检查点约 20 GB,一台 32 GB 的 Mac 或单张桌面显卡就能放下。在总参数 100B 以下的开放权重模型里,它于 DeepSWE v1.1 上以 48.2% 领先;SWE-bench Verified 上纯 bash 口径报出 79.2%。
这类模型可以直接摆在本地编码代理或短建议循环旁边,不用租集群。对已经在 Windows 上交付实时工具的开发者来说——比如在技术面试或销售电话里弹出翻译建议的浮层——关键问题不是"它会不会推理",而是"对方停止说话后,第一个能用的 token 多快到达"。
循环结构换来了什么
普通稠密 27B 模型每个 token 都要花掉全部参数预算。Inkling 2 Mini 复用同一批中间块,单 token 的内存流量更接近 5–6B 模型,计算深度却对得上更深的网络。Thinking Machines 报告称,在其代理编码套件上,它比 Qwen3.8-27B 快约四倍、每个任务便宜约六倍。llama.cpp 和 Unsloth 的 GGUF 构建已经存在;Ollama 和 EXO 已将它列入 Apple 芯片支持清单。
本地代理的实用参数:
- 上下文最长 1M token。
- 多模态,支持文本加图像。
- 函数调用与工具使用列为支持。
- 在 32 GB Mac 或中端 NVIDIA 卡上,算上 KV 缓存和三遍循环,首 token 延迟仍在数百毫秒量级。
对能想几秒的离线编码代理,这没问题。对需要在下一段对话停顿前给出打磨好建议的实时浮层,这并不免费。
采集路径仍是主导项
模型侧的改进碰不到 Windows 音频栈。一个可用的双语浮层需要两条干净且彼此分离的 PCM 流:本地麦克风(你说的话),以及渲染端点的回环(对方通过 Teams、Zoom、Meet 或浏览器说的话)。
两条流都必须留在共享模式,通话客户端才能继续持有设备。独占模式会直接打断通话。音频引擎(audiodg.exe 加 audioeng.dll)负责混音、通信增强、空间音频和厂商 APO。共享模式典型周期是 10 ms。IAudioClient3 可以请求更小的周期,但引擎经常忽略,或者在负载下回退。蓝牙即便上了 LE Audio,也会叠加自己的缓冲。
典型硬件上的端到端栈实测:WASAPI 共享模式客户端(10–20 ms 缓冲)→ 引擎混音与增强 → 采集回调(拷进无锁 SPSC 环形缓冲,立即返回)→ 分帧、轻量 VAD、重采样到 16 kHz 单声道 → 语音转文字(本地或远程)→ 小本地模型做翻译润色或短建议 → 专用线程绘制浮层(低于 16 ms)。
即便建议模型在本地且够快,对方停止说话后,第一个可用的部分结果仍落在 80–200 ms 区间。引擎在任何样本到达你的进程前插入的那 10–40+ ms,不会因为你把 27B 稠密模型换成循环 26B MoE 就消失。
笔记本级代理真正帮上忙的位置
模型在音频已经进入你的进程之后才有用。一个务实架构是这样:WASAPI 双轨(麦克风加回环)→ 无锁环形缓冲(SPSC,回调里不加锁)→ 20–40 ms 帧加能量 VAD → 本地语音转文字(faster-whisper / Windows ML Task / 小 GGUF)→ token 流或短文本缓冲 → Inkling 2 Mini(或任何 3–8B 级模型)负责短翻译润色、一句话建议、需要本地 RAG 查询时的工具调用 → 浮层线程。
把重推理挡在采集线程之外。模型可以跑在第二条 CUDA 流或 NPU/GPU 上,采集回调保持在几微秒以内。代价是:三遍循环会抬高激活层的内存带宽占用。在带宽受限的卡上,这可能表现为每秒 token 数低于纯 4B 稠密模型,哪怕质量更高。
交接的代码草图(伪代码,非生产级):
- 采集回调里几乎什么都不做,只把数据推进无锁环形缓冲。
- 工作线程按 20 ms 取帧,VAD 判定不是语音就直接返回。
- 语音转文字给出部分结果,为空就返回。
- 非空则发后即忘地丢给本地代理排队生成建议。
真正要紧的取舍
对面试和通话浮层来说,混合或全本地路径配一个小润色模型通常更实际。Inkling 2 Mini 体量够大,建议步骤你可能仍偏好 1–4B 的专精模型,把更大的模型留给离线准备或更长的代理任务。
已经在交付双轨浮层的话,接下来值得测:把采集线程绑核并关掉音频增强,这能收回最大的一块地板延迟;对比有无新模型时的"部分结果到浮层"延迟,循环结构的影响应该出现在尾部;把建议提示词压短、结构化,别让模型把 token 浪费在开场白上;确认 GGUF 或原生检查点能和语音转文字模型同时常驻内存。
这个模型对本地代理工作是实打实的一步。它没有挪动音频引擎。那个感觉即时的浮层,仍然是掌握采集路径、把模型当作快速第二级而非第一级的那个。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.