网易首页 > 网易号 > 正文 申请入驻

26.4B参数塞进32GB Mac,本地推理仍卡在音频采集

0
分享至

2026年11月20日,Thinking Machines Lab 发布 Inkling 2 Mini。开放权重、Apache 2.0 许可,总参数 26.4B,激活参数 3.4B。二十四个层里中间十二层每个 token 跑三遍,等于每个 token 实际经历约 5.4B 权重激活、四十八次层访问。


原生 NVFP4/MXFP8 格式下,检查点约 20 GB,一台 32 GB 的 Mac 或单张桌面显卡就能放下。在总参数 100B 以下的开放权重模型里,它于 DeepSWE v1.1 上以 48.2% 领先;SWE-bench Verified 上纯 bash 口径报出 79.2%。

这类模型可以直接摆在本地编码代理或短建议循环旁边,不用租集群。对已经在 Windows 上交付实时工具的开发者来说——比如在技术面试或销售电话里弹出翻译建议的浮层——关键问题不是"它会不会推理",而是"对方停止说话后,第一个能用的 token 多快到达"。

循环结构换来了什么

普通稠密 27B 模型每个 token 都要花掉全部参数预算。Inkling 2 Mini 复用同一批中间块,单 token 的内存流量更接近 5–6B 模型,计算深度却对得上更深的网络。Thinking Machines 报告称,在其代理编码套件上,它比 Qwen3.8-27B 快约四倍、每个任务便宜约六倍。llama.cpp 和 Unsloth 的 GGUF 构建已经存在;Ollama 和 EXO 已将它列入 Apple 芯片支持清单。

本地代理的实用参数:

  • 上下文最长 1M token。
  • 多模态,支持文本加图像。
  • 函数调用与工具使用列为支持。
  • 在 32 GB Mac 或中端 NVIDIA 卡上,算上 KV 缓存和三遍循环,首 token 延迟仍在数百毫秒量级。

对能想几秒的离线编码代理,这没问题。对需要在下一段对话停顿前给出打磨好建议的实时浮层,这并不免费。

采集路径仍是主导项

模型侧的改进碰不到 Windows 音频栈。一个可用的双语浮层需要两条干净且彼此分离的 PCM 流:本地麦克风(你说的话),以及渲染端点的回环(对方通过 Teams、Zoom、Meet 或浏览器说的话)。

两条流都必须留在共享模式,通话客户端才能继续持有设备。独占模式会直接打断通话。音频引擎(audiodg.exe 加 audioeng.dll)负责混音、通信增强、空间音频和厂商 APO。共享模式典型周期是 10 ms。IAudioClient3 可以请求更小的周期,但引擎经常忽略,或者在负载下回退。蓝牙即便上了 LE Audio,也会叠加自己的缓冲。

典型硬件上的端到端栈实测:WASAPI 共享模式客户端(10–20 ms 缓冲)→ 引擎混音与增强 → 采集回调(拷进无锁 SPSC 环形缓冲,立即返回)→ 分帧、轻量 VAD、重采样到 16 kHz 单声道 → 语音转文字(本地或远程)→ 小本地模型做翻译润色或短建议 → 专用线程绘制浮层(低于 16 ms)。

即便建议模型在本地且够快,对方停止说话后,第一个可用的部分结果仍落在 80–200 ms 区间。引擎在任何样本到达你的进程前插入的那 10–40+ ms,不会因为你把 27B 稠密模型换成循环 26B MoE 就消失。

笔记本级代理真正帮上忙的位置

模型在音频已经进入你的进程之后才有用。一个务实架构是这样:WASAPI 双轨(麦克风加回环)→ 无锁环形缓冲(SPSC,回调里不加锁)→ 20–40 ms 帧加能量 VAD → 本地语音转文字(faster-whisper / Windows ML Task / 小 GGUF)→ token 流或短文本缓冲 → Inkling 2 Mini(或任何 3–8B 级模型)负责短翻译润色、一句话建议、需要本地 RAG 查询时的工具调用 → 浮层线程。

把重推理挡在采集线程之外。模型可以跑在第二条 CUDA 流或 NPU/GPU 上,采集回调保持在几微秒以内。代价是:三遍循环会抬高激活层的内存带宽占用。在带宽受限的卡上,这可能表现为每秒 token 数低于纯 4B 稠密模型,哪怕质量更高。

交接的代码草图(伪代码,非生产级):

  • 采集回调里几乎什么都不做,只把数据推进无锁环形缓冲。
  • 工作线程按 20 ms 取帧,VAD 判定不是语音就直接返回。
  • 语音转文字给出部分结果,为空就返回。
  • 非空则发后即忘地丢给本地代理排队生成建议。

真正要紧的取舍

对面试和通话浮层来说,混合或全本地路径配一个小润色模型通常更实际。Inkling 2 Mini 体量够大,建议步骤你可能仍偏好 1–4B 的专精模型,把更大的模型留给离线准备或更长的代理任务。

已经在交付双轨浮层的话,接下来值得测:把采集线程绑核并关掉音频增强,这能收回最大的一块地板延迟;对比有无新模型时的"部分结果到浮层"延迟,循环结构的影响应该出现在尾部;把建议提示词压短、结构化,别让模型把 token 浪费在开场白上;确认 GGUF 或原生检查点能和语音转文字模型同时常驻内存。

这个模型对本地代理工作是实打实的一步。它没有挪动音频引擎。那个感觉即时的浮层,仍然是掌握采集路径、把模型当作快速第二级而非第一级的那个。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
默茨:德国累计援助乌克兰7347亿元,这将给德国带来多重红利,对德国经济也有积极影响

默茨:德国累计援助乌克兰7347亿元,这将给德国带来多重红利,对德国经济也有积极影响

阿尔卑斯瞭望
2026-11-21 17:51:51
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
炒股冠军的陨落!上半年1425.62%,如今-97.36%,千万账户已不足百万

炒股冠军的陨落!上半年1425.62%,如今-97.36%,千万账户已不足百万

金石随笔
2026-11-22 07:18:36
黎曼猜想被攻破!国外AI忙着搞科研,造福全人类,国产AI呢?

黎曼猜想被攻破!国外AI忙着搞科研,造福全人类,国产AI呢?

News脑洞
2026-11-22 13:37:42
64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

山间听雨
2026-11-20 19:27:54
16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

大风新闻
2026-11-22 10:27:07
停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

红星新闻
2026-11-21 21:40:12
大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

醉卧浮生
2026-11-22 13:36:53
东部第一!76人5连胜送雄鹿13连败 詹姆斯21+6+6希罗50+11+7

东部第一!76人5连胜送雄鹿13连败 詹姆斯21+6+6希罗50+11+7

醉卧浮生
2026-11-22 06:59:19
慌啥子嘛,越来越不对劲了

慌啥子嘛,越来越不对劲了

大张的自留地
2026-11-21 13:02:04
诈骗金额1.2亿!低保证金噱头让投资者深陷圈套

诈骗金额1.2亿!低保证金噱头让投资者深陷圈套

极目新闻
2026-11-22 08:24:25
CBA最新消息!上海男篮内讧,韩德君或被处罚

CBA最新消息!上海男篮内讧,韩德君或被处罚

体坛瞎白话
2026-11-22 09:19:56
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

往史过眼云烟
2026-11-21 14:23:08
北电也建马院了:全国已经超过 2000 家,真正的考验才刚开始

北电也建马院了:全国已经超过 2000 家,真正的考验才刚开始

迷世书童
2026-11-22 11:54:48
在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

第一财经资讯
2026-11-21 17:52:44
“张朝阳被证监会出具警示函”,搜狐创始人张朝阳:不是我,AI区别不了同名同姓的人

“张朝阳被证监会出具警示函”,搜狐创始人张朝阳:不是我,AI区别不了同名同姓的人

红星新闻
2026-11-22 10:56:12
【英超】阿隆索已过保质期?全场挨打1比4溃败!从球员到球迷,切尔西都破防了

【英超】阿隆索已过保质期?全场挨打1比4溃败!从球员到球迷,切尔西都破防了

体坛周报
2026-11-22 11:46:16
日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

台州交通广播
2026-11-21 23:09:45
波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

扬子晚报
2026-11-21 17:42:16
2026-11-22 14:39:00
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
207文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
教育
亲子
手机
房产

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

手机要闻

DOOGEE Wide Core亮相,6500mAh电池、紫光展锐T7250处理器

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版