网易首页 > 网易号 > 正文 申请入驻

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

0
分享至


智东西
编译 李水青
编辑 心缘

智东西11月21日消息,今日,由前OpenAI CTO米拉·穆拉蒂(Mira Murati)联合创办的AI独角兽Thinking Machines Lab(简称:TML)推出一个新混合专家模型——Inkling 2 Mini。该模型总参数达27B,激活参数达3.4B,每个token有5.4B权重激活值以应对循环,兼顾小体积、快速度和较强性能,可在笔记本电脑上运行。

穆拉蒂在社交平台X上称:“Inkling 2 Mini是一款可在笔记本上运行的循环Transformer。循环机制让模型思考更多、输出更少。在当前这个规模下,它的思考过程仍可监控;但未来未必如此。我们还将放出一款可变循环研究模型,供业界进一步研究。”


▲TML联合创始人兼CEO米拉·穆拉蒂在社交平台X上发文

Inkling 2 Mini总内存占用约20GB,可在消费级笔记本和台式AI计算机等本地设备运行。TML研究人员曾把它带到飞机上,在MacBook Pro上离线运行,并在几分钟内构建了一个可玩的飞行模拟器。


在DeepSWE v1.1(48.2%)和Vals Index v2.2(46.5%)等基准上,Inkling 2 Mini在100B级参数以内开放权重模型里名列前茅,在长期智能体编程等赛道拿下同级别SOTA(行业最佳),超过了Gemma 4 31B、Muse Glimmer、Qwen3.8-27B等模型。Inkling 2 Mini长时序软件编码智能体、多行业自主Agent任务能力强,运行速度也优于性能相近的其他模型。

但其在MultiChallenge(50.0%)、ComplexConstraints v1.1(33.4%)等测评中略逊色,在复杂多约束指令跟随、多轮对话上弱于被业界称为“27B模型之王”Qwen3.8-27B;在高难度硬核推理任务上不及更大规模模型。


在人工智能分析指数(AII)中,该模型排名第20位,得20分,与Qwen3.8-27B (xhigh)和Nanbeige4.3-33B水平相当,但其激活参数分别少了约5倍和6倍。它在总体参数和有效参数上都处于智能与规模的帕累托前沿。

在相同的AAI得分下,Inkling 2 Mini的输出token数比Qwen3.8-27B多约38%,但计算量约为其三分之一。同时,Inkling 2 Mini比Qwen3.8-27B便宜约6倍,速度快约4倍。成本采用Thinking Machines的第一方定价,每百万次输入/输出/缓存命中token 0.15美元/0.50美元/0.015 美元。不过,新模型Qwen4-27B也接近发布,Inkling 2 Mini能否匹敌还不可知。


模型一经发布,不少开发者对27B这个尺寸反应非常热情。有X平台上的开发者拿它类比:“简而言之,现在只需16GB内存即可在本地运行Sonnet 5.5。”


▲社交平台X上发文上的开发者评论

背后,TML称该模型是业内首批采用循环架构的模型之一。对每个token,模型中间层会运行三次,这让模型能用更少token找到正确答案,在智能体编码等依赖推理质量的任务中表现尤其突出。

Inkling 2 Mini现已发布,提供开放权重,并可在Tinker上进行推理和自定义。

Hugging Face地址:

https://huggingface.co/thinkingmachines/Inkling-2-Mini

模型卡地址:

https://thinkingmachines.ai/model-card/inkling-2-mini/

一、长期智能体SOTA,其他测试仅次Qwen3.8-27B

此前5月12日,TML发布了交互语音模型研究版TML-Interaction-Small,该模型可以持续接收音频、视频和文本信息并进行实时思考,能够与用户像跟真人聊天一样及时反馈。

本次推出的Inkling 2 Mini,与Inkling 2 Small优势相近:在长期智能体工作中达到同级别模型SOTA(行业最佳),在官方测量的大多数任务中,是规模相近开放权重模型中最高分。

官方认为,Inkling 2 Mini兼具能效和性能,适合在本地硬件上运行多个持久Agent。

如下图所示,Thinkyville是一个由 Inkling 2 Mini 制作的像素小镇,所有20位村民都由同一台离线MacBook控制。他们会安排自己的日程、闲聊八卦、举办烘焙比赛,还会回复你留在他们家门口的纸条。


在DeepSWE v1.1和SWE-bench Pro v2等智能体编码基准中,Inkling 2 Mini得分高于所有同类模型,在其他测试中仅次于Qwen3.8-27B。在内核优化基准PMPP-Hard中,其得分接近规模更大的Inkling 2 Small。

循环可提升推理能力,但不能让权重存储更多事实,知识主要取决于参数总量。Inkling 2 Mini在AA-Omniscience事实性指标上的得分与其他同等规模模型相当。研究可变循环模型发现,在GraphWalks BFS和MRCR v2等长上下文基准上,性能随循环次数增加而提升;但在AA-Omniscience、SimpleQA Verified、SimpleVQA和WorldVQA等知识密集基准上,性能不会随循环次数增加而提升。

Inkling 2 Mini通过高效使用搜索和工具弥补知识差距。在BrowseComp、DeepSearchQA和MCP Atlas等规模相近开放权重模型中表现领先;在包含搜索和工具使用的知识工作基准中也有不错表现。

斯坦福大学研究人员以“每焦耳智能”衡量LLM每次查询达到给定性能所需能量。Inkling 2 Mini在NVIDIA DGX Spark上得分为0.703,明显高于Qwen3.6-35B-A3B的0.430、Gemma-4-26B-A4B的0.159和Qwen3.5-27B的0.036。

Inkling 2 Mini也存在局限性,它并非处理多回合聊天或包含大量约束指令时最强的小型模型:MultiChallenge得分50.0%,ComplexConstraints v1.1得分33.4%,均落后于Qwen3.8-27B。在CritPt v2和HLE-Diamond等推理密集型基准中,它也逊色于规模更大的模型。






二、24层、剪枝专家,业内首批采用循环架构的模型之一

Inkling 2 Mini是24层模型,源自主线预测扩展阶梯模型。与市面上的主流模型相比,主要改动是剪枝三分之二专家节点以减小模型规模,并引入循环提升推理能力。其余训练步骤,包括量化和数据混合,遵循主流模型流程。

循环设计上,Inkling 2 Mini共24层,分为四个模块,每个模块六层。中间两个模块运行三次,第一个和最后一个模块各运行一次。该设计基于先前循环Transformer研究,思路是模型中间层承载更抽象的推理,首尾层更多用于嵌入和内部表示转换。在28次不同评估中,有27次表明,循环中间12层比循环最后12层带来更大准确率提升。


该模型使用注意力残差:每一层读取前面模块输出并学习各自组合,而非简单累加,从而在循环间传递更丰富信息。每次循环从序幕(第一个模块)输出开始;第二次和第三次经过中间模块时,还会读取前一次循环中中间模块的输出,即“消息”。前一循环消息通过门电路与前奏输出合并,门电路根据模块中前几层输出缩放合并消息。该门电路在训练中学习:最初阻止整个消息传输,使每个循环起始状态与非循环模型相同,随后逐步增加消息增益,从而稳定引入循环。


为评估循环影响,官方在扩展阶梯上比较未剪枝循环版本和未剪枝非循环模型。非循环模型训练计算量少7.5%,但在51.2万tokenAgent追踪数据集上,为达到与循环版本相同损失,推理计算量增加140%。

Inkling 2 Mini训练采用4位精度。从预训练到强化学习,所有前向传播中的专家层均采用4位NVFP4精度,并借助专用内核和NVIDIA GB300平台硬件加速优化。最后4层前向传播采用8位MXFP8精度。部署权重与训练数值精度相同:NVFP4为20层,MXFP8为4层,因此量化不会造成转换损失。

Inkling 2 Mini初始训练参数稀疏度为48,从384位专家中选取8位。训练过程中剪枝三分之二专家,最终保留每层最常用的128位专家,以减少总参数、加快运行并支持本地硬件。剪枝后,模型使用从更大内部Inkling模型提取的1T个token训练,通过训练剩余专家接管被删除模型的工作,恢复剪枝前性能。

经过剪枝和修复后,Inkling 2 Mini使用与Inkling 2 Small类似的数据集进行SFT训练;随后进行强化学习,共处理2.2T个token,历时2000步。训练后阶段包括策略内蒸馏以进行训练对齐,与Inkling 2 Small相同。

三、循环模型“闷想”会更难监控吗?官方开源1-5次可变循环模型探底

监控CoT是理解和监控AI系统的关键工具之一。CoT监控的有效性部分源于标准非循环Transformer:每个token只经过固定数量层,限制了输出前可执行的连续计算步骤,因此需要更多步骤的推理必须写入生成文本,便于读取。

循环Transformer通过多次运行相同层提高这一限制。循环模型可在不增加参数的情况下增加串行深度,意味着在通过CoT表达思维过程前,会在内部对每个token执行更多计算。未出现在CoT中的推理无法被CoT监视器捕获,这引发对循环Transformer可能更难监管的担忧。

官方发布Inkling 2 Mini的原因之一,是希望社区开展循环Transformer研究,尤其期待探索可监控性问题并开发可解释性技术理解循环内部计算。为探究不同循环次数对可监控性等属性的影响,官方还训练了可变循环次数模型TML-d24-varloop-research,因为Inkling 2 Mini仅支持固定循环次数。该可变循环模型训练循环次数在1到5次之间,已公开发布在Hugging Face上。

初步分析总体发现:循环增强了模型在无需语言表达时能完成的任务,但在目前规模下,未发现推理过程可监控性显著降低。

为了衡量代理环境下的可监控性,TML用LinuxArena这个Agent安全测试环境,专门测智能体隐藏恶意行为、绕过监控的能力。当前Inkling 2 Mini(含可变循环研究版)隐蔽作恶的能力不强,相对容易被监控模型抓到隐藏的恶意任务;作为检测方的Qwen3.8-27B在这项检测任务上表现更强,几乎能识别全部这类隐藏攻击尝试。


如需了解更多技术细节,可参考:
https://thinkingmachines.ai/news/inkling-2-mini/

结语:从堆参数拉向循环推理,27B赛道卷起来了

Inkling 2 Mini把开放权重小模型的竞争焦点,从堆参数拉向循环推理。约20GB内存跑持久Agent,意味着离线隐私场景和多Agent应用门槛进一步下探,循环架构也有望成为可监控性研究的新入口。

27B档模型在很多人眼里是Qwen3.8-27B的天下,后者在多项测试中仍压其一头,Qwen4-27B等后续迭代渐近,竞争只会更卷。TML的差异化在循环架构生态、能效与可解释性;能否把先发研究优势转成开发者粘性,才是关键。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
20TB硬盘直降38%,每GB只要2.75美分

20TB硬盘直降38%,每GB只要2.75美分

硅屿手记
2026-11-21 19:56:08
统一台湾最大阻碍,不是美国,也不是台独,而是中华民国称号

统一台湾最大阻碍,不是美国,也不是台独,而是中华民国称号

聚焦真实瞬间
2026-11-08 05:32:22
俄军绝密文件惊爆!一旦与北约开战,先打中国周边两邻国,太狠了

俄军绝密文件惊爆!一旦与北约开战,先打中国周边两邻国,太狠了

顾秋韵
2026-10-02 10:10:36
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
《GTA6》地图界面遭玩家吐槽:和想象中不一样

《GTA6》地图界面遭玩家吐槽:和想象中不一样

游民星空
2026-11-22 20:07:16
上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

犀利辣椒
2026-11-20 20:08:23
朝阳也有了,别乱捡!专家提醒:这些都有中毒风险!

朝阳也有了,别乱捡!专家提醒:这些都有中毒风险!

家住朝阳
2026-11-21 19:36:50
特朗普:将与伊朗达成一项永久性协议;伊朗总统:经济战远比军事冲突“更为艰难”

特朗普:将与伊朗达成一项永久性协议;伊朗总统:经济战远比军事冲突“更为艰难”

中国网
2026-11-22 10:32:34
黄永胜秘书李必达:两封举报信促使林彪出走,退休后痴迷于书法创作

黄永胜秘书李必达:两封举报信促使林彪出走,退休后痴迷于书法创作

海佑讲史
2026-11-21 17:55:08
曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

嘴角上翘的弧度
2026-11-22 01:51:42
四川一小学公示特级教师推荐名单,全校仅1人,51岁老教师当场愣住

四川一小学公示特级教师推荐名单,全校仅1人,51岁老教师当场愣住

王姐懒人家常菜
2026-11-22 17:19:03
住建部召集八大建筑央企座谈,再提强化工程款支付保障,释放什么信号?

住建部召集八大建筑央企座谈,再提强化工程款支付保障,释放什么信号?

华夏时报
2026-11-21 19:14:02
陈乔恩夫妇台北聚餐,黑白情侣装黏在一起,47岁状态甜过偶像剧

陈乔恩夫妇台北聚餐,黑白情侣装黏在一起,47岁状态甜过偶像剧

尺素a
2026-11-22 14:00:51
张雪又有大动作!推出外卖电摩:10分钟续航100公里 只卖1万元

张雪又有大动作!推出外卖电摩:10分钟续航100公里 只卖1万元

念洲
2026-11-22 17:18:50
向太自曝儿子儿媳同时告状会先接儿媳电话:儿媳嫁过来需要更多帮衬,儿子是自己人,得罪也无妨

向太自曝儿子儿媳同时告状会先接儿媳电话:儿媳嫁过来需要更多帮衬,儿子是自己人,得罪也无妨

韩小娱
2026-11-22 14:04:21
我夜店认识个少妇,37岁,长得特漂亮,她老公从来不管她

我夜店认识个少妇,37岁,长得特漂亮,她老公从来不管她

有态度网友19Dsym
2026-09-28 05:49:56
台股狂跌民进党当局称已护盘,王世坚对内开轰:五块钱怎救千元?

台股狂跌民进党当局称已护盘,王世坚对内开轰:五块钱怎救千元?

海峡导报社
2026-11-22 10:40:05
32分钟50分18板5帽4断,文班亚马赛后点名东契奇詹姆斯

32分钟50分18板5帽4断,文班亚马赛后点名东契奇詹姆斯

快乐加载中21
2026-11-22 19:07:48
叶珂不再隐瞒,自曝生娃细节,分手原因曝光,没给黄晓明留体面

叶珂不再隐瞒,自曝生娃细节,分手原因曝光,没给黄晓明留体面

月光作笺a
2026-11-22 02:16:24
韩国有多强?李在明:全世界能打赢我们的国家,只有4个

韩国有多强?李在明:全世界能打赢我们的国家,只有4个

军机Nova
2026-11-21 00:41:58
2026-11-22 20:44:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12994文章数 117197关注度
往期回顾 全部

数码要闻

三星的内存产能至2029年已几乎全部预订一空 客户正寻求直至2031年的供货协议

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
教育
本地
游戏
亲子

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

无障碍浏览 进入关怀版