网易首页 > 网易号 > 正文 申请入驻

9B 模型“平替”GPT-4o ?!面壁赌对OpenClaw端侧AI,内部上演一人月产65万行代码的效率核爆

0
分享至


作者 | 褚杏娟

2023 年,在百模大战正激烈的时候,面壁智能突然转向端侧大模型,这一战略决策受到了外界不少质疑,直到次年苹果的入局才让市场相信他们的判断。3 年后,面壁的打法和认知更为坚定和清晰,并火力全开:发布首个可以“即时自由对话”的大模型、年中发布首款 AI 硬件松果派(Pinea Pi)以支持硬件场景的全栈开发。

首次手搓全双工全模态模型

2 月 4 日,面壁正式发布并开源了新一代全模态旗舰模型 MiniCPM-o 4.5。作为原生全双工的全模态大模型,MiniCPM-o 4.5 新引入了一种端到端的“边看、边听、主动说”的全模态能力:模型可以进行即时、自由的对话交互,弱化了传统对话中“一问一答”的轮次概念,而是允许模型根据语义和场景,自主判断是否发起对话。

直接看具体效果:

上述展示中模型一直在观察,且没有涉及复杂的调度

“全模态能力是 AI 进入人类物理世界所必备的一项基础能力。这一次的全模态模型,最大的特色在于高度拟人、自然的交互方式,也就是说,看、听、说是并行发生、互不阻塞,不再采用过去那种回合制交互。这在技术上是一次非常重要的跨越,也是未来 AI 真正进入物理世界所必须具备的基本能力。”面壁智能联合创始人兼首席科学家刘知远说道。

清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远,主要负责 MiniCPM-o 4.5 的研发。他介绍,该模型主要依赖两项核心创新:一是全双工机制,多模态输入和输出彼此不阻塞,模型可以持续感知外界的视频和音频流,同时进行语音或文本输出,不会因“正在说话”暂停对外界的感知;二是全模态的自主交互机制,模型会持续判断当前语义是否已经成熟,是否达到了适合触发自身输出的时机。

他坦言,目前市面上大多是将图像模型、语音模型,甚至 instruct 模型和 thinking 模型拆分为不同的模型分别训练。面壁这次尝试将所有能力统一训练到一个模型中,面临了不小的挑战。

首先就是多维度一起训练,整体难度会急剧上升,再加上端到端的多模态训练,本身就会显著增加系统负担;其次 9B 参数规模下,要在语音、全模态交互以及视觉能力等方面取得不错效果,就要对模型如何学习和吸收知识有更深入的理解,能够更精细地把握模型在不同训练阶段的学习动态,避免新引入的知识与已有能力之间产生冲突。这期间,技术团队克服了大量困难。

最后,团队能够在多模态训练过程中较好地保持文本能力,instruct 能力没有明显损失,甚至实现小幅提升。此外,模型通过更低的显存占用、更快的响应速度,确保在提供 SOTA 级全模态表现的同时,实现了最佳的推理效率和最低的推理开销。


Github:https://github.com/OpenBMB/MiniCPM-o

Hugging Face: https://huggingface.co/openbmb/MiniCPM-o-4_5

体验链接:https://minicpm-omni.openbmb.cn/

目前,模型记忆大概在一分钟左右,也模型推理的最佳“舒适区”。姚远表示,Infra 层虽然可以支持更长时间的训练和推理,但如果模型未来要承担更长期、甚至接近全天候陪伴式的使用形态,就必然要在方法和机制上做更多创新。

端侧对低延时要求非常高。这次,模型侧的低延迟优化主要来自两点:首先,在全双工状态下,模型不再依赖外部的微型工具或小模型来判断“什么时候开始推理”,传统逻辑里需要固定等待的时间被去掉,模型可以直接基于语义判断无缝生成回应。其次,现在不少方案会把语音 token 直接放进一个大模型里统一生成,这会带来非常沉重的计算开销。面壁技术团队采用的方式是,一个大的主干模型加一个轻量级语音生成模块,在保证效率的同时,两者通过稠密的隐藏层连接,把主 token 与各个头部 token 紧密关联起来,因此实现控制能力不受影响。


而使用侧的系统层面,则依赖于高效的推理框架 llama.cpp-omni 和低延迟的交互系统。

姚远指出,多模态数据本身并不是最大的问题。预训练阶段“数据燃料耗尽”主要指文本数据;而在多模态领域,当前的挖掘程度远远不够,甚至都还没有真正找到一种非常有效的方式系统利用这些数据。而全双工、全模态的自主交互机制,可能正是未来新的学习与增长方式。

当前,如何在不牺牲单任务性能的前提下,实现统一建模、高效泛化以及理解生成一体化,是当前业内积极探索的研究方向,如今面壁也迈出了自己的关键一步。

让开发者回答,AI 硬件该是什么样

端侧领域,除了开发端原生的模型,与芯片厂商的合作也越来越重要。

一方面,芯片厂商非常希望从前沿端侧模型的公司,获取未来训练模型的规划和展望,这有助于设计新的芯片;另一方面,模型公司在设计和训练新模型时,也希望能够提前了解芯片的特性,说明需要的算子类型和架构特点,以确保训练出的模型在这些芯片上运行时效率最高。

面壁如今就在成为连接芯片厂商和终端厂商的重要媒介,而且还要连接更多的开发者:今年面壁发力的重点之一便是开发者生态。

25 年上半年,面壁投资人在深圳调研发现,在深圳做 AI 硬件的项目,凡涉及端侧模型的,超过一半以上都在使用 MiniCPM。这是面壁今年开始建设开发者生态、提供硬件的根本原因。

面壁智能联合创始人兼 COO 雷升涛解释,单纯依靠商业化,把 MiniCPM 部署到数百亿台设备上会比较困难,而通过生态建设可以让开发者一起参与推动。生态的优势在于自然生长,只要有好的基础,它就会衍生出许多依赖性的、难以想象的应用。对于“应该能开发出哪些硬件”的问题,面壁没有设定特别明确的规划或期待,而是把答案留给了开发者。

面壁践行这一策略的首个举措就是发布松果派:一款 AI 原生 (AI Native) 的端侧智能开发板。

这背后的逻辑是:推广语言模型相对容易,但当模态增加、要在设备上运行、进行微调、完成对齐后再开发应用,难度就显著提升,这部分难度需要依靠工具和软硬件来解决,承载这部分功能的就是松果派。未来面壁模型发布时,就会针对指定硬件进行优化,减少用户在适配上消耗的大量精力。


松果派构建了一套软硬一体、全栈覆盖的端侧 AI 软件体系。其基于 NVIDIA Jetson 系列模组打造,内置麦克风、摄像头、丰富的接口等多模态硬件组件,以便开发者高效开发和调用。

松果派计划在年中正式量产上市,但它今年不会承担面壁特别强的商业化诉求,更多是承担市场教育作用:让更多的人能更快体验模型能力,并在各类场景中应用起来。打通端侧模型到应用的最后一公里硬件、实现对用户痛点的覆盖,就是面壁今年的目标。

面壁目前并未透露具体价格,但肯定地表示不会以盈利为主要目的。最初版本选择了在全球范围内相对成熟的方案,接下来会陆续推出相应的国产化版本以及不同算力的版本,并根据开发者反馈进行规划和调整。

这次松果派的硬件本身是由合作伙伴完全设计,面壁主要将其整合应用。面壁智能联合创始人兼 CEO 李大海强调,面壁最重要的是做端侧原生,聚焦端侧模型研发。“端侧模型的商业化落地,本身既是对我们模型能力的验证,也是为端侧模型建立数据飞轮,形成完整的闭环。从核心来看,我们的工作一直很专注。在过去,虽然出现了许多看似有吸引力的机会,但我们始终坚持取舍,最终选择聚焦在端侧模型这件事情上。”

如何从各种竞争中突围?

面壁的核心理念是大模型“知识密度定律(Densing Law)”,即大模型的知识密度大约每 100 天提升一倍。这引发了一个重要推论:大模型的保鲜期非常短。换句话说,任何一家大模型公司都必须持续不断地推出优秀的大模型。回顾国内外所有模型厂商,没有任何例外。

“如果一个厂商只能在某一个时间点推出一个模型,那么它实际上无法在行业前沿持续存在;半年、一年之后,用户很可能就会忘记这个模型。因此,关键不在于推出单一优秀模型,而在于能够持续不断地推出优秀模型。”李大海说道,“面壁的目标是打造一个能够持续训练出高知识密度大模型的系统。这才是我们认为最重要的产品、技术层面的核心。”

雷升涛补充道,在模型之外,把底层的 Infra 模型跑到极致也是延长模型领先时间的关键,毕竟端侧的算力很小、内存有限,各种约束都非常严苛,要做好是非常困难的。另外,产品化能力也非常关键。现在单靠模型领先已经无法持续保持竞争优势,需要通过底层基础设施、产品设计、品牌建设以及模型能力的结合,来更大程度地延长模型的“保鲜期”。

虽然面壁正在同步将商业优势、生态优势、品牌优势等单一优势转化为综合性优势,但作为创业公司,如何避免被大厂围剿仍是一个现实问题,李大海对此较为乐观。

他解释道,大厂不会放弃通用且规模巨大的市场,因此竞争激烈。相比之下,端侧是另一个重要方向。“端侧包含非常多不同的终端,每个终端面向的应用场景各不相同,因此它不是一个统一的市场,创业公司有更多机会去切入不同细分领域,而不需要像大厂那样争夺整个市场。”背后的逻辑是:端侧市场分散且长尾,同时存在许多高价值的应用场景,这正是创业公司在初期更适合重点攻克的领域。

此外,终端本身就是高度差异化的,涵盖了各种各样的类型。刘知远强调,面壁关注的是终端发展的核心需求:高效,即用尽可能少的参数实现尽可能强的能力。“从商业角度来看,面壁不会去和很多厂商打阵地战,这种做法在创业阶段并不聪明。这是一个蓝海市场,没有必要在这方面过多纠结。”

李大海也补充称,即使是在同一个领域内,要解决的客户或用户问题也是非常多样化的。同一个领域并不意味着大家一定是你死我活的竞争关系。尤其端侧市场,覆盖了非常多应用场景,能够容纳很多创业公司,让大家都有良好的发展空间。

内部的“一人公司”趋势

另外,一个值得关注的现象是,面壁内部也逐渐出现了“one person company(一人公司)”趋势。

面壁内部过去十个月一直在推动全公司的 AI 原生计划。不到两百人的团队,在十个月内写了 2000 万行代码。如果按传统方式手写,这些大概需要 700 人才能完成。

其中,团队中最核心、最重度投入的一位员工,一个月就写了 65 万行代码,他把核心系统接入 AI,并重构了一遍。“未来的企业,尤其是 AI 企业,一定会是高度 AI 赋能的,也就是我们所说的 AI Native 模式。”刘知远说道。

小团队甚至个人都可以完成过去需要团队数月才能完成的工作,这是一个非常明显的发展趋势。面壁目前就在朝这个方向发展,这种模式和以往的大公司有很大的不同。

雷升涛解释,面壁内部对“AI Native”的定义包括两个方面:第一,接到任务后,第一反应是能否用 AI 来完成;第二,如果任务原本人来完成的,那么用 AI 完成后,能否做得更好。他表示,AI 已经渗透到面壁业务的各个层面,它不仅被广泛使用,还深刻地影响了大家的思维方式、工作模式乃至协作方式。

这也反映在了面壁招人的具体要求中。李大海表示,面壁一直希望能够吸引 AI 原生的人才,即在思考和解决任何问题时,都能够将 AI 能力视作自身的内在工具去应用。这背后反映的,是人才是否具备发现问题和提出问题的能力,这一点在如今时代尤为重要。同时,他们还需要能够利用 AI 快速解决问题,并具备足够强的判断能力,去评估工具产出的结果是否高质量。

“一个公司的核心竞争力,很大程度上取决于人才的密度和质量。换句话说,所谓 AI 原生,不只是态度上愿意使用 AI,更重要的是通过这个过程展现出个人的综合能力。”李大海说道。

走向 AGI 的两条发展主线

对于未来端侧智能的发展,面壁形成了一个明确判断:端侧与云端的协同,将成为未来长期存在的主流形态。

无论是豆包手机、具身智能,还是引发广泛关注的 OpenClaw,这些爆火的案例都在验证一个趋势:智能终端正在成为大模型能力向用户延伸的重要载体。刘知远认为,这些探索共同指向一个核心愿景:大模型将越来越贴近用户。

但从现实情况来看,大部分产品目前仍主要依赖云端模型运行,由此带来了反馈延迟、隐私保护和安全性等一系列问题。因此,这一方向虽然正确但还不成熟,它只是这场大戏的序幕,甚至连序幕的开端可能都刚刚开始。

面壁判断,随着模型逐步进入物理世界,尤其是在对实时性要求极高的任务中,端侧模型将不可或缺。在本地即时处理大量数据、快速做出响应,是端侧模型的核心价值所在,这也是端云协同中,端侧不可替代的意义。

从具体终端形态来看,李大海指出,手机在大模型应用上仍有巨大的拓展空间。目前的探索更多集中在“输出”侧能力,但同样重要的还有“输入”侧。如果手机能够直接感知并理解现实环境,就可以更自然地与用户共享上下文,实现更贴近人类认知方式的交互。但这也意味着更高的技术与工程挑战:在资源受限的终端上实现复杂感知与理解能力,需要更长时间的打磨与更精细的系统优化。

而在另一个同样火热的具身智能领域,行业面临的核心挑战依然是模型的通用性与泛化能力,即能否让同一模型稳定运行在不同类型的本体之上。多模态大模型被普遍视为突破这一瓶颈的关键,为跨场景、跨本体的适应能力提供基础支撑。

在刘知远看来,多模态乃至全模态能力,正是未来多智能体体系的基础。未来将存在大量分布在不同环境中的智能终端,每个终端的感知条件、背景信息各不相同,正是这种差异性,使得终端之间的协同成为必然选择。

他解释道,从结构上看,一个智能体至少可以抽象为三个核心要素:输入 x、输出 y 和模型 m。输入天然是全模态的,人类正是通过多模态感知世界;模型负责思考、推理与决策;输出则作用于物理世界,完成各种具体行为。未来智能体能力的演进,正是围绕这三个要素不断强化与耦合,最终实现真正面向物理世界的智能行动。

在更宏观的层面,刘知远将通用人工智能的发展总结为两条主线:一是智能能力持续增强,二是智能的实现与使用不断变得高效。面壁未来的技术突破,也将围绕这两个方向同步推进。

他进一步判断,在接下来一到两年内,模型的专业能力和与现实世界交互的能力将快速提升,作为智能体,模型将逐步具备更强的自主学习与自我成长能力;当模型能够在特定领域中自主探索与进化后,多智能体协同将成为下一阶段的重要突破,不同智能体将像人类团队一样高效协作,完成单一个体难以完成的复杂任务;更长远来看,模型还将逐步展现出创新与创造能力。

与此同时,智能终端本身也将随之发生变化。“一旦终端侧模型具备自主学习与协同能力,就会形成一个关键基点:每个人都将拥有一个持续成长、越来越懂自己的大模型助手。未来三到五年,这一愿景很可能成为现实。”刘知远说道。

声明:本文为 AI 前线整理,不代表平台观点,未经许可禁止转载。

会议推荐

InfoQ 2026 全年会议规划已上线!从 AI Infra 到 Agentic AI,从 AI 工程化到产业落地,从技术前沿到行业应用,全面覆盖 AI 与软件开发核心赛道!集结全球技术先锋,拆解真实生产案例、深挖技术与产业落地痛点,探索前沿领域、聚焦产业赋能,获取实战落地方案与前瞻产业洞察,高效实现技术价值转化。把握行业变革关键节点,抢占 2026 智能升级发展先机!

今日荐文


你也「在看」吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你见过最无用的节俭行为是什么?看完网友分享:CPU都干烧了!

你见过最无用的节俭行为是什么?看完网友分享:CPU都干烧了!

夜深爱杂谈
2026-02-03 21:51:33
自卫队写入日本宪法,会产生怎样的影响?

自卫队写入日本宪法,会产生怎样的影响?

新民周刊
2026-02-05 08:59:46
美智库曾给出结论:和中国开战的话,战争或将在一个月内结束?

美智库曾给出结论:和中国开战的话,战争或将在一个月内结束?

阿鰤科普记录
2026-02-04 22:58:45
1月汽车销量惨淡:比亚迪降幅50%,零跑跌至47%!购置税重启成重创

1月汽车销量惨淡:比亚迪降幅50%,零跑跌至47%!购置税重启成重创

户外小阿隋
2026-02-05 01:40:08
林开钦:中共福建省委原副书记、省政协原副主席

林开钦:中共福建省委原副书记、省政协原副主席

爱意随风起呀
2026-02-05 18:31:24
一颗螺丝钉都不留!巴拿马强收中企港口,港澳办的警告是最后机会

一颗螺丝钉都不留!巴拿马强收中企港口,港澳办的警告是最后机会

吃货的分享
2026-02-06 01:04:11
李亚鹏找到医院新址,直播眼里泛泪,房东心态崩了,只求过个好年

李亚鹏找到医院新址,直播眼里泛泪,房东心态崩了,只求过个好年

子芫伴你成长
2026-01-25 08:10:03
欧文:阿森纳绝对有能力赢得联赛杯,但欧冠和足总杯会很艰难

欧文:阿森纳绝对有能力赢得联赛杯,但欧冠和足总杯会很艰难

懂球帝
2026-02-05 15:37:11
关羽单挑黄忠,表面不分胜负,其实胜负早分!赵云深以为然

关羽单挑黄忠,表面不分胜负,其实胜负早分!赵云深以为然

王一晓
2026-02-04 18:31:04
黄金接连重挫,牛市到底是终结还是倒车接人?

黄金接连重挫,牛市到底是终结还是倒车接人?

前沿天地
2026-02-06 02:31:32
四川成都一佳人好漂亮,身高168cm,体重47kg 美的让人移不开眼

四川成都一佳人好漂亮,身高168cm,体重47kg 美的让人移不开眼

东方不败然多多
2026-01-07 10:20:04
卡纳瓦罗造访巴西足协并与安切洛蒂合影,他正在巴西推广香水

卡纳瓦罗造访巴西足协并与安切洛蒂合影,他正在巴西推广香水

懂球帝
2026-02-05 11:25:09
三赢交易!西媒曝拉什福德达成2条件可留巴萨,3大优势打动弗里克

三赢交易!西媒曝拉什福德达成2条件可留巴萨,3大优势打动弗里克

夏侯看英超
2026-02-06 02:10:31
目的达到了!乌克兰正式宣布!

目的达到了!乌克兰正式宣布!

达文西看世界
2026-02-05 09:07:22
泪别陈若琳!3年金牌师徒突然拆伙,全红婵下一步令人揪心

泪别陈若琳!3年金牌师徒突然拆伙,全红婵下一步令人揪心

卿子书
2026-02-02 15:00:25
哈尔滨冰雪大世界部分冰雕热到滴水,一周后当地还将升温超10℃,工作人员:不会再补冰,闭园时间待定

哈尔滨冰雪大世界部分冰雕热到滴水,一周后当地还将升温超10℃,工作人员:不会再补冰,闭园时间待定

极目新闻
2026-02-05 17:56:17
女主劲爆身材在中国台湾大火 游戏作者直呼"太懂艺术"

女主劲爆身材在中国台湾大火 游戏作者直呼"太懂艺术"

游民星空
2026-02-04 16:28:33
湖北武汉两女子花31万元买下238件金饰,柜员:她们奖励给员工,已持续七八年

湖北武汉两女子花31万元买下238件金饰,柜员:她们奖励给员工,已持续七八年

台州交通广播
2026-02-05 21:16:16
恩爱23年敌不过现实,73岁梁锦松衰老憔悴,47岁伏明霞仍貌美如花

恩爱23年敌不过现实,73岁梁锦松衰老憔悴,47岁伏明霞仍貌美如花

情感大头说说
2026-02-06 01:52:17
藏不住了!陈建斌自爆当年分手内幕,难怪吴越至今不婚不育

藏不住了!陈建斌自爆当年分手内幕,难怪吴越至今不婚不育

车窗起雾q
2026-01-18 02:26:34
2026-02-06 03:48:49
AI前线 incentive-icons
AI前线
面向AI爱好者、开发者和科学家,提供AI领域技术资讯。
1293文章数 114关注度
往期回顾 全部

科技要闻

美团买下叮咚买菜,防御还是进击?

头条要闻

与爱泼斯坦共舞嬉笑的神秘红衣女子身份披露

头条要闻

与爱泼斯坦共舞嬉笑的神秘红衣女子身份披露

体育要闻

奇才:我学生……独行侠:成交!

娱乐要闻

微博之夜卷入座位风波!杨幂超话沦陷

财经要闻

中美"只会有好消息" 经济冷暖看房价

汽车要闻

李想为全新L9预热 all in AI造更好的车

态度原创

本地
时尚
教育
游戏
公开课

本地新闻

围观了北京第一届黑色羽绒服大赛,我笑疯了

她随手打赏就是6两黄金:人美,心善,钱多!

教育要闻

徐汇中学校长:取消中高考是早晚的事,网友:普通的孩子怎么办

《无主之地4》现已通过Steam Deck验证

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版