网易首页 > 网易号 > 正文 申请入驻

智元自研的具身原生全模态大模型登顶DailyOmni全模态理解榜单

0
分享至


近日,具身全模态理解权威榜单DailyOmni最新评测结果揭晓,智元自研的具身原生全模态大模型WITA-Omni Preview,凭借领先的音视频联合理解与时序推理能力,以85.21分综合成绩登顶榜首,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。


DailyOmni是行业公认的检验音视频时序对齐、跨模态联合推理能力的权威第三方榜单。不同于面向图文、短视频的常规评测任务,该榜单大量采用真实开放环境音视频素材,核心考验模型融合视觉画面、环境音频信息,精准识别声画对应关系、事件先后顺序及跨模态语义的综合能力,高度贴合人形机器人在真实物理空间开展人机交互所需的核心感知能力。

WITA-Omni Preview作为具身智能行业内首个机器人原生端到端多模态交互大模型,在DailyOmni中超越多款主流Omni模型,取得榜首位置,证明了WITA-Omni在物理世界视听时序理解任务上具备的独特竞争力。

何以自然:WITA-Omni独创三层架构,让互动浑然一体

对于人形机器人交互能力来说,以往的全模态模型大多优先适配线上数字内容交互,而机器人身处持续变化的物理空间,不仅需要同步“看见画面、听见声音”,更要实时判断声音归属主体、事件发生顺序,识别交互对象、找准响应时机,传统模块化机器人方案很难完成这类时序耦合的复杂推理任务,也是长久以来人机交互生硬割裂的关键瓶颈。


对具身智能机器人而言,“理解”和“回应”并不是两个割裂的步骤,而是一个持续发生的物理过程。机器人需要一边观察环境、一边接收声音;一边组织语言、一边配合动作和表情。在多人、开放且持续变化的真实环境中,它还必须进一步判断:是否应该回应、什么时候回应,以及正在与谁交互。

WITA-Omni领先的关键,在于它并不是简单地把聊天模型“装进”机器人,而是将物理动作和表情提升为与语音并列的一级输出,用一个原生端到端模型统一驱动感知、决策与表达,从Thinker–Talker范式上进一步扩展出面向具身输出的Thinker–Talker–Actor架构。

Thinker(思考)是多模态推理核心,把文本、图像、音频、音视频经各自编码器与轻量投影层映射到统一表示空间,做跨模态联合推理和高层交互决策;

Talker(说)以Thinker的隐状态为条件,流式生成自然语音;

Actor(动) 由动作头与表情头组成,把机器人动作与表情生成为与语音并列的一级输出——这是 WITA-Omni 面向具身场景的关键扩展。

何以领先:大规模数据训练,叠加针对性训练策略

WITA-Omni 的领先并非单纯依靠模型规模,而是来自一套围绕具身全模态交互构建的分层数据体系与针对性训练方法。在中训练阶段,WITA-Omni 使用千万小时级多模态数据,将强文本、视觉底座进一步升级为能够“听得见、看得懂,并进行音画联合推理”的全模态模型。

此外,公开音视频数据通常缺少真实交互中的轮次切换、响应时机、动作和表情信息,难以直接训练端到端具身交互模型。为此,智元构建了以人为中心、面向真实交互场景的大规模高质量全模态数据集,完整保留声音、画面、语言、动作和表情之间天然的时序关系。

在千小时级高质量数据上,WITA-Omni进一步采用SFT–OPD–RL三阶段训练策略:

SFT监督微调用于建立基础的全模态理解、交互决策和多流生成能力。

OPD同策略蒸馏让同一个模型同时扮演“老师”和“学生”。老师模型在获得额外时间区间、目标对象等特权信息后生成高质量答案,再将能力蒸馏回不依赖特权信息的学生模型,在保持模型自身表达风格的同时,提升音视频上下文中的推理能力。

RL强化学习重点优化 Thinker 的交互决策能力。奖励信号覆盖可验证答案、时间区间匹配、目标人物选择、等待或回应决策,以及主动触发准确率,并通过 GRPO 优化模型策略。

由此,模型不仅学会“回答正确”,还进一步学会在真实场景中判断:该不该回应、何时回应,以及回应谁。

何以致远:三智一体不断演进,开启具身智能新未来

智元表示,WITA-Omni的意义不只是让一个模型支持更多模态,而是让机器人在统一认知状态和统一时间轴上完成感知、决策与表达。它将具身交互从多个模块依次调用的工程流水线,推进为一个能够持续感知、统一判断并同步表达的生成过程:看与听不再割裂,语言与动作不再分离,理解与回应不再是两个独立步骤,让“看、听、说、动”成为一个连续过程,打通了视觉、听觉、语言、表情、肢体动作全模态协同,让机器人不再只是 “会说话的工具”,进化为拥有在场感、人格感的硅基伙伴。这项能力,也是具身智能落地现实场景,创造生产力的关键所在。

依托WITA-Omni构筑的交互智能底座,智元将进一步夯实“三智一体”技术架构,与作业智能、运动智能协同联动,持续驱动 “本体-数据-模型-场景” 四维一体飞轮运转,解锁更多商业场景、公共服务、影视展演等广阔场景。面向未来,智元将持续迭代 WITA硅光动语大模型,不断拉近具身智能与人类沟通的距离,加速具身智能新生产力时代的到来。

原标题:《智元自研的具身原生全模态大模型登顶DailyOmni全模态理解榜单》

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊朗武装部队:凡是接受美方提议并以此为由动用伊朗被冻结资产者,即日起伊朗武装部队将一律禁止其任何船只通过霍尔木兹海峡

伊朗武装部队:凡是接受美方提议并以此为由动用伊朗被冻结资产者,即日起伊朗武装部队将一律禁止其任何船只通过霍尔木兹海峡

鲁中晨报
2026-07-29 14:28:04
谢贤会喜欢Coco,不是因为标准审美,而是她年轻、单纯、可爱,还能真正玩到一起

谢贤会喜欢Coco,不是因为标准审美,而是她年轻、单纯、可爱,还能真正玩到一起

手工制作阿歼
2026-07-31 01:07:31
2元买走了8亿?多名公职人员被查!衡水中学背后真相浮出水面!

2元买走了8亿?多名公职人员被查!衡水中学背后真相浮出水面!

社会日日鲜
2026-07-29 10:09:44
梦鸽李天一赴美不归?看到85岁李双江“现状”,原来杨洪基没说谎

梦鸽李天一赴美不归?看到85岁李双江“现状”,原来杨洪基没说谎

阿纂看事
2024-11-05 11:54:58
动养老金救日元升值,高市早苗这是不要命了?日本人不得和她拼了

动养老金救日元升值,高市早苗这是不要命了?日本人不得和她拼了

施涛说
2026-07-30 18:00:03
别买!网购服用后,一35岁男子死亡!深圳也有人被抢救数日!央视曝光“养生神药”惊人内幕,当地连夜通报

别买!网购服用后,一35岁男子死亡!深圳也有人被抢救数日!央视曝光“养生神药”惊人内幕,当地连夜通报

南方都市报
2026-07-27 12:24:16
游客怒打一星差评“最差水族馆”,这家博物馆却把差评印成T恤销量暴增250%

游客怒打一星差评“最差水族馆”,这家博物馆却把差评印成T恤销量暴增250%

算力游侠
2026-07-30 21:05:24
在岸人民币兑美元较周三夜盘收盘涨102点

在岸人民币兑美元较周三夜盘收盘涨102点

财联社
2026-07-31 03:41:02
美军连炸9天,全面大战即将打响,伊朗突发政变?穆杰塔巴先跑了

美军连炸9天,全面大战即将打响,伊朗突发政变?穆杰塔巴先跑了

影孖看世界
2026-07-20 17:48:07
秦海璐变卖房产,清空全部资产,凑出近亿身家,绝境兜底救下刘涛

秦海璐变卖房产,清空全部资产,凑出近亿身家,绝境兜底救下刘涛

秋别离
2026-06-13 15:50:00
《兵自风中来》太解气,江胜强替郭子剑出头,刘望远成最大笑柄

《兵自风中来》太解气,江胜强替郭子剑出头,刘望远成最大笑柄

可乐谈情感
2026-07-31 03:15:27
五眼联盟傻眼:准备了 30 年的海底光缆窃听器,被中国一块芯片废

五眼联盟傻眼:准备了 30 年的海底光缆窃听器,被中国一块芯片废

铜臭的历史味
2026-07-30 04:36:45
女子买排骨拒绝剁肉被逼退钱,摊主把戏被当场戳穿

女子买排骨拒绝剁肉被逼退钱,摊主把戏被当场戳穿

叮当当科技
2026-07-31 05:55:53
成都锦城学院2026年在川本科批次投档线创新高 生源质量持续提升

成都锦城学院2026年在川本科批次投档线创新高 生源质量持续提升

成都锦城学院
2026-07-31 01:30:05
美记:勇士决定不交易巴特勒得到浓眉 因其伤病史和续约诉求

美记:勇士决定不交易巴特勒得到浓眉 因其伤病史和续约诉求

北青网-北京青年报
2026-07-30 10:03:03
终于知道苹果直营店的员工每天都很有活力的原因了,网友:门槛高

终于知道苹果直营店的员工每天都很有活力的原因了,网友:门槛高

另子维爱读史
2026-05-23 08:00:45
黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

汉史趣闻
2025-06-24 10:07:59
不接受一国两制?20万岛内武装放下武器,明确台湾的最终结局?

不接受一国两制?20万岛内武装放下武器,明确台湾的最终结局?

梁岱爱玩车
2026-07-29 18:13:51
专家解读:霍尔木兹海峡通行权成为美伊核心分歧

专家解读:霍尔木兹海峡通行权成为美伊核心分歧

新华社
2026-07-20 15:08:06
“缘分太神奇了!”女兵翻出39年前和老连长的合照发网上寻人,没想到真找到了!见面后一张新合影看哭全网

“缘分太神奇了!”女兵翻出39年前和老连长的合照发网上寻人,没想到真找到了!见面后一张新合影看哭全网

一丝不苟的法律人
2026-07-28 12:50:06
2026-07-31 07:15:00
上观新闻 incentive-icons
上观新闻
站上海,观天下
517345文章数 763178关注度
往期回顾 全部

科技要闻

小米澎程N90 Max预售价29.99万

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

周星驰用态度打破快餐式宣发

财经要闻

中共中央政治局:提升资本市场韧性和信心

汽车要闻

FREELANDER神行者8下线 8月10日开启预售/海外版同步推进

态度原创

本地
健康
艺术
公开课
军事航空

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

最近总忘事,我是要中风了吗?

艺术要闻

她眼里藏着一整片海,看一眼就让人溺死:摄影大师镜头下的"迷离",是这世上最贵的奢侈品

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国一液化天然气船遭袭 特朗普放狠话考虑“升级”

无障碍浏览 进入关怀版