网易首页 > 网易号 > 正文 申请入驻

全球第一,智元 WITA-Omni Preview登顶 DailyOmni 全模态理解榜单

0
分享至

全球第一,智元 WITA-Omni Preview登顶 DailyOmni 全模态理解榜单

近日,具身全模态理解权威榜单 DailyOmni 最新评测结果揭晓,智元自研的具身原生全模态大模型 WITA-Omni Preview,凭借领先的音视频联合理解与时序推理能力,以 85.21分综合成绩登顶榜首,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。


DailyOmni是行业公认的检验音视频时序对齐、跨模态联合推理能力的权威第三方榜单。不同于面向图文、短视频的常规评测任务,该榜单大量采用真实开放环境音视频素材,核心考验模型融合视觉画面、环境音频信息,精准识别声画对应关系、事件先后顺序及跨模态语义的综合能力,高度贴合人形机器人在真实物理空间开展人机交互所需的核心感知能力。

何以自然:WITA-Omni独创三层架构,让互动浑然一体

对于人形机器人交互能力来说,以往的全模态模型大多优先适配线上数字内容交互,而机器人身处持续变化的物理空间,不仅需要同步“看见画面、听见声音”,更要实时判断声音归属主体、事件发生顺序,识别交互对象、找准响应时机,传统模块化机器人方案很难完成这类时序耦合的复杂推理任务,也是长久以来人机交互生硬割裂的关键瓶颈。

对具身智能机器人而言,“理解”和“回应”并不是两个割裂的步骤,而是一个持续发生的物理过程。机器人需要一边观察环境、一边接收声音;一边组织语言、一边配合动作和表情。在多人、开放且持续变化的真实环境中,它还必须进一步判断:是否应该回应、什么时候回应,以及正在与谁交互。


WITA-Omni 领先的关键,在于它并不是简单地把聊天模型“装进”机器人,而是将物理动作和表情提升为与语音并列的一级输出,用一个原生端到端模型统一驱动感知、决策与表达,从Thinker–Talker 范式上进一步扩展出面向具身输出的 Thinker–Talker–Actor 架构。

  • Thinker(思考) 是多模态推理核心,把文本、图像、音频、音视频经各自编码器与轻量投影层映射到统一表示空间,做跨模态联合推理和高层交互决策;
  • Talker(说) 以 Thinker 的隐状态为条件,流式生成自然语音;
  • Actor(动) 由动作头与表情头组成,把机器人动作与表情生成为与语音并列的一级输出——这是 WITA-Omni 面向具身场景的关键扩展。


何以领先:大规模数据训练,叠加针对性训练策略

WITA-Omni 的领先并非单纯依靠模型规模,而是来自一套围绕具身全模态交互构建的分层数据体系与针对性训练方法。在中训练阶段,WITA-Omni 使用千万小时级多模态数据,将强文本、视觉底座进一步升级为能够“听得见、看得懂,并进行音画联合推理”的全模态模型。

此外,公开音视频数据通常缺少真实交互中的轮次切换、响应时机、动作和表情信息,难以直接训练端到端具身交互模型。为此,智元构建了以人为中心、面向真实交互场景的大规模高质量全模态数据集,完整保留声音、画面、语言、动作和表情之间天然的时序关系。

在千小时级高质量数据上,WITA-Omni 进一步采用 SFT–OPD–RL 三阶段训练策略:

  • SFT监督微调用于建立基础的全模态理解、交互决策和多流生成能力。
  • OPD同策略蒸馏让同一个模型同时扮演“老师”和“学生”。老师模型在获得额外时间区间、目标对象等特权信息后生成高质量答案,再将能力蒸馏回不依赖特权信息的学生模型,在保持模型自身表达风格的同时,提升音视频上下文中的推理能力。
  • RL强化学习重点优化 Thinker 的交互决策能力。奖励信号覆盖可验证答案、时间区间匹配、目标人物选择、等待或回应决策,以及主动触发准确率,并通过 GRPO 优化模型策略。

由此,模型不仅学会“回答正确”,还进一步学会在真实场景中判断:该不该回应、何时回应,以及回应谁。

何以致远:三智一体不断演进,开启具身智能新未来

本次智元作为专注通用具身智能赛道的企业,在 DailyOmni 中超越多款主流Omni模型,取得榜首位置,证明了WITA-Omni在物理世界视听时序理解任务上具备的独特竞争力。

作为具身智能行业内首个机器人原生端到端多模态交互大模型,WITA-Omni的意义不只是让一个模型支持更多模态,而是让机器人在统一认知状态和统一时间轴上完成感知、决策与表达。它将具身交互从多个模块依次调用的工程流水线,推进为一个能够持续感知、统一判断并同步表达的生成过程:看与听不再割裂,语言与动作不再分离,理解与回应不再是两个独立步骤,让“看、听、说、动”成为一个连续过程,打通了视觉、听觉、语言、表情、肢体动作全模态协同,让机器人不再只是 “会说话的工具”,进化为拥有在场感、人格感的硅基伙伴。这项能力,也是具身智能落地现实场景,创造生产力的关键所在。

依托 WITA-Omni 构筑的交互智能底座,智元将进一步夯实“三智一体”技术架构,与作业智能、运动智能协同联动,持续驱动 “本体-数据-模型-场景” 四维一体飞轮运转,解锁更多商业场景、公共服务、影视展演等广阔场景。面向未来,智元将持续迭代 WITA硅光动语大模型,不断拉近具身智能与人类沟通的距离,加速具身智能新生产力时代的到来!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
皇室内部人士曝查尔斯首席顾问辞职:哈里以为能和解,实则失望

皇室内部人士曝查尔斯首席顾问辞职:哈里以为能和解,实则失望

热搜摘要官
2026-07-30 01:08:48
8.88万起!比亚迪新车正式上市

8.88万起!比亚迪新车正式上市

高科技爱好者
2026-07-28 23:59:15
震惊全网!仙桃电梯打人事件,最让人毛骨悚然的,不是母亲教唆孩子“帮我打她”,是打败之后她还在怒斥孩子

震惊全网!仙桃电梯打人事件,最让人毛骨悚然的,不是母亲教唆孩子“帮我打她”,是打败之后她还在怒斥孩子

火山詩话
2026-07-29 07:10:54
恭喜C罗!世界杯结束仅一周,C罗传来喜讯

恭喜C罗!世界杯结束仅一周,C罗传来喜讯

泥说体育
2026-07-29 23:24:22
美国发话也不行,中方曾正式通告全球:打日本中国具备“正当性”

美国发话也不行,中方曾正式通告全球:打日本中国具备“正当性”

跨服解说家
2026-07-29 05:42:25
和老板聊天的神回复有哪些?网友:老板娘牛逼!

和老板聊天的神回复有哪些?网友:老板娘牛逼!

解读热点事件
2026-07-28 00:05:11
69岁赵本山三亚养老曝光,每日两包烟八两酒,和杨少华一模一样

69岁赵本山三亚养老曝光,每日两包烟八两酒,和杨少华一模一样

手工制作阿歼
2026-07-27 10:27:02
宏远速递!陈老板公布新任命,胡明轩最新消息,黄明依回国续约

宏远速递!陈老板公布新任命,胡明轩最新消息,黄明依回国续约

多特体育说
2026-07-29 22:19:58
布克和新女友近照,合同还剩2.5亿,她40岁了,曾和C罗热恋

布克和新女友近照,合同还剩2.5亿,她40岁了,曾和C罗热恋

大西体育
2026-07-29 11:54:13
快讯!中国 “养出白眼狼“ 了?

快讯!中国 “养出白眼狼“ 了?

故事终将光明磊落
2026-07-29 11:00:02
32岁国足散步帝拒付前妻150万+每月6千抚养费 沦为失信被执行人

32岁国足散步帝拒付前妻150万+每月6千抚养费 沦为失信被执行人

念洲
2026-07-29 14:13:50
天津女子修手机40多张私密照被导出!拒绝和解:报警、起诉、举报

天津女子修手机40多张私密照被导出!拒绝和解:报警、起诉、举报

听心堂
2026-07-29 17:01:47
人民锐评:“王的猜想”击中了坚守的自我

人民锐评:“王的猜想”击中了坚守的自我

极目新闻
2026-07-29 18:58:49
切尔西四年首破规矩,为35岁维尔贝克掏转会费

切尔西四年首破规矩,为35岁维尔贝克掏转会费

元气满分吖
2026-07-30 01:37:30
2026几乎“零差评”的三款2000档手机,建议买前了解下,性价比都很高

2026几乎“零差评”的三款2000档手机,建议买前了解下,性价比都很高

北境不忘
2026-07-28 10:23:29
女人动情后,这三个“失控”的暗示,比说爱你更准

女人动情后,这三个“失控”的暗示,比说爱你更准

娱乐洞察点点
2026-07-13 07:45:56
奥迪Q9正式发布:5.31米车长+2.21米车宽,德系最大SUV来了

奥迪Q9正式发布:5.31米车长+2.21米车宽,德系最大SUV来了

答答买车
2026-07-29 15:15:23
美国一男护士被登山杖刺穿身体,拒绝昂贵的直升机救援,徒步16公里历时6.5小时下山;目前登山杖已被外科医生取出

美国一男护士被登山杖刺穿身体,拒绝昂贵的直升机救援,徒步16公里历时6.5小时下山;目前登山杖已被外科医生取出

大风新闻
2026-07-28 16:25:04
女子考上大学,后妈不让上,舅舅资助5万,9年后舅妈打电话:舅舅治病要40万,借我点。女子:什么借不借的,没有当年5万,就没有现在的我

女子考上大学,后妈不让上,舅舅资助5万,9年后舅妈打电话:舅舅治病要40万,借我点。女子:什么借不借的,没有当年5万,就没有现在的我

背包旅行
2026-07-29 11:26:37
美通缉重犯居然在华东师范大学任教十余年没被发现,就因为长得帅?

美通缉重犯居然在华东师范大学任教十余年没被发现,就因为长得帅?

夏夏回来了
2026-07-27 15:47:59
2026-07-30 02:11:00
前沿在线 incentive-icons
前沿在线
前沿在线官方账号,关注AI、机器人、智能车等前沿领域;
332文章数 1236关注度
往期回顾 全部

科技要闻

Kimi K3火爆,奥特曼:开源一定有一席之地

头条要闻

男女酒后驾车坠河身亡女子家属索赔近200万 法院判了

头条要闻

男女酒后驾车坠河身亡女子家属索赔近200万 法院判了

体育要闻

毫无存在感的NBA状元,最先谢谢惠顾?

娱乐要闻

55岁影帝黄政民出轨

财经要闻

天丝红牛多地检出成分不合格 企业申诉

汽车要闻

MG 07预售12.59万起 高阶版配激光雷达+CDC

态度原创

本地
教育
健康
公开课
军事航空

本地新闻

跟着影视去旅行:八仙篇

教育要闻

最新消息:南京一初中发布招生简章!8月1日报名!

做好这几件事,帮你远离中风!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美以领导人会晤后 伊朗发射多枚导弹突袭驻中东美军

无障碍浏览 进入关怀版