网易首页 > 网易号 > 正文 申请入驻

打破人机交互“割裂”魔咒,智元自研的具身原生全模态大模型登顶DailyOmni全模态理解榜单

0
分享至

近日,具身全模态理解权威榜单DailyOmni最新评测结果揭晓,智元自研的具身原生全模态大模型WITA-Omni Preview,凭借领先的音视频联合理解与时序推理能力,以85.21分综合成绩登顶榜首,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。

据了解,DailyOmni是行业公认的检验音视频时序对齐、跨模态联合推理能力的权威第三方榜单。

不同于面向图文、短视频的常规评测任务,该榜单大量采用真实开放环境音视频素材,核心考验模型融合视觉画面、环境音频信息,精准识别声画对应关系、事件先后顺序及跨模态语义的综合能力,高度贴合人形机器人在真实物理空间开展人机交互所需的核心感知能力。


WITA-Omni独创三层架构,让互动浑然一体

对于人形机器人交互能力来说,以往的全模态模型大多优先适配线上数字内容交互,而机器人身处持续变化的物理空间,不仅需要同步“看见画面、听见声音”,更要实时判断声音归属主体、事件发生顺序,识别交互对象、找准响应时机,传统模块化机器人方案很难完成这类时序耦合的复杂推理任务,也是长久以来人机交互生硬割裂的关键瓶颈。

对具身智能机器人而言,“理解”和“回应”并不是两个割裂的步骤,而是一个持续发生的物理过程。机器人需要一边观察环境、一边接收声音;一边组织语言、一边配合动作和表情。在多人、开放且持续变化的真实环境中,它还必须进一步判断:是否应该回应、什么时候回应,以及正在与谁交互。

WITA-Omni领先的关键,在于它并不是简单地把聊天模型“装进”机器人,而是将物理动作和表情提升为与语音并列的一级输出,用一个原生端到端模型统一驱动感知、决策与表达,从Thinker–Talker范式上进一步扩展出面向具身输出的Thinker–Talker–Actor架构。



Thinker(思考) 是多模态推理核心,把文本、图像、音频、音视频经各自编码器与轻量投影层映射到统一表示空间,做跨模态联合推理和高层交互决策。

Talker(说)以Thinker的隐状态为条件,流式生成自然语音。

Actor(动)由动作头与表情头组成,把机器人动作与表情生成为与语音并列的一级输出——这是WITA-Omni面向具身场景的关键扩展。

大规模数据训练,叠加针对性训练策略

WITA-Omni的领先并非单纯依靠模型规模,而是来自一套围绕具身全模态交互构建的分层数据体系与针对性训练方法。在中训练阶段,WITA-Omni使用千万小时级多模态数据,将强文本、视觉底座进一步升级为能够“听得见、看得懂,并进行音画联合推理”的全模态模型。

此外,公开音视频数据通常缺少真实交互中的轮次切换、响应时机、动作和表情信息,难以直接训练端到端具身交互模型。

为此,智元构建了以人为中心、面向真实交互场景的大规模高质量全模态数据集,完整保留声音、画面、语言、动作和表情之间天然的时序关系。

在千小时级高质量数据上,WITA-Omni进一步采用SFT–OPD–RL三阶段训练策略:

SFT监督微调用于建立基础的全模态理解、交互决策和多流生成能力。

OPD同策略蒸馏让同一个模型同时扮演“老师”和“学生”。老师模型在获得额外时间区间、目标对象等特权信息后生成高质量答案,再将能力蒸馏回不依赖特权信息的学生模型,在保持模型自身表达风格的同时,提升音视频上下文中的推理能力。

RL强化学习重点优化Thinker的交互决策能力。奖励信号覆盖可验证答案、时间区间匹配、目标人物选择、等待或回应决策,以及主动触发准确率,并通过GRPO优化模型策略。

由此,模型不仅学会“回答正确”,还进一步学会在真实场景中判断:该不该回应、何时回应,以及回应谁。


三智一体不断演进,开启具身智能新未来

本次智元作为专注通用具身智能赛道的企业,在DailyOmni中超越多款主流Omni模型,取得榜首位置,证明了WITA-Omni在物理世界视听时序理解任务上具备的独特竞争力。

作为具身智能行业内首个机器人原生端到端多模态交互大模型,WITA-Omni的意义不只是让一个模型支持更多模态,而是让机器人在统一认知状态和统一时间轴上完成感知、决策与表达。

它将具身交互从多个模块依次调用的工程流水线,推进为一个能够持续感知、统一判断并同步表达的生成过程:看与听不再割裂,语言与动作不再分离,理解与回应不再是两个独立步骤,让“看、听、说、动”成为一个连续过程,打通了视觉、听觉、语言、表情、肢体动作全模态协同,让机器人不再只是 “会说话的工具”,进化为拥有在场感、人格感的硅基伙伴。这项能力,也是具身智能落地现实场景,创造生产力的关键所在。

依托WITA-Omni构筑的交互智能底座,智元将进一步夯实“三智一体”技术架构,与作业智能、运动智能协同联动,持续驱动 “本体-数据-模型-场景” 四维一体飞轮运转,解锁更多商业场景、公共服务、影视展演等广阔场景。

面向未来,智元将持续迭代WITA硅光动语大模型,不断拉近具身智能与人类沟通的距离,加速具身智能新生产力时代的到来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
兑现诺言,库库雷利亚把德拉富恩特的脸纹在了手臂上

兑现诺言,库库雷利亚把德拉富恩特的脸纹在了手臂上

懂球帝
2026-07-28 23:12:38
人到45岁会是一种什么感觉?网友:看完眼泪止不住的流!

人到45岁会是一种什么感觉?网友:看完眼泪止不住的流!

另子维爱读史
2026-07-17 19:49:39
博主双倍薪资请陌生阿姨做饭,孩子因抑郁症已去世,她把博主当儿子;网友和企业感动之余纷纷捐款捐物

博主双倍薪资请陌生阿姨做饭,孩子因抑郁症已去世,她把博主当儿子;网友和企业感动之余纷纷捐款捐物

潇湘晨报
2026-07-28 14:56:09
上海当家花旦与前国脚分手,现与十岁女儿如朋友相处

上海当家花旦与前国脚分手,现与十岁女儿如朋友相处

绚丽的画卷
2026-07-29 01:34:57
争议!董路自称得罪江苏足协主席遭排挤 真相曝光 网友:制造对立

争议!董路自称得罪江苏足协主席遭排挤 真相曝光 网友:制造对立

念洲
2026-07-28 14:05:25
516亿!SK海力士盘后再出利空!科技趋势结束还是倒车接人?

516亿!SK海力士盘后再出利空!科技趋势结束还是倒车接人?

风风顺
2026-07-29 03:10:03
一张图看懂携程有多可怕!

一张图看懂携程有多可怕!

皮蛋儿电影
2026-07-27 11:23:56
女儿高考408分,父亲表情落寞,女儿却淡定一笑:上个二本没问题

女儿高考408分,父亲表情落寞,女儿却淡定一笑:上个二本没问题

五元讲堂
2025-06-16 16:14:48
北京人集体出逃荣成,这哪是养老?

北京人集体出逃荣成,这哪是养老?

普陀动物世界
2026-07-29 01:32:51
300万亿天量货币!企业没钱、居民不消费,市场的钱到底去哪了?

300万亿天量货币!企业没钱、居民不消费,市场的钱到底去哪了?

流苏晚晴
2026-07-28 20:14:35
“西游群英荟”户外直播间火爆出圈,其他主播从各地赶来驻扎片场,有人称做直播三年,现在是最火的时候

“西游群英荟”户外直播间火爆出圈,其他主播从各地赶来驻扎片场,有人称做直播三年,现在是最火的时候

极目新闻
2026-07-28 19:06:07
影响世界的十大交通发明 1.英国红绿灯 2.英国斑马线 3.法国地铁

影响世界的十大交通发明 1.英国红绿灯 2.英国斑马线 3.法国地铁

林子说事
2026-07-26 12:17:04
NBA球星开怼纽约市长:别假装总统,“摆拍成了职业,空话替代一生事业”

NBA球星开怼纽约市长:别假装总统,“摆拍成了职业,空话替代一生事业”

竞技风云录
2026-07-28 00:52:45
《功夫女足》快冲破20亿!周星驰公开承诺,对张小斐称呼也变了

《功夫女足》快冲破20亿!周星驰公开承诺,对张小斐称呼也变了

晓肂爱八卦
2026-07-29 00:15:04
宇树科技:预计今年机器人出货至少翻倍,未来或考虑海外生产

宇树科技:预计今年机器人出货至少翻倍,未来或考虑海外生产

IT之家
2026-07-28 15:40:18
下载速度飙至120MB/s!1分钟下载8GB,可抓取网页音视频!

下载速度飙至120MB/s!1分钟下载8GB,可抓取网页音视频!

科技乐小天
2026-07-18 14:14:08
悲哀!10人小群里剩自己“干净”,30岁女生称身体忠于丈夫被孤立

悲哀!10人小群里剩自己“干净”,30岁女生称身体忠于丈夫被孤立

番外行
2026-05-20 08:19:19
老年痴呆与缺胆碱有关?医生:常吃红薯,不如多吃这7物

老年痴呆与缺胆碱有关?医生:常吃红薯,不如多吃这7物

路医生健康科普
2026-07-24 15:45:03
“低买高卖”的艺术:特拉福德的4000万英镑转会与曼城的精明算盘

“低买高卖”的艺术:特拉福德的4000万英镑转会与曼城的精明算盘

智道足球
2026-07-28 08:16:03
当初怎么宰巴萨的,如今利物浦就怎么被人宰,替补边锋巴黎要1.7亿

当初怎么宰巴萨的,如今利物浦就怎么被人宰,替补边锋巴黎要1.7亿

体育世界
2026-07-28 17:28:35
2026-07-29 07:59:00
新闻晨报随申Hi incentive-icons
新闻晨报随申Hi
服务资讯攻略
218814文章数 89514关注度
往期回顾 全部

科技要闻

Kimi K3开放权重,想本地部署,200万元起

头条要闻

泽连斯基称与伊朗处于战争中 学者:释放极度危险信号

头条要闻

泽连斯基称与伊朗处于战争中 学者:释放极度危险信号

体育要闻

35岁德甲球星,退役半年后成了一名农民

娱乐要闻

43岁演员王凯去世!独居公寓无人知晓

财经要闻

潘老板的算盘全砸了,欠的25亿跑不了了

汽车要闻

宾利托卡尔重塑百年菱形美学,将于9月全球首秀

态度原创

教育
时尚
健康
本地
家居

教育要闻

为什么孩子把你的道理当成耳旁风

夏天衣服买太多也是浪费,准备这几件露肩裙,显瘦优雅又提气质

中风急救吃安宫牛黄丸?千万别乱喂

本地新闻

跟着影视去旅行:八仙篇

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版