北京
分享至
7月28日消息，智元自主研发的具身原生全模态大模型WITA-Omni Preview，在具身全模态理解权威榜单DailyOmni的最新评测中以85.21分的综合成绩位居首位。据介绍，该模型在八项细分指标的六项中获得第一，超越了千问、Gemini、豆包、英伟达等国内外模型。DailyOmni榜单主要检验模型在真实开放环境下对音视频时序对齐、跨模态联合推理的能力，这与机器人进行人机交互所需的核心感知能力高度契合。
据悉，WITA-Omni的核心创新在于其原生端到端设计，而非简单地将聊天模型植入机器人。该模型采用了Thinker–Talker–Actor三层架构，将物理动作和表情提升为与语音并列的一级输出。其中，Thinker负责多模态推理和交互决策，Talker生成自然语音，Actor则通过动作头和表情头控制机器人的动作与表情，使“看、听、说、动”形成一个连续的生成过程。
在训练方面，WITA-Omni使用了千万小时级的多模态数据进行预训练，并构建了以人为中心、面向真实交互场景的高质量全模态数据集。在此基础上，模型采用了SFT–OPD–RL三阶段训练策略：SFT监督微调建立基础能力，OPD同策略蒸馏提升音视频上下文推理能力，RL强化学习优化交互决策能力，使模型学会判断是否回应、何时回应以及回应谁。
据了解，作为具身智能行业内首个机器人原生端到端多模态交互大模型，WITA-Omni旨在让机器人在统一认知状态下完成感知、决策与表达，打通视觉、听觉、语言、表情和肢体动作的全模态协同。
智元表示，将依托WITA-Omni构筑的交互智能底座，进一步推动“三智一体”技术架构的发展，加速具身智能在商业、公共服务等领域的应用落地。（崔玉贤）
本文来源：网易智能
责任编辑：
韩蕾_NBJS32996
