当地时间10月27日,谷歌旗下DeepMind发布新一代世界模型Genie 4的研究预览版,该模型进一步提升了实时交互式世界模拟能力,同时探索在机器人训练和物理AI(Physical AI)领域的应用。
与前代模型Genie 3相比,Genie 4不仅在画面真实感、物理模拟和人物动作自然度方面有所提升,还将场景保持一致性的模拟时长延长至约两分钟,是前代模型的两倍。
据介绍,Genie 4能够生成迄今为止最逼真、可实时交互的动态虚拟世界,在物理现象模拟、人物动作和场景交互等方面取得进展。用户可以通过自然语言指令,在模拟过程中实时改变天气、调整视角,或添加人物和物体。模型还具备原生音频生成能力,能够同步生成背景音乐、环境声音及互动对话。
值得关注的是,谷歌还展示了Genie 4与大模型Gemini 4 Argon协同模拟人形机器人执行任务的实验。
在演示中,Gemini 4 Argon负责将用户指令拆解为多个步骤,Genie 4则根据这些指令,实时生成机器人执行任务的模拟画面,展示了美国机器人公司Apptronik旗下Apollo人形机器人下跳棋的过程。
这一实验也展示出谷歌在物理AI领域的技术布局:尝试将大模型的任务规划与推理能力,同世界模型的环境模拟能力结合起来,让AI能够在虚拟世界中模拟不同任务及其执行过程。
![]()
对比图 以上图片均来自:Google DeepMind官网
谷歌研究总监特贾斯·库尔卡尼(Tejas Kulkarni)在发布前的媒体简报会上表示,未来将出现越来越多的“混合世界模型”,即由Gemini生成代码和文本,Genie实时接收这些信息,并在不同抽象层级上模拟现实世界。
世界模型正成为科技公司的重要技术方向。潜在应用不仅涵盖游戏开发、互动教育和影视制作,还包括机器人训练、自动驾驶仿真等领域。通过生成可交互的虚拟环境,世界模型有望帮助机器人和AI智能体在进入真实环境前进行任务模拟和测试。
行业竞争与整合也在加速。今年9月,AI视频生成公司Runway发布第二款世界模型GWM Worlds 2,支持根据用户输入动态生成可交互场景,并具备音频生成能力。
资本市场方面,9月28日,AMD宣布将以约82亿美元的全股票交易收购由华人AI科学家李飞飞创办的World Labs,加强在世界模型、空间智能和物理AI领域的技术布局。与谷歌Genie 4侧重实时动态模拟不同,World Labs此前推出的Marble主要聚焦生成具有空间一致性、可长期探索和编辑的三维世界。
此外,据《华尔街日报》报道,亚马逊正在洽谈以约70亿美元收购世界模型初创公司Decart。10月22日,美国电动汽车制造商Rivian宣布收购世界模型初创公司Third Dimension,计划将相关模拟技术应用于自动驾驶系统开发和测试。
不过,世界模型距离大规模实际应用仍面临技术挑战。DeepMind工程师迭戈·里瓦斯(Diego Rivas)在媒体简报会上表示,Genie 4仍处于早期阶段,完整的产品应用形态尚不明确。随着模拟时间延长,场景中的细节和物体可能出现偏移,音频准确性、画面中文字的清晰度等问题也有待解决。
谷歌计划在未来几周内,通过Project Genie向Google AI Ultra订阅用户开放,并逐步向Gemini API及Google AI Studio的早期访问合作伙伴提供相关能力。
澎湃新闻记者 喻琰
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.