网易首页 > 网易号 > 正文 申请入驻

谷歌DeepMind发布Genie 4世界模型,支持实时交互编辑与同步音频生成

0
分享至

10月28日消息,据外电报道,谷歌 DeepMind 于周二发布全新世界模型 Genie 4,开启研究预览版本。这款最新模型能够生成目前拟真度最高、可交互的虚拟世界,用户可以在模拟运行的过程中输入提示词,实时修改场景。模型还能同步生成和虚拟世界匹配的实时音频,包含背景音乐、环境音以及交互式对话。

就在 Genie 4 发布的数月前,AI 视频初创公司 Runway 推出第二款世界模型 GWM Worlds 2。该模型支持交互游玩,可响应用户操作并同步生成音频。与此同时,世界模型赛道开始迎来行业整合:李飞飞创立的 World Labs 将被 AMD 收购;亚马逊正洽谈收购 Decart;Rivian 刚刚收购 Third Dimension,自研仿真工具用于自动驾驶测试。

推出 Genie 4,是谷歌在竞争激烈的赛道中巩固领先地位的最新动作。

一年多前,谷歌就以研究预览形式上线了前代模型 Genie 3。相比前代,Genie 4 画面拟真度大幅提升,新增音频能力,还支持自由编辑:比如实时切换天气、调整镜头角度,或是在场景里新增人物、物品。它最长可以维持两分钟连贯统一的场景画面,时长是 Genie 3 的两倍;物理仿真效果更强,虚拟人物也更加拟人。

谷歌大模型 Gemini 和 Genie 4 实现了更深层的联动:Gemini 充当 “导演”,负责规划步骤、校验画面,Genie 4 则负责生成视觉内容。在一项和 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型把任务拆解成分步指令,交由 Genie 4 实时仿真。该实验证明,未来可以先在虚拟仿真环境里测试机器人方案,再落地到现实世界。

谷歌研究总监特贾斯・库尔卡尼在简报会上表示:“未来我们会越来越多地看到这类混合式世界模型:Gemini 负责编写代码、生成文本,Genie 实时读取这些指令,在不同抽象层级上仿真现实世界。”

和其他世界模型类似,它的商业化方向包括游戏、交互式教学以及机器人研发。交互式学习的一个设想场景:用户进入一幅描绘历史事件的画作当中,和画中人物对话,了解这段历史。

而首批受邀测试谷歌前沿产品的 “可信测试用户”,挖掘出了一个全新潜在用途:电影前期样片快速原型制作。

谷歌 DeepMind 工程师迭戈・里瓦斯在发布会中提到:“实时渲染的价值,在需要保持创作连贯性的场景里尤为突出。比如创意构思阶段、分镜脚本阶段 —— 所有需要快速迸发创意的环节,它都能派上用场。”

谷歌另有 AI 视频生成模型 Veo,可以根据文本、图片或视频指令生成高清短片,并自动配上同步音频,目前已经受到不少影视创作者欢迎。

里瓦斯补充说,未来用户可以依托多模态大模型 Gemini Omni(支持根据图片、音频、文字生成视频),把这些仿真原型转化为正式的创作素材,不过这套完整能力距离落地还有一段时间。

在整场简报中,里瓦斯反复强调 Genie 4 仍处在早期研发阶段,最终完整产品形态还没有确定。团队也坦言模型尚存短板:仿真时间越长,画面细节、物体就越容易出现畸变偏移;同时,如何保证音频准确、场景内文字清晰可读,依旧是待攻克的难题。

目前 Genie 4 仅面向可信测试者开放研究预览。未来几周内,该模型将逐步开放给 Google AI Ultra 订阅用户(在 Project Genie 工具内使用,Project Genie 是谷歌用于图文生成交互式世界的 AI 工具),以及 Gemini API、Google AI Studio 的早期合作开发者。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
以色列大选结果:内塔尼亚胡失去多数,反对派却无力取代他

以色列大选结果:内塔尼亚胡失去多数,反对派却无力取代他

以色列计划Pro
2026-10-28 13:02:54
太卷了!上海黄浦招94个社工,涌进北大复旦毕业生,网友:这学历干居委会图什么

太卷了!上海黄浦招94个社工,涌进北大复旦毕业生,网友:这学历干居委会图什么

聊斋新志
2026-10-28 16:17:57
哈尔滨29岁女子外出游玩被蜱虫咬伤,在ICU住了28天,目前四肢瘫痪,丈夫称已花费40万元治疗

哈尔滨29岁女子外出游玩被蜱虫咬伤,在ICU住了28天,目前四肢瘫痪,丈夫称已花费40万元治疗

新京报
2026-10-28 14:36:32
中国拒绝日本访问!原定考察不予接待,高市早苗竟被自己人挖墙脚

中国拒绝日本访问!原定考察不予接待,高市早苗竟被自己人挖墙脚

策前论
2026-10-28 13:40:27
姆巴佩事件情况升级!央视连下重锤,法国球员将集体迎来噩耗!

姆巴佩事件情况升级!央视连下重锤,法国球员将集体迎来噩耗!

麦芽是个小趴菜
2026-10-28 02:29:03
送别!李永祜逝世

送别!李永祜逝世

极目新闻
2026-10-28 12:36:45
不懂,为什么高校一方面在大量地招博士讲师,另一方面又设置了比较严苛的考核标准?两年三C一B,都要担心随时走人!

不懂,为什么高校一方面在大量地招博士讲师,另一方面又设置了比较严苛的考核标准?两年三C一B,都要担心随时走人!

学术眺望
2026-10-28 17:35:04
就姆巴佩的错误,西班牙媒体算了笔账!

就姆巴佩的错误,西班牙媒体算了笔账!

环球时报国际
2026-10-28 15:20:17
太荒唐了!已婚女子和男网友约会,发生关系后累的睡着,被惊醒后拒绝给男网友钱,女子追悔莫及

太荒唐了!已婚女子和男网友约会,发生关系后累的睡着,被惊醒后拒绝给男网友钱,女子追悔莫及

丫头舫
2026-10-26 15:48:41
皇马回应炸锅,人民日报重锤,姆巴佩完了

皇马回应炸锅,人民日报重锤,姆巴佩完了

鸣金网
2026-10-28 16:43:54
柬埔寨潮汕商会会长称两个肾都在!

柬埔寨潮汕商会会长称两个肾都在!

新动察
2026-10-28 10:27:28
队报:皇马拒绝了西甲对姆巴佩事件的帮助;皇马高层想看特瓦斯笑话

队报:皇马拒绝了西甲对姆巴佩事件的帮助;皇马高层想看特瓦斯笑话

懂球帝
2026-10-28 08:58:05
中国舞蹈家协会发布讣告

中国舞蹈家协会发布讣告

极目新闻
2026-10-28 08:16:20
外媒披露小博索纳罗外逃美国内情:他已认栽,被吓坏了

外媒披露小博索纳罗外逃美国内情:他已认栽,被吓坏了

参考消息
2026-10-28 14:19:10
张水华火到国外!外媒:辞职10个月赚500万 很多人一辈子赚不到

张水华火到国外!外媒:辞职10个月赚500万 很多人一辈子赚不到

念洲
2026-10-27 09:21:31
反诈博主“微剑”家属再发声:被迫签署谅解书,彪形大汉上门施压

反诈博主“微剑”家属再发声:被迫签署谅解书,彪形大汉上门施压

天天热点见闻
2026-10-28 05:56:51
蔡依林在广州菜市场买菜,全程没人围观

蔡依林在广州菜市场买菜,全程没人围观

可乐谈情感
2026-10-28 17:34:07
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
比销量下滑还可怕的是:连生活在县城的居民,都开始抛弃了油车?

比销量下滑还可怕的是:连生活在县城的居民,都开始抛弃了油车?

兴趣知识
2026-10-28 05:05:50
DeepSeek一算吓一跳!居然算出生产一辆比亚迪秦L DM-i的实际成本

DeepSeek一算吓一跳!居然算出生产一辆比亚迪秦L DM-i的实际成本

阿芒娱乐说
2026-10-26 12:45:34
2026-10-28 20:32:49
三言科技 incentive-icons
三言科技
聚焦新未来新科技,严肃又活泼。
104542文章数 66925关注度
往期回顾 全部

科技要闻

AI世界开口说话!谷歌新模型Genie 4有多神

头条要闻

科普图书现"双头虾"图片 出版社回应:正通知全网下架

头条要闻

科普图书现"双头虾"图片 出版社回应:正通知全网下架

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

电动大掀背+无框车门+激光雷达 一汽-大众ID. AURA L5真能打动年轻家庭

态度原创

时尚
手机
教育
旅游
亲子

教你把去年的毛衣,穿出今年的好看

手机要闻

iPhone Duo屏幕开裂原因初现端倪:铰链中央支撑杆疑似挤压柔性屏

教育要闻

先加再减的易错题,第二次到底以谁为单位1?

旅游要闻

石头山上“种”出绿富美

亲子要闻

意大利安东尼亚诺合唱团,兼全球最顶级的儿童合唱团之一

无障碍浏览 进入关怀版