网易首页 > 网易号 > 正文 申请入驻

48小时像素级复刻谷歌最强世界模型!腾讯混元用开源的Hy-Nomas把8组样片重拍了一遍

0
分享至


作者 | 飞野、四月

编辑 | 四月

10 月 27 日,谷歌发布世界模型 Genie 4。一句话就能生成一个可以用键盘自由探索、实时交互的视频世界,还能通过后续指令改变其中的场景和事件。

仅仅两天后,腾讯混元就拿自家的开源模型 Hy-Nomas,把 Genie 4 官网的 8 组演示逐一复现,并放出了同屏对比视频。


这场隔空较量颇有意思:谷歌的 Genie 4 目前仍处于研究预览阶段,而腾讯的 Hy-Nomas 早在 10 月 21 日就已经开源,官网还提供免费的在线体验。腾讯甚至表示,用户不用排队就能体验。

一个是谷歌刚刚亮相的新一代世界模型,一个是已经开放权重、可以直接体验的国产开源模型。两者放在一起,究竟能 PK 到什么程度?

一、8 组样片对决

整体效果看,腾讯 Hy-Nomas 在可交互性,和内容完整性上都接近 Genie 4。但在声音、镜头流畅度和风格一致性还有差距。我们具体来看看腾讯放出的对比视频挑了 Genie 4 官网的 8 个演示,以下动图均截自这条视频,上为谷歌、下为腾讯。

第一组,冠鹤与雪地键盘。黄昏的雪原上,一只冠鹤在散步。输入一句话,它面前凭空出现一台白色电子琴,冠鹤低头凑过去看。这一段两边的整体感觉差不多。


短评:基本追平,最后一步存疑。不过最后一步存在区别,谷歌的原片里,冠鹤用喙按下了琴键。腾讯这边,字幕已经打出“冠鹤按下一个键”,但冠鹤刚把头伸向琴键,视频就切到了下一组,不确定后续是否完成了动作。

第二组,魔术师。第一人称视角,手里握着一根魔杖,面前的木箱里站着一只孔雀。挥一下魔杖,孔雀变成猫;再挥一下,猫变成老式收音机。


短评:追平,时机略逊。两次变形两边都完成了,构图也几乎一样。更细的差别在时机:谷歌这边,魔杖挥下去的那一刻,变化正好发生,手势和魔法效果对应得更自然。

第三组,1980 年代的日本车站。月台上停着一列红色列车,站务员在镜头前,旅客来来往往。


短评:画面追平,但没有声音。列车、站务员、人群,腾讯都还原了。腾讯这组有一个亮点:列车车身的反光里,能看到拍摄者本人的身影。这说明模型对这个场景里的光和物体关系,有相当深的理解。谷歌原片里,站务员会开口播报;腾讯这边没有声音,因为 Hy-Nomas 只生成画面,没有原生的音频输出。

第四组,南极热气球。第一人称站在热气球吊篮里,飞过南极冰原。


短评:基本追平,细节略逊。腾讯场景基本还原了,镜头还有晃动感,比较真实。不过细看冰面,谷歌那边的效果更真实一些。

第五组,实验室机械臂。一台机械臂拿着移液管,往孔板里滴蓝色液体。


短评:指令完成,物体关系出错。两边都按指令滴下了蓝色液体。差距出在机械臂上。腾讯的机械臂前端并没有夹住移液管,管子像是直接插在机械臂上。

第六组,摩托车英雄。黄昏的桥上,一对情侣骑着摩托车。输入指令后,远处天际线燃起火球,城市里冒出触手巨怪。


短评:事件做出来了,镜头和表情不如谷歌。整体效果腾讯也复刻出来了。但可以看出,谷歌这边镜头转动顺滑,人物的表情、和转头动作都更自然。

第七组,彩色玻璃世界。提示词要求整个世界都由彩色玻璃构成:河流、花、山和太阳都是玻璃做的。


短评:画风不统一。谷歌的画面一致性更好,所有元素都是玻璃质地的。腾讯这边,一部分是玻璃,另一部分又偏向卡通画。

第八组,梵高星夜村庄。《星月夜》画风的村庄小路。


短评:画风不统一。和上一组接近,整体画风的一致性上,谷歌更好一些。

8 组看下来,腾讯的 Hy-Nomas 确实做到了生成可交互的视频世界,并且支持输入文字修改内容。一些场景甚至有让人眼前一亮的表现,如火车上的人物倒影。但相比 Genie 4,在画面细节、原生音频,镜头流畅度,动作和效果的贴合、元素画风的统一等方面,都还有一定差距。不过我们依然可以看到,这种有语言大模型辅助的世界模型,在长时间一致性上相比单一视频生成模型,有质的差别。下面我们根据腾讯开源的信息,看看这种效果是如何实现的。

二、两套架构底牌

从框架看,两家的思路是一致的,语言模型当“导演”,规划下一步拍什么,视频模型当“摄影机”,把画面生成出来。腾讯把细节全部公开并开源了模型,导演用的是阿里千问 3.8 的微调版。而谷歌只公开了分工,一些细节未知。第一章看到的差距,在架构上也能找到原因:谷歌的摄影机能实时出声,腾讯的只出画面。

腾讯:千问当导演,8B 模型当摄影机

在腾讯混元视觉生成团队撰写的《Hy-Nomas: Towards Free-form Interactive World Generation》技术报告中,Hy-Nomas 被拆解得比较清楚。首先,它并不是一个单独的视频生成模型,而是一套由提示词增强模型+视频生成骨干,协同工作的系统:

它以混元自研开源的 HunyuanVideo 1.5 为初始化骨架,改造成真正负责世界演进的 8B 生成模型 Hy-Nomas;同时在外挂层面引入微调自阿里千问的 Prompt Enhancer(提示词增强器)充当“分镜场记”。


在负责理解用户意图的部分,腾讯专门训练了一个提示词增强模型(Prompt Enhancer,简称 PE,也可以理解为视觉语言模型),以阿里千问 Qwen3.8-27B 为基础,通过监督微调(SFT)训练而来。它相当于整个系统的“导演”,负责读取用户当前输入,以及此前所有对话和已经生成的视频片段,再将自然语言指令转化成结构化、更加细致的视频生成描述,并确定下一段视频的生成时长。

例如,用户输入“让猫变成一台老式收音机”,PE 需要结合此前的场景和交互历史,明确猫当前的位置、变形动作及场景变化,再把这些信息交给视频生成模型。

真正负责生成画面的,则是 Hy-Nomas 的 8B 参数视频扩散骨干。它以腾讯此前的 HunyuanVideo 1.5 为基础初始化,并在此基础上进行架构改造和多阶段训练,使原本用于视频生成的模型具备连续生成、响应指令和控制镜头的能力。

协同机制方面,Hy-Nomas 让 Qwen3.8-27B 负责理解和规划,让基于 HunyuanVideo 1.5 改造的 8B 视频骨干负责生成,再通过历史缓存、动作时间约束和相机控制,让生成的视频世界能够持续响应用户操作。这也是 Hy-Nomas 区别于普通视频生成模型的关键。

谷歌:神秘面纱只公开了一半

相比之下,谷歌并没有公开 Genie 4 的完整技术架构。根据官方博客披露的信息,Gemini 承担了类似导演的角色:根据场景理解和改写用户指令,在用户两次输入之间引导场景持续发展。

遇到比较复杂的事件时,Gemini 3.8 Flash 还可以一边观察生成画面,一边将任务拆解成多个步骤,并检查每一步是否完成。

负责生成画面的则是 Genie 4 本身。与目前只输出画面的 Hy-Nomas 不同,Genie 4 能够同时生成视频画面和声音。

此外,还有一个尚未完全披露的角色:Gemini Omni。

谷歌官方博客提到,Genie 4 吸收了 Gemini Omni 的部分能力,使模拟环境在外观和行为上更加接近真实世界。Gemini Omni 是谷歌今年 5 月发布的视频生成模型系列。

但 Genie 4 究竟如何融合 Omni 的能力,两个模型之间是否存在直接的架构继承关系,谷歌并没有进一步说明。

两相对比来看,腾讯证明了“现有成熟开源 LLM + 针对性视频扩散小模型”的模块化管线,完全有能力在短时间内复现顶尖闭源模型八成以上的感官体验;而谷歌未公开的暗箱,则代表着端到端多模态系统在音视频协同与无缝物理因果上的上限。

三、落地与现实

无论 Genie 4 还是 Hy-Nomas,这类被腾讯命名为“视频世界模型”的技术,都宣告了 AI 对虚拟空间的模拟正脱离预渲染视频时代,迈向可实时交互的动态沙盒。但当聚光灯从震撼的 Demo 移开,这套技术距离真实世界的商业化变现,还隔着一道巨大的算力冰山。

在应用场景方面,谷歌的受邀测试者已经在试这些用法:

• 影视预演:拍之前进到模拟场景里,换机位、换灯光,不用搭景。

• 历史场景:把一张历史照片变成能走进去的场景。

• 游戏原型:写引擎代码之前,先用一句话试出玩法。

• 机器人仿真:拿它做实验,比如让人形机器人在生成的世界里下跳棋。腾讯这次也放出了电影风格和机器人两个微调版本。

这些用法的价值,在于省掉了真实搭建的成本。对腾讯来说,游戏可能是一个很好的切入点。游戏是腾讯的老本行,今年二季度,腾讯本土游戏收入约 473 亿元,对打造让大量用户喜爱的游戏作品很有经验。

但算力的限制也是真实的。

从公开的部署数字看,现在想让普通用户直接用上实时交互,成本还是太高了:社区开发者在谷歌的 4 块 TPU 芯片上跑 Hy-Nomas,生成 1 秒 720p 视频要 0.933 秒,刚刚够上实时;只用 1 块芯片,要 2.46 秒。

腾讯仓库里收录的社区方案,测试配置是8 块英伟达 B200。“导演”模型可能还要另外一台 8 卡机器。和语言模型能把很多人的请求攒在一起算不同,要让每个玩家各玩各的世界,得各占一组芯片。由此来看,最先用上还得是做游戏原型和影视预演这样的高单价场景,而非普通用户。

声明:本文为AI 前线原创,不代表平台观点,也不构成投资建议,未经许可禁止转载。

热度延续:12 月 AICon 北京站见

12 月 18–19 日,AICon 全球人工智能开发与应用大会将在北京举办。本届大会以探索 A 应用边界为主题,设置 13 大技术专题,覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向,汇聚一线技术专家,深入分享 AI 技术突破与企业规模化落地的真实实践。

今日荐文

你也「在看」吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国家房改课题组原组长孟晓苏:房价肯定会涨,已有牛市抬头迹象

国家房改课题组原组长孟晓苏:房价肯定会涨,已有牛市抬头迹象

职场资深秘书
2026-11-11 16:57:20
霍启山婚礼请柬曝光!12月12日香港摆酒,娜然嫁入豪门拿到大结果

霍启山婚礼请柬曝光!12月12日香港摆酒,娜然嫁入豪门拿到大结果

娱君坠星河
2026-11-11 18:50:43
1952年,美军俘虏了一个伙夫,审了半天才发现,这人竟是失踪14个月的180师最高指挥官之一吴成德

1952年,美军俘虏了一个伙夫,审了半天才发现,这人竟是失踪14个月的180师最高指挥官之一吴成德

磊子讲史
2026-08-26 18:36:00
菲副总统人在中国香港,用前所未有的底气,对小马科斯发出警告

菲副总统人在中国香港,用前所未有的底气,对小马科斯发出警告

揽星戈
2026-11-11 06:01:32
这3种蔬菜中的嘌呤含量并不低,医生直言:尿酸偏高的人,要少吃

这3种蔬菜中的嘌呤含量并不低,医生直言:尿酸偏高的人,要少吃

医者荣耀
2026-11-11 12:05:18
又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

蹲坑看世界
2026-10-17 19:28:40
世界名画的“变态”细节,看得令人发指,第一张图放大全都是惊喜

世界名画的“变态”细节,看得令人发指,第一张图放大全都是惊喜

神奇故事
2026-10-27 01:10:15
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
黄仁勋承认出轨后继续上班,英伟达内部气氛变天,猎头开始物色新CEO人选

黄仁勋承认出轨后继续上班,英伟达内部气氛变天,猎头开始物色新CEO人选

新商业派
2026-11-11 16:44:37
中国给老挝修了中老铁路,没料到设计得保守了,运力已经饱和了

中国给老挝修了中老铁路,没料到设计得保守了,运力已经饱和了

阿莱美食汇
2026-11-11 10:31:00
努力在趋势面前一文不值,40岁女老板做了十几年服装生意,十几块打底衫往年每天卖千件,今年怎么努力也卖不动,太心累

努力在趋势面前一文不值,40岁女老板做了十几年服装生意,十几块打底衫往年每天卖千件,今年怎么努力也卖不动,太心累

捣蛋窝
2026-11-09 00:16:31
湖南天气:最低气温6℃,大雨即将抵达

湖南天气:最低气温6℃,大雨即将抵达

微湘西
2026-11-11 09:28:15
花1687元在直播间买“999足金”手表,主播承诺“假一赔十”;收货送检主要成分为铁,消费者起诉后获10倍赔偿

花1687元在直播间买“999足金”手表,主播承诺“假一赔十”;收货送检主要成分为铁,消费者起诉后获10倍赔偿

洪观新闻
2026-11-11 17:34:41
没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

捣蛋窝
2026-11-03 13:31:15
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
中纪委动真格,严查此领域!让老百姓能够发声,说了还管用

中纪委动真格,严查此领域!让老百姓能够发声,说了还管用

职场资深秘书
2026-11-11 16:35:12
油价大跌!势如破竹,11月11日全国92,95汽油“预跌440元/吨”,四季度刚大涨335元/吨后,11月或全降下来,明晚24时调价,加油别急!

油价大跌!势如破竹,11月11日全国92,95汽油“预跌440元/吨”,四季度刚大涨335元/吨后,11月或全降下来,明晚24时调价,加油别急!

猪友巴巴
2026-11-11 09:02:56
网传林生斌携现任妻子及一双儿女定居悉尼富人区

网传林生斌携现任妻子及一双儿女定居悉尼富人区

韩小娱
2026-11-11 14:52:54
患梅毒的人越来越多?医生再次强调:宁可打打牌,也别做这7事

患梅毒的人越来越多?医生再次强调:宁可打打牌,也别做这7事

健康科普365
2026-09-15 11:35:15
2026-11-11 20:04:49
AI前线 incentive-icons
AI前线
面向AI爱好者、开发者和科学家,提供AI领域技术资讯。
1810文章数 176关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

本地
艺术
游戏
数码
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

17位 国外画家笔下的女子

《光环:战役进化》移植Dreamcast !双模式可运行

数码要闻

STEPX Neo体验:当手机开始理解意图,AI交互有了新玩法

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版