网易首页 > 网易号 > 正文 申请入驻

三组同题测试:从火焰、鼓点到冰可乐,视频模型如何回应世界

0
分享至

在《塞尔达传说:旷野之息》中,玩家点燃一片草地,火焰会沿着草叶蔓延,热空气随之升起。此时展开滑翔帆,林克便能借助上升气流离开地面。雷雨中装备金属武器可能招来闪电,降雨又会让攀爬变得困难。海拉鲁并没有追求照片级的视觉拟真,却通过一组稳定、可组合的规则,让玩家感受到一个世界正在持续运行。这种体验的关键是无论世界里有多少种物体,系统都会回应玩家的行动,并且符合物理规律。规则稳定,玩家才有可能根据经验作出预测;多条规则相互作用,又会产生未被逐一写死的解法。一个可信的虚拟世界,因而同时包含状态、变化、交互与反馈。

《塞尔达》当然不是机器学习语境中的世界模型。前者的规则主要由设计师与工程师显式构建,后者则试图从数据和交互中学习状态、行动与后果之间的关系。两者机制不同,但指向了同一种直观体验:一个世界之所以成立,肯定不是因为它看起来真实,关键是它能够对行动作出符合人们物理世界的回应。这也是理解世界模型的一个有效入口。世界模型不是更大规模的视频生成器,也不是把图像、视频、三维空间和机器人排列在同一张矩阵图里。它需要形成对世界状态及其变化规律的表征,并进一步支持预测、规划或行动。


智象(HiDream.ai)将新发布的 HiDream-O1-Video-1.0(下文简称为 HiDream V1)定义为“更懂真实世界的视频生成模型”,并把它放在“一个 UiT(Unified Transformer)、四大模型同源演进”的世界模型路线中。按照官方介绍,模型具备前置多模态意图理解、5—20 秒动态时长、1080P 输出、物理变化生成和原生音画等能力。Video 在这套叙事中的作用,是让静态空间进入时间:模型不仅要呈现世界是什么样,还要表达一个动作发生后,世界将如何变化。

不过,视频模型本身并不是完整的世界模型,一段符合常识的成片也不能证明模型已经形成了可泛化的物理认知。要判断更懂真实世界是否超越传播口号,仍然需要回到可观察的输出。比如在下面这个场景中,拉环尚未弹开,气泡声是否已经提前响起;可乐在手中晃动是否符合液态规律。比如在炒菜的场景里料酒还未落入热锅,火焰是否凭空升起;宏大的世界模型命题,最终需要从这些最小的状态变化开始接受检验。

今天的视频模型已经能够稳定生成大量运动效果:镜头推进、人物转身、头发飘动、烟雾扩散与火焰变化都不再罕见。但画面存在运动,并不等于模型完成了一个事件。完整事件至少包含三个层次:首先是对象发生运动,其次是动作按顺序产生结果,最后是视觉、声音与状态变化都能找到对应原因。大量生成结果仍会停留在第一层。它们通过运动模糊、镜头晃动、火焰和烟雾制造强烈动感,却可能漏掉关键动作、改变对象身份,或让结果早于原因发生。对用户而言,这类视频的单帧质量可能很高,但只要连续观看,世界的规则就会迅速失效。

为验证 HiDream V1 的能力,本文设计了三组原创图生视频任务,并与 Seedance 2.5、MiniMax H3 进行对比。三家使用相同参考图和原始中文提示词,目标时长统一设为 10 秒(三家实际交付时长并不相同,见下方规格说明),开启原生音频,并保留各平台正常面向用户的默认理解与提示词处理流程。测试关注的不是单一画质分数,而是意图规划、时间因果和音画对应三个维度。这并非纯底模的实验室测试,而是同图、同原始需求、同目标时长的端到端产品对比。三家的前置理解、提示词增强和服务系统存在差异,这些差异本身也是产品能力的一部分。

  • HiDream-O1-Video-1.0——HiHarness
  • MiniMax H3——MiniMax Design
  • HiDream:1920×1080 / 30fps 恒定帧率;爆炒与可乐 10.07 秒,鼓手 7.93 秒
  • Seedance:1280×720 / 实际 24fps(封装声明 60fps,PTS 为 3:2 间隔,非真 60 帧);三题均 8.00 秒
  • MiniMax:2560×1440 / 24fps;三题均 7.96 秒

以下分析中在涉及三家在分辨率、帧率与实际时长时运用了专业软件和模型辅助进行量化分析。

第一组任务:夜市铁锅前的爆炒

第一组任务发生在夜市铁锅前。厨师先把一勺料酒泼入滚烫的锅中,油爆声出现后,橙蓝色火焰随之升起;随后连续颠锅三次,让面条、红椒和葱段腾空再落回;最后火焰收起,食材被装入原本空着的白瓷碗,铁勺敲击锅沿完成收尾。

火焰是这一场景中最醒目的视觉元素,也最容易掩盖问题。真正需要维持的是从料酒接触热锅、油汽被点燃,到颠锅、食材回落和最终装盘的连续关系。如果火焰早于触发动作出现,或者食材在高速运动中消失、变种,再强烈的视觉效果也无法证明事件已经完成。这一任务还要求模型同时处理快速运动与对象一致性。三次颠锅需要形成可辨认的“腾空—落回”,锅中三类食材在运动前后应保持一致,最终白碗也应从空碗连续变为装有成品的状态。油爆、爆燃、金属撞击与敲锅声,则用于检验声音是否准确对应各自的动作节点。

Seedance 的画面表现确实非常出片,整体运镜和色彩是有讲究的,天然会有场景-主体-动作的交代关系。从物理关系上看也有可圈可点的地方,比如料酒的加入过程很狂野,虽然说有一半撒到了炒锅之外,但鉴于中餐大排档的制作过程非常依赖厨师风格,这种操作也不能算错,甚至有些节目效果,视效拉满。但面条在锅里的状态让人提不起食欲,整体不是根根分明的状态,而是一个整体的面团在锅里搅拌,也算不上对错,从最后出锅的效果看也是前后一致的。

HiDream V1 的出片非常非常优秀,料酒刚开始撒入后没立即变化,炒勺移开之后再进画面依旧是同一个东西,然后厨师开始颠勺火苗才窜起来,整个面条在锅里被颠起来的上松下紧的效果已经极其接近物理世界的状态了,包括最后面条入碗的流动状态,是主体面条“滚进”碗里,最后锅里的几根会残留在锅里,并不是一股脑进去滑进去的,并且锅具放回灶上的时候依旧有合理的碰撞声。

MiniMax 的起火位置有些偏,但锅具和灶台的撞击点音画配合挺好,每一次都精准卡进去了,非常符合大众的认知。就是最后装盘的时候模型没理解面条这个材质的东西应该怎么表现,所以视频上像是直接快速位移搬运过去的,并不是面食这种黏度较大的组合物品自然的流到碗里,如果细看的还会发现面条在锅里颠勺的过程也像是一个整体的面饼在移动,不是有层次的。

把三家放到同一条时间轴上来看就可以把起火这个节点量化核对。HiDream 是炒勺 2.4 秒重新进入锅内、油爆声 2.5 秒达到峰值、火焰面积 2.6 秒进入最快增长,动作、声音、结果依次相隔约 100 毫秒。Seedance 是 0.25 秒泼酒、0.54 秒起爆声、0.58 秒起火,顺序同样成立,只是整体节奏被压缩到前半秒。MiniMax 则是 1.5 秒起火、2.26 秒才出现对应的高频爆声,火焰比声音早了约 0.5 秒;而且火苗位置明显偏离锅心,与锅内食材不在同一处,起火点和燃料不在一起,这比时序偏差更根本。

火焰规模的差别也挺大:Seedance 峰值占到画面 54.7% 并持续四秒多,几乎把颠锅和食材全遮住;HiDream 峰值 36.2%;MiniMax 只有 30.6%,而且只烧了 0.6 秒就熄灭,不太像料酒爆燃应有的衰减过程。火焰越大越容易掩盖事件本身,这一题里 Seedance 恰好演示了这一点,因为最壮观的四秒,也是最看不清发生了什么的四秒。

出锅场景里面 HiDream 的转移持续约 0.9 秒(7.5—8.4 秒),面条呈连续流态滚入碗中,并且到 9.3 秒锅壁上仍挂着几根葱段没有倒净。不完全转移反而是真实厨房里的常态。Seedance 的转移约 0.5 秒,面条在碗中逐步堆积,过程是连续的,但整体是一团黏聚的面块。MiniMax 的转移只用约 0.42 秒,且面团在下落过程中几乎不发生形变,是整块平移下去的,确实更接近搬运而不是倒出。

第二组任务:舞台鼓手的演奏收尾

第二组任务是一段舞台鼓手的演奏收尾。鼓手先在中央红色军鼓上连续击打两次,再依次敲击左右两只黑色通鼓,踩下一次底鼓,最后双臂交叉击中两面金色镲片。最终一击落下时,冷蓝色舞台灯切换为红色,观众欢呼,人物以举起两根鼓槌的姿势结束。

这组任务把音画同步拆成了可以逐项核对的动作。军鼓、通鼓、底鼓和镲片具有不同音色,每个声音都应当在对应鼓面或脚踏被击中的时刻出现。镲片长鸣可以延续,但必须由先前的击打触发;灯光切换与观众欢呼,也应在最后一击后进入高潮,而不是提前出现。快速演奏同时提高了人物和器材一致性的难度。两根鼓槌需要在双手交叉、人物甩头和镜头推进中保持数量与归属,鼓手面部、服装和鼓组位置也不能因遮挡发生漂移。这类任务可以检验模型是否只是生成一层泛化鼓点,还是能够让声音、动作与舞台反馈进入同一条时间序列。

Seedance 在“起手才有声”这件事上做的最好:音轨前 450 毫秒只有环境底噪,第一次能量跃升出现在 0.47 秒,画面里双槌首次落到鼓面是 0.5 秒,两者基本重合。真正的问题出在最后一击。4.66 秒落下的时候,双槌收在军鼓与通鼓一侧,并没有打到左右两面金色镲片;这一击的频谱里 43% 的能量压在 120Hz 以下,6kHz 以上几乎为零,听感是一记低频闷响,不是镲片的宽频炸裂。紧接着的 50 毫秒后画面里双臂完全放下,4.71 秒左右的下一帧,灯光已从冷蓝整片切成红色、双臂变成完全举起、景别同时前推。帧间变化量达到全片中位数的 11.3 倍。手臂在 50 毫秒内从最低点回到最高点在物理上不成立,所以这不是“面光跳变”,而是一次硬切。提示词要求的“双臂交叉击中两面金色镲片”这个动作,被这次剪切跳过去了。切点之后还叠了一段持续低频轰鸣,总能量是最后一击本身的 2.6 到 5.9 倍,频谱重心压在 sub 频段(0.79—0.86),更像影视预告片里的低频冲击音效,而不是提示词要的观众欢呼——人声频段要到 6.5 秒之后才出现。整条音轨的带宽也是三家最窄的,7.9kHz 之上基本截断,高频能量比另两家低一个数量级,所以鼓组整体音色偏钝。收尾姿势与人物一致性没有问题:两根鼓槌数量全程正确,最终停在举槌姿态,面部与发型和参考图一致。

HiDream 是三家里唯一全片没有出现硬切或突变帧的一条:帧间变化量最大值也没超过中位数的 5 倍,整段是一次连续推镜。军鼓—通鼓—底鼓—双镲的顺序成立,击打位置、时间与音色能对应上,鼓槌、双手、人物脸与鼓组的一致性也没问题。但视频开头鼓手还没动手就出现了镲击声,最后一击的处理是它和另两家分开的地方。4 秒左右双臂向左右完全展开、落点在两侧镲片高度,这一击的频谱是真正的宽频(sub 0.26 / low 0.36 / mid 0.24 / hi 0.10 / vhi 0.03),能分析出镲片而不只是鼓皮。灯光从 4.5 秒开始升温,4.7 秒越过冷暖分界,整个过渡约 270 毫秒完成,变化速率 +2.11/秒。也就是说击打先发生,灯光在大约 200 毫秒后跟上,是渐变而不是跳切。人物还保留了独立于红色背景的打光。尾段 5.5—7.9 秒的音轨里 96% 以上的能量集中在 400—2000Hz 的人声频段并持续了三秒半,画面下方同时出现观众举起的手,那就是说欢呼场景是真的被生成出来了。结束姿势是举起两根鼓槌,与提示词一致。整条音轨里中频占 47.8%、低频只占 9.3%,是三家中最接近真实鼓组音色的一条,棒击的 attack 和镲片泛音都在。

MiniMax 这一条的单帧规格最高(1440P),但事件层的问题也最多。首先是结构。全片在 2 秒、4 秒、6 秒各有一次硬切,帧间变化量分别是中位数的 6.4、9.7、8.7 倍,间隔几乎正好两秒,这更像是按两秒片段拼接后接起来的,而不是一次连续演奏。其次是音色。开场 0.1 秒左右就有一记极大的低频撞击,通过定量分析发现能量是前 50 毫秒底噪的三十八万倍,但 93% 的能量落在 120Hz 以下,是近乎纯低频的闷响;而提示词此处要求的是先击中央红色军鼓两次,军鼓应当有脆亮的中高频。放到全片看,78.5% 的能量都在 400Hz 以下,能检出的高频事件只在 6.32—6.56 秒出现过一次。也就是说前六秒多的演奏里,几乎没有棒击的 attack,也没有镲片。灯光的表现有一点复杂。末击在 6 秒左右出,冷暖越界要到第 7 秒了,滞后几乎有一秒,这已经进入人能明确感知不同步的区间;而且红光最终只走到 +0.16,另两家是 +0.39 和 +0.42,所以红色既晚又没到位,转换速率也是三家最慢的 +1.29/秒。

第三组任务:冰可乐 ASMR

第三组任务是一段冰可乐 ASMR。人物需要拉开覆满水珠的银色易拉罐,在“咔嗒”之后听到绵长的气体释放声;随后把三块冰倒入空杯,注入深褐色可乐,让气泡和泡沫沿杯壁上涌;最后端起杯子晃动两次,喝下一大口并呼气收尾。

提示词:一镜到底的冰可乐 ASMR,节奏利落。年轻人先“啪”地拉开冰凉的易拉罐,清脆的“咔嗒”后立刻冒出一声绵长的“嘶——”,细密泡沫冲到罐口。紧接着,他把碟里的三块冰快速倒进空杯,响起连续的“叮、当、咚”;马上把深褐色可乐冲进杯里,气泡沿玻璃杯壁疯狂上涌,泡沫贴近杯口但没有溢出。随后他端起杯子猛晃两下,让冰块密集撞击杯壁,再仰头咕噜喝下一大口,放下杯子痛快地“哈——”一声。镜头顺着手部动作小幅跟移,只保留拉环、气泡、冰块、吞咽和呼气这些现场声,不要背景音乐。

这段 Prompt 刻意没有写入:人物不能变脸、冰块不能增减、杯子不能变形、所有动作必须完成。因为这些不是用户故事,并且把这些变量交给模型去处理更能看出对真实世界的理解。

这个场景包含连续的状态转换:易拉罐从密闭变为打开,空杯先装入冰块,再被可乐填满,最终又被人物端起并饮用。声音同样具有明确顺序,从拉环、气泡、冰块碰杯、液体注入,一直延伸到吞咽和呼气。这个测试任务最难的是冰块的转换要从碟子里往杯子中过渡,并且人物手拿杯子的时候还要摇晃一下,这相当考验模型对真实世界的理解能力。测试的重点主要是对象状态是否真正随动作变化。比如说可乐应当从罐口连续流入杯中,不能在遮挡后凭空出现;冰块、泡沫与液面应当受到注入和晃动影响;人物饮用前后的杯中液体也应保持连续。

Seedance 2.5 的风格挺明显,是有成熟视听语法的高情绪短片,易拉罐被拉开的声音处理的很细腻,分了好几段来表现扣开、拉扯、掀开喷气的几个过程。但是冰块入杯的声音很奇怪,不符合冰块逐点下落的事实,是黏在一起的一连串声音,有点强行找素材配上去的感觉。冰块进杯子之后也从三块……

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
31岁老板娘晒纹身:3个孩子侧脸加老公首字母,藏了5年

31岁老板娘晒纹身:3个孩子侧脸加老公首字母,藏了5年

时光慢旅人
2026-10-01 00:36:11
原来最喜欢刘欢的,不是毛阿敏也不是那英,而是频繁去他家里的她

原来最喜欢刘欢的,不是毛阿敏也不是那英,而是频繁去他家里的她

凡知
2026-10-01 11:29:30
帕斯传射建功后社媒晒照,大马丁评论:新10号?

帕斯传射建功后社媒晒照,大马丁评论:新10号?

懂球帝
2026-10-02 09:23:35
俄罗斯光刻机重大突破!

俄罗斯光刻机重大突破!

EETOP半导体社区
2026-09-30 07:37:30
胡萝卜不能随便吃?提醒:这3类人要少吃,吃胡萝卜也是有禁忌的

胡萝卜不能随便吃?提醒:这3类人要少吃,吃胡萝卜也是有禁忌的

芹姐说生活
2026-10-01 16:01:57
彻底翻脸!穆里尼奥画大饼坑惨 8000 万天才!皇马妖星或被逼离队

彻底翻脸!穆里尼奥画大饼坑惨 8000 万天才!皇马妖星或被逼离队

奶盖熊本熊
2026-10-02 07:35:32
3位九旬上将现身国庆招待会,致敬老将

3位九旬上将现身国庆招待会,致敬老将

林子说事
2026-10-02 10:21:22
俄罗斯到底为啥打不下一个乌克兰?真正限制俄军的,是这五道难题

俄罗斯到底为啥打不下一个乌克兰?真正限制俄军的,是这五道难题

民间胡扯老哥
2026-09-29 04:30:58
天彻底塌了!亚运全线溃败零金收官,中国篮球已跌至谷底!

天彻底塌了!亚运全线溃败零金收官,中国篮球已跌至谷底!

田先生篮球
2026-09-25 17:24:52
10月1日六大行存款利率更新?22万存三年,哪家利息更高?

10月1日六大行存款利率更新?22万存三年,哪家利息更高?

民市井财策
2026-10-01 17:00:28
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

醉卧浮生
2026-10-01 19:52:33
千叮咛万嘱咐要打好的霍尔木兹这张牌,结果还是打砸了

千叮咛万嘱咐要打好的霍尔木兹这张牌,结果还是打砸了

寰球经纬所
2026-09-29 14:49:20
泪目!中国女网25岁1米82王牌涅槃重生:逆转头号种子,冲亚运冠军

泪目!中国女网25岁1米82王牌涅槃重生:逆转头号种子,冲亚运冠军

李喜林篮球绝杀
2026-10-01 19:40:51
"45秒,全没了!"柏林宣布退出申办,奥运会从顶级IP沦为财政噩梦

"45秒,全没了!"柏林宣布退出申办,奥运会从顶级IP沦为财政噩梦

云居历史
2026-09-28 15:40:23
他49岁升任江西省长,50岁被罢免,51岁被判入狱2年,出狱后拒绝外商高薪聘请

他49岁升任江西省长,50岁被罢免,51岁被判入狱2年,出狱后拒绝外商高薪聘请

方圆文史
2026-09-23 22:57:06
烟瘾再大也要戒?患上这3种病,一定戒烟!你还敢接着抽?

烟瘾再大也要戒?患上这3种病,一定戒烟!你还敢接着抽?

华庭讲美食
2026-10-01 11:28:18
林浩坤:佛山市委书记、省纪委副书记

林浩坤:佛山市委书记、省纪委副书记

牛锅巴小钒
2026-10-02 00:48:28
许鞍华公开复盘失败作品之后

许鞍华公开复盘失败作品之后

澎湃新闻
2026-10-02 10:59:04
官方:意大利国家队代表团团长辞职,因体育部长发表了争议言论

官方:意大利国家队代表团团长辞职,因体育部长发表了争议言论

懂球帝
2026-10-01 11:55:05
2026-10-02 11:36:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
198文章数 75关注度
往期回顾 全部

游戏要闻

PS5全新技术QSSR太强!画质显著提升 性能不变

头条要闻

牛弹琴:普京再提2014年"政变" 称有件事他一直想不通

头条要闻

牛弹琴:普京再提2014年"政变" 称有件事他一直想不通

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

科技要闻

“分手”15天后,华为与赛力斯签约新五年

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

房产
时尚
亲子
数码
教育

房产要闻

4000+/平!华侨城,直接把海口楼市的地板给掀了!

在米兰,用时装唤醒内心的自我

亲子要闻

孩子拉肚子该吃哪种益生菌?2025儿科指南给出了明确菌株清单

数码要闻

英特尔7款"Nova Lake S"处理器命名曝光:四位数字,bLLC款使用"BFC"后缀

教育要闻

圆形中哪个数字是特殊的?把它标示出来

无障碍浏览 进入关怀版