网易首页 > 网易号 > 正文 申请入驻

AAAI 2026|教会视频扩散模型理解科学:从初始帧生成整个物理演化

0
分享至

近年来,Stable Diffusion、CogVideoX 等视频生成模型在自然场景中表现惊艳,但面对科学现象 —— 如流体模拟或气象过程 —— 却常常 “乱画”:如下视频所示,生成的流体很容易产生违背物理直觉的现象,比如气旋逆向旋转或整体平移等等。

上述问题的根源在于,这些模型缺乏对科学规律的内在理解。它们学习到的只是像素分布,而非支配这些分布的动力学方程。更糟的是,科学数据具有稀缺性,且缺少语言描述(不像 “a dog is running” 那样易于提示),导致传统 “文本提示 — 图像生成” 范式在科学视频生成任务中失效。

现有的视频扩散模型与本文新方法的生成效果对比

文中视频链接:https://mp.weixin.qq.com/s/gXNZp_yJr6xyGDZ1L3d6og

因此,在扩散模型不断重塑视觉生成的今天,一个全新的问题正在浮现:当 AI 可以生成炫丽的自然视频时,是否也能推演 “真实的科学现象”

这正是来自东方理工与上海交大的研究团队在最新研究中提出的挑战。他们在一篇新论文中,提出了一种让视频扩散模型学习 “潜在科学知识” 的全新框架,使模型在给定一帧初始图像的情况下,可以生成更为贴近物理规律的科学现象演化过程—— 例如流体运动、台风路径、湍流结构等。

  • 论文标题:Latent Knowledge-Guided Video Diffusion for Scientific Phenomena Generation from a Single Initial Frame
  • 论文地址:https://arxiv.org/abs/2411.11343

不同于以往依靠语言提示或大规模视觉数据的生成方式,这项方法让模型在 “看懂科学” 的基础上自己推演后续的演化轨迹,在生成式 AI 中注入了 “物理直觉(physical intuition)”。该研究已被人工智能顶会 AAAI 2026 正式接收。

图一:整体算法框架。该方法通过参数高效的微调将潜在的物理现象知识融入视频扩散模型中,从而在数据受限的场景下实现更贴近物理规律的视频生成。

方法介绍

如图一所示,整个方法核心可分为三步:潜在知识提取 → 伪语言提示生成 → 知识引导视频生成。

第一步:从一帧中提取 “潜在科学知识”

研究的起点是极具挑战性的设定:模型只能获得一帧初始图像。在这种情况下,它需要有“潜在科学知识”,从而“推断”出后续的动态演化。为此,作者设计了两种互补的知识提取模块:

  • 静态知识(Static Knowledge)—— 通过预训练的 Masked Autoencoder (MAE) 提取。这一步相当于让模型 “看懂” 一帧图像中隐含的结构规律,例如流场初始条件、温度梯度、云层形态等。不同于一般视觉自监督方法中随意的旋转、噪声扰动,研究者刻意避免破坏物理连续性的增强方式,使 MAE 能在 “科学一致性” 条件下学习。
  • 动态知识(Dynamic Knowledge)— 通过 光流预测网络(Optical Flow Predictor, OFP) 提取,用以捕捉物理系统的运动趋势,如流体方向或旋涡迁移。这一模块让模型 “想象” 科学现象的运动轨迹,从而获得对动力学过程的隐式理解。通过这两个模块,模型获得了一种 “潜在物理直觉”:它不仅看到静态状态,还能感受到变化的方向。

第二步:让科学知识 “说话”—— 伪语言提示生成

扩散模型通常依赖文字提示(prompt)来控制生成,但在科学领域,“语言提示” 很难准确定义。例如,用自然语言准确描述 “一个雷诺数为 10⁵ 的流场如何演化”就极为困难。为此,研究者创新性地利用了 CLIP 模型的跨模态对齐特性。他们将前一步提取的视觉特征与科学知识特征输入 CLIP 的视觉空间中,并通过一种四元数网络(Quaternion Network)进行投影,把这些潜在特征转换成伪语言提示嵌入(pseudo-language embeddings)。

这一步的关键思想是,避开文字局限,通过跨模态特征对齐与多维信息融合,使科学知识转化为可被扩散模型解析的引导信号。四元数网络使模型能在多维空间中同时处理图像、静态知识、动态知识与频率信息,从而生成能够引导扩散模型的语义性信号。研究者还将频域(Frequency Domain)特征注入提示生成过程,让模型在 “空间-频率” 两个维度理解科学规律。

第三步:知识引导下的视频生成

在拥有这些 “伪语言提示” 后,研究者将其注入 Stable Video Diffusion (SVD) 或 CogVideoX 的注意力层,通过 LoRA(Low-Rank Adaptation) 的方式进行轻量微调。

在训练阶段,模型从真实的科学视频(如流体仿真、台风演化)中学习如何从噪声逐步重建出物理一致的视频序列;在推理阶段,它只需要输入一帧图像,就能借助潜在知识推演出整个动态过程 —— 实现从 “初态” 到 “演化” 的全程科学生成。这种机制让模型不再仅仅是图像生成器,而是一个能够模拟科学规律的世界现象生成器(World Phenomena Simulator)。

模型结果

研究团队在流体力学仿真数据和真实台风观测数据上进行了大规模实验,结合数值精度指标和物理精度指标进行评估。该模型的输出不仅呈现效果更优,更关键的是,它生成得更 “科学”。

在实验中,研究者分别使用了四种典型的流体模拟场景:Rayleigh-Bénard Convection(瑞利 - 贝纳德对流)、Cylinder Flow(圆柱绕流)、DamBreak(溃坝流)和 DepthCharge(深水爆炸 / 水下爆炸)。这些都是流体力学中经典而复杂的物理过程。此外,研究者还将方法应用于真实卫星观测的台风数据,选取了 4 个台风事件(202001、202009、202102、202204),让模型在仅看到一帧初始卫星图像的情况下,推演整个风暴演化。

图二:台风现象生成效果对比。

图三:流体现象生成效果对比。

定性上看,如图二和图三所示,传统视频扩散模型(如 Stable Video Diffusion 或 CogVideoX)往往会 “画出” 违背物理规律的画面。在相同的初始帧下,传统模型生成的流体场常出现 “静止涡旋” 或 “反重力液面”,而本研究的模型则能自然还原出连续的流动与下泄过程。现有模型生成的台风中心漂移、风眼逆转、云层断裂;而新方法生成的视频不仅结构连贯,而且旋转方向、云带卷吸、能量分布都更好的保持了物理合理性。

表一:对流体模拟数据(左)和真实台风数据(右)进行定量评估。

定量上评估,除了传统的 RMSE 和 SSIM 指标,为了验证生成结果是否 “符合科学”,研究团队设还基于六项物理一致性指标,从不同角度评估生成视频是否尊重物理规律:

  • RMSE:像素层误差,衡量整体偏差;
  • SSIM:结构相似性,衡量图像纹理保持程度;
  • SFE(Stream Function Error):流函数误差,检验流体走向与真实场是否一致;
  • SE(Smoothness Error):平滑度误差,考察流场演化是否连贯;
  • GS(Gradient Smoothness):梯度平滑度,评估空间变化是否自然;
  • CS(Continuity Score):连续性得分,检验是否违反质量守恒;
  • QCE(Q-Criterion Error):涡度判据误差,衡量涡旋结构是否被保持;
  • VE(Vorticity Error):旋涡误差,检查流体旋转强度的一致性。

如表一所示,在所有这些指标上,新模型都显著超越了主流方法。例如,在流体模拟任务中,Q-Criterion 误差降低了一个数量级,意味着生成视频的涡旋结构具有更强的物理一致性;而在台风预测任务中,SSIM 提升超过 10%,RMSE 降低 20% 以上,证明生成结果更加贴近真实观测。

总结

综上所述,这项研究展示了生成式 AI 在科学建模方向上的一次有意义的探索。通过让视频扩散模型学习潜在的科学知识,研究团队让 AI 不再只是 “画出” 自然现象,而能 “推演” 出它们的演化逻辑。

在从一帧图像生成出完整科学过程的同时,模型也学会了遵守能量守恒、流体连续性等自然规律。需要明确的是,由于缺少未来边界条件等约束信息,其生成的并非未来真实发展的唯一结果,而是物理上可行的解。这种从 “视觉生成” 到 “科学生成” 的转变,意味着生成模型开始具备理解物理世界的潜能。

未来,这一方向有望在气象预测、流体仿真、地球系统建模等领域发挥更大作用,让 AI 真正成为科学家的助手,而不仅是艺术家的画笔。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
每次跟丈夫同房我都疼得发抖,他总推说是自己身体太壮,直到瞒着他去拿体检报告,医生的话让我透心凉

每次跟丈夫同房我都疼得发抖,他总推说是自己身体太壮,直到瞒着他去拿体检报告,医生的话让我透心凉

晓艾故事汇
2026-11-19 11:28:28
CBA杯-广东队终于赢了,球迷却高兴不起来,球队除了徐杰一无是处

CBA杯-广东队终于赢了,球迷却高兴不起来,球队除了徐杰一无是处

南海浪花
2026-11-19 22:08:35
油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

猪友巴巴
2026-11-19 09:14:41
中国砸几千亿搞电车,图什么?环保是幌子,石油是借口!真相只有一个:燃油车这条老路,再追二十年也只能闻人家尾气!

中国砸几千亿搞电车,图什么?环保是幌子,石油是借口!真相只有一个:燃油车这条老路,再追二十年也只能闻人家尾气!

扶苏聊历史
2026-11-09 14:37:26
又输球了,单核真带不动啊!悔啊!5个此轮有什么用呢……

又输球了,单核真带不动啊!悔啊!5个此轮有什么用呢……

体育新角度
2026-11-19 15:55:55
国羽22岁新星泪洒现场!陈雨菲回应爆冷出局,香港赛八强名单出炉

国羽22岁新星泪洒现场!陈雨菲回应爆冷出局,香港赛八强名单出炉

排球黄金眼
2026-11-19 22:29:44
王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

巢客HOME
2026-11-19 11:00:09
AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

临云史策
2026-11-19 21:00:13
婚礼伴娘团全员花臂,新郎:我挑了“纹身最少”的那个!网友:再漂亮也不娶

婚礼伴娘团全员花臂,新郎:我挑了“纹身最少”的那个!网友:再漂亮也不娶

蝴蝶花雨话教育
2026-11-20 00:05:13
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

叨唠
2026-11-19 00:04:18
谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

唠叨说历史
2026-11-18 14:54:51
上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

上海一奥迪女销售请客户吃饭,细节被爆出,父母:脸都被丢尽了

红豆讲堂
2025-04-14 12:25:10
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
老天对一个人可以残忍到啥程度?网友:这是剧本还是真事,真有这么惨绝人寰的事吗

老天对一个人可以残忍到啥程度?网友:这是剧本还是真事,真有这么惨绝人寰的事吗

带你感受人间冷暖
2026-11-20 00:05:18
终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

扶苏聊历史
2026-09-09 18:28:50
台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

扶苏聊历史
2026-11-02 13:50:13
6位受邀出席APEC的企业家,商界地位不一般,个个都得到国家认可

6位受邀出席APEC的企业家,商界地位不一般,个个都得到国家认可

林轻吟
2026-11-19 07:23:49
奥妹为艺术全裸献身,这部R级影片太生猛了

奥妹为艺术全裸献身,这部R级影片太生猛了

来看美剧
2026-11-18 21:33:34
美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

忧郁天空
2026-11-18 18:32:55
墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

雅俗共赏1
2025-09-03 14:00:28
2026-11-20 00:44:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
游戏
教育
房产
旅游

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

房产要闻

6.6亿!海口卖地!

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

无障碍浏览 进入关怀版