网易首页 > 网易号 > 正文 申请入驻

普林斯顿大学发现视频生成模型的"早期规划"秘密

0
分享至


普林斯顿大学的研究团队发表在2026年arXiv预印本(编号:arXiv:2603.30043v1)上的这项研究,揭开了一个令人惊讶的发现:视频生成模型在创造视频的最初几步就已经决定了整个故事的走向,就像一个熟练的导演在开拍前就已经构思好了完整的剧本。这项研究首次深入探索了视频扩散模型内部的"思考"过程,发现了它们具有比我们之前认识到的更强大的推理能力。

研究团队选择了迷宫解决这个看似简单却需要复杂规划的任务作为研究对象。迷宫解决就像是给AI出的一道智力题——它需要找到从起点到终点的正确路径,同时避开所有的障碍物。这个任务特别适合研究AI的推理能力,因为解决迷宫需要的不仅仅是简单的图像识别,还需要空间规划、路径优化和约束满足等复杂的认知能力。

通过对Wan2.2-14B和HunyuanVideo-1.5这两个先进视频模型的深入分析,研究人员发现了两个关键现象。第一个现象被他们称为"早期规划承诺",意思是视频模型在生成过程的前几个步骤中就已经确定了主要的运动轨迹,后续的计算主要用于完善视觉细节而不是改变基本路径。第二个发现是路径长度而非障碍物密度是决定迷宫难度的主要因素,存在一个明确的失败阈值——当需要走12步以上的路径时,模型的成功率会急剧下降。

基于这些发现,研究团队开发了一套名为ChEaP(Chaining with Early Planning,早期规划链接法)的新方法,这套方法只对那些在早期阶段显示出有希望规划的种子进行完整计算,并将多个成功的短段连接起来处理复杂迷宫。实验结果显示,这种方法将长路径迷宫的准确率从7%提升到了67%,在困难任务上整体性能提升了2.5倍。

一、视频AI的"大脑"是如何工作的

当我们观看一部电影时,每一帧画面都承载着故事的一部分,而导演需要确保整个故事线条清晰连贯。视频生成AI面临的挑战与此类似,但更加复杂——它需要在没有剧本的情况下,仅凭一张静态图片和简单的文字描述,就创造出一个完整的动态故事。

研究团队发现,当前的视频生成模型采用了一种叫做"扩散"的技术,这个过程就像是从一团混乱的噪声中逐渐"雕刻"出清晰的视频内容。如果把这个过程比作艺术家创作雕塑,那么艺术家会先确定作品的整体轮廓和基本形状,然后再逐步精细化各种细节。视频AI的工作方式正是如此——它在创作过程的早期就确定了主要的运动方向和基本路径,后续步骤主要用于提升画质和增加细节。

这种工作模式带来了一个重要启示:如果AI在早期阶段就已经"想好"了要怎么做,那么我们完全没必要让每个尝试都走完整个流程。就好比一个学生在考试时,如果他在读完题目的前几秒钟就知道自己不会做这道题,那么继续花时间在这道题上就是浪费,不如把时间用在其他有希望的题目上。

研究人员通过大量实验验证了这一理论。他们让AI模型解决从4×4到10×10大小不等的迷宫,发现无论迷宫大小如何变化,模型都会在生成过程的前25%时间内确定基本路径,剩余75%的时间主要用于提升视频的视觉质量。这个发现彻底改变了我们对视频AI工作机制的理解。

二、迷宫游戏中的智慧较量

选择迷宫作为研究对象并非偶然。迷宫解决是一个看似简单却需要复杂推理的任务,就像给孩子设计的智力游戏——规则简单明了,但要找到最佳解决方案却需要仔细规划。研究团队使用了两个经典的迷宫环境:Frozen Lake和VR-Bench。

在Frozen Lake环境中,一个小精灵需要从左上角出发,到达右下角的礼物,同时避免掉入冰湖。这个设定就像冬天在结冰的湖面上行走,需要小心选择每一步的落脚点。VR-Bench环境则提供了更多样化的视觉风格和约束类型,包括各种纹理的迷宫和陷阱场地,测试AI是否能在不同视觉环境下保持同样的规划能力。

研究过程中,团队观察到了一个有趣的现象:模型的失败模式存在明显的阶段性特征。在简单迷宫中,模型主要因为超出时间限制而失败——它知道正确的路径,但视频时长不够完成整个旅程。在复杂迷宫中,模型更多是因为违反约束而失败——它可能会让精灵直接穿过冰湖,或者让目标礼物自己移动到精灵附近,这些都违反了游戏的基本规则。

更令人惊讶的是,研究人员发现路径长度是影响难度的决定性因素,而障碍物的密度几乎不产生影响。换句话说,一个布满障碍但路径很短的迷宫,比一个障碍很少但需要绕远路的迷宫要容易得多。这就好比开车时,堵车的城市道路虽然复杂,但如果距离很近,反而比通畅的高速公路长途驾驶更容易应对。

三、"早期规划承诺"的重大发现

研究团队最重要的发现之一就是"早期规划承诺"现象。为了理解这个概念,我们可以想象一个优秀的象棋选手在对弈时的思考过程。他们通常在看到棋局后的几秒钟内就能判断出几种可能的策略方向,然后在这些大方向中选择一个,再花时间完善具体的步骤细节。视频AI的工作方式与此惊人地相似。

研究人员通过一种巧妙的方法验证了这一点。他们在视频生成过程中定期"偷看"AI的中间结果,就像透过毛玻璃观察正在创作的艺术品一样。虽然早期的预测图像模糊不清,但其中的运动轨迹已经基本确定。随着生成过程的进行,图像逐渐变得清晰,但基本的路径规划几乎不再改变。

具体来说,在生成包含40个计算步骤的视频过程中,AI模型在第5步就已经确定了93%的最终轨迹。这意味着剩余35步的计算主要用于提升画质、增加动画细节和完善视觉效果,而不是重新思考路径规划。这个发现具有重要的实用价值——如果我们能在早期阶段就识别出有希望的规划,就可以大大提高计算效率。

为了进一步验证这一发现,研究团队还进行了一个有趣的对比实验。他们尝试在生成过程中途"重新洗牌"——在某个中间步骤添加新的随机噪声,强制AI重新规划路径。结果显示,来自同一个初始随机种子的不同分支路径高度相似,而来自不同随机种子的路径则差异显著。这进一步证实了路径规划主要由初始条件决定,而不是在生成过程中逐步演化形成的。

四、智能筛选策略的诞生

基于"早期规划承诺"的发现,研究团队开发了一种名为早期规划波束搜索(EPBS)的新方法。这种方法的核心思想非常直观:既然AI在早期就能显示出规划的好坏,为什么不提前筛选出最有希望的候选者,只对它们进行完整的计算呢?

这就像组织一场大型选秀比赛。传统做法是让每个参赛者都完整表演完整个节目,然后评选出最佳表现。但EPBS的做法是先让所有参赛者表演开头几分钟,根据开头表现筛选出最有潜力的候选者,然后只让这些入围者完成完整表演。这样既节省了时间和资源,又能找到最佳表现者。

EPBS方法包含两个关键组件。第一个是轻量级的轨迹验证器,它能快速评估部分生成的视频片段质量。这个验证器就像一个有经验的评委,能够从开头几个动作就判断出表演者的水准。第二个组件是智能的资源分配策略,它根据早期表现决定哪些候选者值得投入完整的计算资源。

验证器的工作原理相当巧妙。它主要关注两个方面:目标进展和约束遵守。目标进展衡量的是精灵是否朝着正确的方向移动,约束遵守检查的是精灵是否违反了游戏规则(比如走进冰湖)。通过综合这两个因素,验证器能给出一个置信度分数,分数高的候选者将获得完整生成的机会。

实验结果令人鼓舞。在相同的计算预算下,EPBS方法在4×4迷宫上的成功率达到88.2%,而传统的"最佳N选1"方法只能达到61.8%。更重要的是,EPBS在保持相同准确率的情况下,计算量减少了3.3倍。这种效率提升在大型迷宫中更加明显,因为大型迷宫的成功候选者更加稀少,早期筛选的价值更大。

五、链式推理突破长程限制

尽管EPBS方法显著提升了效率,但研究人员发现了一个根本性的限制:当迷宫需要超过12步才能完成时,即使是最优秀的候选者也很难成功。这就像人类的工作记忆有限制一样——我们可以同时记住大约7个电话号码数字,但要记住一个20位的数字序列就变得极其困难。

面对这个挑战,研究团队受到了人类解决复杂问题策略的启发。当我们面对一个复杂的大项目时,通常会将其分解为几个较小的子任务,逐一完成后再组合成最终结果。基于这一思路,他们开发了链式推理方法,将长路径迷宫分解为多个较短的片段,每个片段都在AI的能力范围内。

链式推理的工作流程就像接力赛跑。第一个"跑者"从起点出发,跑到自己能力范围内的最远距离,然后将"接力棒"传给下一个跑者,下一个跑者从前一个跑者停下的地方继续前进。在迷宫解决的语境下,这意味着AI先生成一个较短的路径片段,到达一个中间位置,然后以这个中间位置为新起点,生成下一个路径片段,如此往复直到到达最终目标。

实施链式推理需要解决几个关键挑战。首先是中转点的选择——不是每个中间位置都适合作为下一段的起点。研究团队设计了一套标准来识别有效的中转点:精灵必须位于安全位置(不在冰湖中),必须比起点更接近目标,并且必须为下一段路径提供可行的选择空间。

其次是片段间的平滑连接问题。每个片段都是独立生成的,如何确保它们能够自然地连接成一个连贯的整体?研究团队采用了一种巧妙的方法:将前一个片段的最后一帧作为下一个片段的起始条件,这样就能保证视觉和逻辑的连续性。

将EPBS和链式推理结合形成的ChEaP方法在长路径迷宫上取得了突破性成果。在需要10-13步的长路径迷宫中,传统方法的成功率仅为7.3%,EPBS方法提升到16.4%,而ChEaP方法达到了惊人的67.3%。这种改进不仅在数字上令人印象深刻,更重要的是它证明了通过合理的策略组合,AI可以处理远超其原始能力范围的复杂任务。

六、深入探索失败的奥秘

理解AI如何成功固然重要,但理解它为什么失败同样有价值。研究团队对模型的失败模式进行了深入分析,发现了三种主要的失败类型:约束违反、时间限制和生成异常。

约束违反是最常见的失败类型,占到了大部分失败案例。这种失败就像游戏中的"作弊"行为——AI为了完成任务而违反了基本规则。具体表现包括让精灵直接穿过冰湖(违反了不能踩冰的规则),或者让目标礼物自己移动到精灵附近(违反了物体不能自主移动的规则)。有趣的是,这种"作弊"行为并非随机错误,而是AI在面临超出能力范围的挑战时的系统性应对策略。

时间限制失败反映了AI的规划视野有限。就像人类司机在浓雾中驾驶,只能看清前方有限的距离一样,AI模型也有其"视觉范围"限制。当迷宫需要的路径长度超过这个范围时,AI可能会开始走正确的路径,但在中途停下来或者选择错误的分支,最终无法在规定时间内到达目标。

生成异常包括各种技术性问题,比如精灵保持静止不动,或者生成的视频出现严重的视觉问题。这类失败相对较少,但提醒我们AI系统仍然存在稳定性挑战。

通过对比Wan2.2-14B和HunyuanVideo-1.5两个模型的失败模式,研究人员发现了一个有趣的差异。Wan2.2-14B模型在简单迷宫中主要因时间限制而失败,在复杂迷宫中才更多地违反约束。而HunyuanVideo-1.5模型在各种难度的迷宫中都倾向于违反约束。研究人员认为这可能与HunyuanVideo-1.5采用的步数蒸馏技术有关——为了在更少的计算步骤中完成任务,模型可能牺牲了对约束的严格遵守。

七、方法的广泛适用性验证

为了验证ChEaP方法不仅适用于特定的迷宫类型,研究团队在多个不同的环境中进行了测试。他们设计了一系列诊断性迷宫,每种都针对特定的挑战类型。

最简单的是"琐碎迷宫",只需要1-2步就能完成,主要用作基准测试。令人意外的是,即使在这些极简单的迷宫中,仍有40%的生成尝试会失败,这说明AI的生成过程本身存在随机性,即使是最简单的任务也不是百分百可靠的。

"诱饵迷宫"是最具挑战性的类型之一。在这种迷宫中,目标看起来就在起点旁边,只有一墙之隔,但实际上需要绕一大圈才能到达。这种设计测试的是AI是否会被视觉上的"捷径"误导。结果显示,大部分AI尝试都会选择直接穿墙的非法路径,只有很少数能够识别出正确的绕行路线。

"湖泊密集迷宫"中超过75%的格子都是不可通行的冰湖,只留下一条狭窄的安全通道。这种设计测试AI在高约束环境下的导航能力。出人意料的是,这种迷宫的成功率相对较高,证实了研究团队之前的发现——障碍物密度并不是影响难度的主要因素。

"绕道迷宫"将起点和终点设置得很近,但中间有一堵"墙"阻挡,迫使AI选择较长的绕行路径。这种迷宫最能体现路径长度对难度的影响。当绕行路径需要8步时,AI还能勉强应对,但当需要12步或更多时,成功率就急剧下降。

八、技术创新的深层意义

ChEaP方法的成功不仅在于其实际效果,更在于它揭示了一个重要的技术哲学问题:如何更好地利用AI的内在能力。传统的AI优化方法通常专注于改进模型本身——使用更大的网络、更多的数据或更先进的算法。而ChEaP方法则采用了不同的思路:通过更好地理解和利用现有模型的工作机制来提升性能。

这种思路的转变具有重要意义。随着AI模型变得越来越大、训练成本越来越高,简单地通过增加模型规模来提升性能的策略面临着越来越大的限制。相反,通过深入理解模型的内在工作机制,我们可能发现更多像ChEaP这样的"四两拨千斤"式的改进方法。

早期规划承诺现象也为我们理解人工智能的认知过程提供了新的视角。这种现象与人类的直觉决策过程有相似之处——我们在面对问题时往往在很短时间内形成初步判断,然后花更多时间完善细节。这种相似性暗示着当前的AI模型可能已经具备了某种形式的"直觉"能力。

研究还发现,不同的AI模型虽然在架构和训练方式上存在差异,但都表现出类似的早期规划承诺现象。这表明这种现象可能是视频生成模型的一个普遍特征,而不是特定模型的偶然表现。这为开发更通用的优化策略提供了基础。

九、未来应用前景展望

虽然这项研究是在迷宫解决这个相对简单的任务上进行的,但其发现的原理可能具有更广泛的应用价值。早期规划承诺和智能资源分配的概念可以扩展到许多其他需要序列决策的AI任务中。

在自动驾驶领域,车辆需要在复杂的交通环境中做出实时路径规划决策。如果自动驾驶系统也表现出类似的早期规划承诺现象,那么我们就可以开发更高效的决策算法,在保证安全性的同时提升响应速度。

在机器人导航中,移动机器人需要在未知或动态变化的环境中找到最优路径。ChEaP方法的链式推理思想可以帮助机器人将长距离导航任务分解为多个短程规划问题,每个问题都在其处理能力范围内。

在更广泛的AI规划任务中,比如项目管理、资源调度或者游戏策略,早期识别和筛选有前景的方案同样具有重要价值。这可以显著提升AI系统处理复杂规划问题的效率和成功率。

研究团队也指出了当前方法的一些限制。ChEaP方法需要一个可靠的早期评估器,这在某些任务中可能难以设计。链式推理方法容易出现误差累积,每个链段的小错误可能在后续段落中被放大。此外,当前的研究主要集中在空间导航任务上,其发现是否适用于其他类型的推理任务还需要进一步验证。

十、对人工智能发展的启示

这项研究为我们重新审视人工智能的发展方向提供了宝贵的启示。长期以来,AI研究的主流思路是通过增加模型规模和训练数据来提升性能,这种"暴力美学"的方法虽然有效,但也带来了计算成本急剧上升和能耗增加等问题。

ChEaP方法展示了另一种可能性:通过深入理解AI系统的内在工作机制,我们可以在不改变模型本身的情况下大幅提升其性能。这种"智能利用"的思路可能是未来AI发展的一个重要方向,特别是在当前AI模型规模已经达到前所未有水平的背景下。

研究还揭示了当前AI系统具有的一些类似人类的认知特征。早期规划承诺现象类似于人类的直觉判断过程,而链式推理策略则类似于人类分解复杂问题的方法。这些相似性暗示着,虽然AI系统的工作原理与人脑不同,但在某些层面上可能存在功能上的趋同演化。

从更哲学的角度来看,这项研究也提出了关于AI能力本质的问题。如果AI模型确实具有比我们之前认识到的更强的推理能力,那么问题可能不在于如何让AI更聪明,而在于如何更好地发掘和利用其已有的智能。这种观点转变可能会推动AI研究从"增强智能"转向"释放智能"。

说到底,这项来自普林斯顿大学的研究最大的价值,可能不在于它解决了迷宫问题,而在于它为我们提供了一个全新的视角来理解和改进AI系统。通过揭示视频生成模型的"早期规划"秘密,研究团队不仅开发出了实用的优化方法,更重要的是为AI领域的未来发展指明了一个充满希望的方向。在这个方向上,我们不需要总是造更大的船,有时候学会更好地驾驶现有的船就足够了。

对于普通人来说,这项研究的意义在于它展示了AI技术正在变得更加高效和实用。随着类似ChEaP这样的优化方法不断涌现,我们可能会看到AI应用在保持甚至提升性能的同时,变得更加节能和经济。这意味着高质量的AI服务可能会以更低的成本提供给更广泛的用户群体,让AI技术真正走入千家万户。想要深入了解这项研究技术细节的读者,可以通过arXiv编号2603.30043v1查找完整论文。

Q&A

Q1:视频AI模型的"早期规划承诺"是什么意思?

A:早期规划承诺是指视频AI模型在生成视频的前几个步骤中就已经确定了主要的运动轨迹和基本路径,后续的计算步骤主要用于完善视觉细节而不是改变基本规划。就像艺术家画画时先勾勒整体轮廓,再填充具体细节一样。

Q2:ChEaP方法如何提升视频AI解决迷宫的成功率?

A:ChEaP方法通过两个策略提升成功率:一是早期筛选,只对在初期阶段显示出有希望规划的候选者进行完整计算;二是链式推理,将长路径迷宫分解为多个较短片段逐一完成。这种方法将长路径迷宫的成功率从7%提升到67%。

Q3:为什么路径长度比障碍物密度更影响迷宫难度?

A:研究发现AI模型存在类似人类工作记忆的限制,当需要规划的步数超过12步时成功率急剧下降,而障碍物多少对成功率影响很小。这就像开车时,距离远比路况复杂更让人疲劳,因为长距离需要持续的注意力和规划能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谁也没想到认罪仅3月,许家印又爆新雷!那个神秘女人早就脱身了

谁也没想到认罪仅3月,许家印又爆新雷!那个神秘女人早就脱身了

小怪吃美食
2026-07-19 00:30:05
美曾预测:若核战全面爆发,将杀死50亿人!中国院士:我们防得住

美曾预测:若核战全面爆发,将杀死50亿人!中国院士:我们防得住

混沌录
2026-05-30 00:10:09
上海突遭暴雨袭击 最大过程雨量超200毫米

上海突遭暴雨袭击 最大过程雨量超200毫米

看看新闻Knews
2026-07-19 19:00:54
百亿富豪密春雷再爆雷!欠钱只是冰山一角,连老婆董卿也救不了他

百亿富豪密春雷再爆雷!欠钱只是冰山一角,连老婆董卿也救不了他

料峭春寒洞
2026-07-19 13:43:29
彻查!信号强烈!中央升级反腐“天网”!

彻查!信号强烈!中央升级反腐“天网”!

细说职场
2026-07-19 13:24:04
事实证明,已经“消失”7年的周立波,早已走上一条不归路

事实证明,已经“消失”7年的周立波,早已走上一条不归路

素衣读史
2026-04-16 19:41:20
重大损失!苗兴伟今早逝世,年仅58岁

重大损失!苗兴伟今早逝世,年仅58岁

南方都市报
2026-07-19 23:55:33
姆巴佩世界杯金靴超越梅西,姆巴佩赛后表示:无法超越历史级传奇

姆巴佩世界杯金靴超越梅西,姆巴佩赛后表示:无法超越历史级传奇

体育闲话说
2026-07-19 09:13:50
大暑前后有一波横财要接的3个生肖,红利突降,赚丰厚家底!

大暑前后有一波横财要接的3个生肖,红利突降,赚丰厚家底!

毅谈生肖
2026-07-19 17:51:07
黄仁勋CES 2026一句话点破AI瓶颈:内存再不够用了,美光闪迪股价随即跑赢英伟达

黄仁勋CES 2026一句话点破AI瓶颈:内存再不够用了,美光闪迪股价随即跑赢英伟达

爬虫饲养员
2026-07-19 04:02:20
终于发现:凡是家里有学霸的家庭,妈妈都有同一个特点,太准了

终于发现:凡是家里有学霸的家庭,妈妈都有同一个特点,太准了

户外阿毽
2026-07-20 00:03:26
如何看待200万粉网红诋毁袁隆平?

如何看待200万粉网红诋毁袁隆平?

龙牙的一座山
2026-06-29 09:17:22
李诚儒评论区已沦陷!网友的评论,条条戳中他的肺管子

李诚儒评论区已沦陷!网友的评论,条条戳中他的肺管子

情感大头说说
2026-07-17 08:23:43
中国机器人头掉了还能坚持格斗!马斯克深夜转发称:看乐了

中国机器人头掉了还能坚持格斗!马斯克深夜转发称:看乐了

快科技
2026-07-19 14:14:05
37国共谋出兵?俄生死存亡关头!普京果断出手,直接搬出中俄条约

37国共谋出兵?俄生死存亡关头!普京果断出手,直接搬出中俄条约

徐云流浪中国
2026-07-20 02:08:52
阿如那同志个人简历

阿如那同志个人简历

草莓解说体育
2026-07-20 00:37:41
60岁老农上山砍柴,发现5年前失联儿子的汽车,打开车门后愣住了

60岁老农上山砍柴,发现5年前失联儿子的汽车,打开车门后愣住了

千秋文化
2026-07-16 19:54:44
卡卡:若赢得世界杯,亚马尔的职业生涯和生活都可能彻底改变

卡卡:若赢得世界杯,亚马尔的职业生涯和生活都可能彻底改变

懂球帝
2026-07-19 04:22:07
全面反俄?37国共谋出兵,俄生死存亡关头,普京政府搬出中俄条约

全面反俄?37国共谋出兵,俄生死存亡关头,普京政府搬出中俄条约

影孖看世界
2026-07-16 15:41:19
局势恶化!中方禁令准时生效,美国有麻烦了,特朗普已追责反华派

局势恶化!中方禁令准时生效,美国有麻烦了,特朗普已追责反华派

天气观察站
2026-07-19 15:59:57
2026-07-20 02:52:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
9222文章数 566关注度
往期回顾 全部

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

王侃因病逝世 两年前与父亲牛犇同台

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

被追尾还能自动加速逃生?华为乾崑智驾ADS 5.0 OTA时间表发布,只有这台车不用等!

态度原创

艺术
旅游
本地
亲子
公开课

艺术要闻

千万别盯着看超过三秒!西班牙老顽童用水彩"骗"过所有人的眼睛,美到犯规!

旅游要闻

走一趟镇安龙潭才懂,保山人的烟火与康养,全藏在这两汪水里!

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

亲子要闻

宝蓝和叔叔抢玩具车,叔叔不给,宝蓝自己组装了一个漂亮的玩具车

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版