新加坡国立大学：让视频生成变得如同手绘指示图一样简单

这项由新加坡国立大学方恭凡、马欣音和王新潮教授团队开展的研究发表于2025年11月，论文编号为arXiv:2511.19401v1。对于想要深入了解这项技术细节的读者，可以通过这个编号在学术数据库中查询完整论文内容。

当我们想要制作一个视频来展示某个想法时，通常需要复杂的拍摄设备、剪辑软件，或者至少需要详细描述我们想要的画面效果。但是现在，研究人员发现了一种全新的视频制作方式，就像在照片上画几个箭头、写几个字，电脑就能理解你的意图并自动生成相应的视频。

这就好比你在一张全家福照片上画个箭头指向某个人，然后写上"招手"，电脑就能让这个人在视频中自然地挥手打招呼。或者你在一张风景照上画个弧形箭头，写上"飞过天空"，照片中的鸟儿就会按照你画的路径在视频中飞翔。这种技术被称为"视频内指令"，它让普通人也能像导演一样精确控制视频中每个元素的行为。

想象一下，如果你有一张猫咪聚会的照片，你想让其中一只特定的猫跳下来。传统方法需要你写一大段描述："请让照片右侧第三只橘色的猫咪优雅地跳下岩石"。但有了这项新技术，你只需要在那只猫咪旁边画个箭头，写上"跳下来"就行了。电脑能准确理解你指的是哪只猫，以及你希望它做什么动作。

这项技术的核心创新在于它完全不需要重新训练任何模型。研究团队发现，现有的视频生成系统本身就具备理解视觉指令的能力，只是之前没有人想到要这样使用。就像发现一台看起来只能播放音乐的设备其实还能显示歌词一样，这些视频生成系统原来就能"读懂"图片上的文字和箭头。

研究团队在三个顶级的视频生成系统上测试了这项技术，包括谷歌的Veo 3.1、快手的Kling 2.5，以及开源的Wan 2.2。结果显示，这些系统都能很好地理解和执行视觉指令，特别是在处理多个物体同时行动的复杂场景时表现出色。

一、传统视频制作的痛点与突破

在传统的视频制作过程中，人们主要依赖文字描述来告诉电脑想要什么样的视频效果。这就好比你想让朋友帮你重新布置房间，但只能通过电话进行指导，不能指着具体的物品说"把那个移到这里"。这种方式经常会产生误解，特别是当房间里有很多相似物品时。

以制作一个动物园的视频为例，如果你想让画面中的第五只企鹅做出特定动作，你需要写出类似"让从左数第五只、站在石头上的那只小企鹅低头觅食"这样复杂的描述。即使这样，电脑也可能搞混哪只是"第五只"，因为企鹅们看起来都差不多。

更头疼的是多步骤动作的描述。假如你想让一只海豹先跳入水中，再游到岸边，最后爬上岸，传统方式需要你写一个小故事来描述整个过程。而且这种文字描述很难精确控制动作的空间位置和时间节奏。

研究团队意识到，人类在日常生活中指示他人做事情时，往往会结合手势、指向和简短的话语。比如在指路时，我们会说"往那边走"的同时用手指向具体方向。这种多模态的交流方式比纯粹的语言描述要高效准确得多。

基于这个洞察，研究人员开发出了"视频内指令"技术。这项技术的核心思想是让人们可以直接在图片上"画出"自己的意图，就像在地图上标记路线一样直观。电脑不再需要猜测你想要控制哪个物体，因为你已经用箭头明确指出了。它也不需要理解复杂的运动描述，因为你已经用图形化的方式展示了期望的动作。

这种方法的优势在于它消除了语言描述中的歧义。当你在一只特定的猫咪旁边写上"向左走"时，系统知道你指的是这只猫，而不是其他猫。当你画出一个弧形箭头时，系统理解你希望物体按照这个轨迹移动。这种空间上的精确对应关系，使得复杂场景的控制变得前所未有的简单。

二、技术核心：让电脑学会"看懂"手绘指令

这项技术的精妙之处在于它极其简单，却异常有效。整个系统只使用两种基本元素：简短的文字命令和箭头指示。这就好比学会了两个最基本的"单词"，却能表达无数复杂的意思。

文字命令就像给朋友发的简短消息，比如"转身"、"跳跃"、"飞走"这样的动词短语。这些命令不需要复杂的语法结构，就像体育教练给运动员的口令一样简洁明了。关键是这些文字要直接写在图片上，就像给照片加标注一样。

箭头则承担了空间定位的重要任务。它们不仅能指出动作的目标对象，还能表示运动的方向、路径甚至是影响范围。直线箭头表示直接的移动方向，弧形箭头可以指示旋转或曲线运动，而多个箭头组合起来甚至能描绘复杂的运动轨迹。

这两种元素的组合使用产生了强大的表达能力。在一张鸟群飞行的照片上，你可以给不同的鸟画不同的箭头，有的向左飞，有的向右飞，有的保持原地。每只鸟旁边的文字和箭头就像专门给它的"个人指令"，其他鸟不会受到影响。

更有趣的是多步骤指令的处理方式。研究团队发现，通过给指令编号，电脑能理解动作的先后顺序。比如在一张海豹照片上写"1.跳入水中"、"2.游向岸边"、"3.爬上石头"，系统就会按照这个顺序生成连续的动作序列。这就像给演员一份分步骤的剧本，每一步都清晰明确。

系统的工作原理是将这些视觉指令当作图片的一部分来理解。就像人类看到路标时会自然地理解其含义一样，训练好的视频生成系统也具备了理解图片中文字和符号的能力。当系统看到一个箭头指向某个物体时，它会将这理解为一种空间关系和动作指示。

令人惊讶的是，这项技术完全不需要对现有系统进行任何修改或重新训练。研究人员只是改变了输入方式，让原本只能理解文字描述的系统突然获得了理解视觉指令的能力。这就好比发现一个人不仅能听懂语言，原来还能理解手语，而且这种能力一直都在，只是没有被充分利用。

为了确保系统正确理解指令，研究团队设置了一个固定的文字提示："请按步骤执行指令"。这句话就像给系统的总指挥命令，告诉它要认真观察图片上的所有指示并付诸行动。有了这个"启动指令"，系统就会仔细分析图片中的每个文字标注和箭头标记，然后生成相应的视频内容。

三、实际应用效果：从简单动作到复杂场景的全面掌控

当理论变成现实时，这项技术展现出的效果让人印象深刻。研究团队进行了大量实验，从最基础的单一物体动作控制，到复杂的多物体协调运动，每一项测试都验证了这种方法的实用性。

在文字理解能力的测试中，研究人员使用了专业的视频评估标准VBench，这是一个广泛认可的视频质量测试工具。结果显示，虽然通过图片中嵌入的文字来控制视频生成的效果略低于直接使用文字描述，但差距很小，完全在可接受的范围内。这就像用手写便条和打印文件传达同样信息，虽然清晰度可能略有差异，但信息传达的准确性基本相当。

更重要的是空间定位能力的测试。研究团队设计了一个特别有趣的对比实验：让系统在一群相似动物中精确控制其中一只的行为。比如在一张有十几只猫咪的照片中，要求让"从左数第五只猫"做出特定动作。传统的文字描述方法经常会搞错目标，而视频内指令方法只需要在目标猫咪旁边画箭头写文字，准确率大大提高。

在动作控制方面，这项技术展现了令人惊讶的精细度。研究人员测试了四种基本动作类型。平移动作就像让物体从一个地方移动到另一个地方，箭头指向哪里，物体就朝那个方向运动。旋转动作则通过弧形箭头来指示，物体会按照箭头的弯曲方向自然转动。

轨迹控制可能是最令人印象深刻的功能。当你在图片上画出一条曲线时，比如让一只鸟按照S形路径飞行，系统真的能让鸟儿沿着你画的路线在空中翱翔。这就好比你在地图上画出行车路线，GPS不仅能理解路线，还能指导实际的驾驶行为。

姿态调整则展现了更细腻的控制能力。在企鹅的例子中，当指令是"低头觅食"时，企鹅不仅会低下头，还会做出符合觅食行为的自然动作。这种对细节的把握表明，系统不仅理解了动作指令，还具备了对动作含义的深层理解。

摄像机运动控制是另一个重要功能。虽然这不是技术的核心优势领域，但研究显示，通过在图片顶部添加简单的指令如"向左移动"、"放大"等，也能有效控制画面的拍摄角度和焦距变化。这为视频制作提供了额外的创意空间。

在多物体控制的测试中，技术的优势更加明显。在一个有多只鸟的场景中，研究人员可以让其中两只"飞走"，同时让第三只"保持原地"。每只鸟都收到了专属的指令，系统能准确区分并执行不同的动作要求。这种精确的多目标控制在传统文字描述方法中几乎不可能实现。

最复杂的测试场景涉及多个物体执行不同的连续动作。在一个停车场的场景中，研究人员给三辆不同的汽车分配了不同任务：白色车"倒车"，蓝色车"右转"，红色车"停止"。系统不仅正确识别了每辆车，还让它们同时执行了各自的动作，整个场景看起来自然而协调。

为了验证复杂指令的成功率，研究团队进行了人工评估。他们生成了24个视频样本，邀请人类评价员判断每个指令是否被正确执行。结果显示，简单指令如"停止"的成功率高达95.8%，中等难度的"右转"达到58.3%，而最困难的"倒车"也有20.8%的成功率。相比之下，传统文字方法的成功率普遍更低，特别是在复杂动作的执行上差距明显。

四、技术局限性与未来发展空间

尽管这项技术展现出了令人兴奋的潜力，但研究团队也诚实地指出了当前存在的一些限制。理解这些局限性对于正确评估技术的成熟度和应用前景同样重要。

最直观的问题是视觉污染。由于指令是直接画在图片上的，生成的视频中通常会保留这些标记。就好比你在照片上用马克笔画了箭头和文字，这些痕迹会出现在最终的视频中。虽然这些标记在视频播放过程中往往会逐渐淡化或被遮挡，但完全消除它们仍然需要后期处理。

研究人员注意到一个有趣现象：视频生成系统似乎具备某种"自我清洁"倾向。在生成的视频中，原始的指令标记经常会被物体运动或场景变化自然地掩盖掉。这表明系统在某种程度上"知道"这些标记不应该是最终场景的一部分。基于这个发现，研究团队建议可以通过改进文字提示，明确要求系统移除可见的标注，来进一步改善视频质量。

另一个限制来自于指令的复杂性。当前的技术主要适用于相对简单和直观的动作指令。对于需要复杂推理或多步骤逻辑的任务，效果可能不够理想。比如要求一个物体"避开障碍物移动到目标位置"这样需要路径规划的指令，目前还难以通过简单的箭头和文字来准确表达。

评估方法的局限性也是一个重要问题。目前的研究主要依赖定性分析和小规模的人工评估，缺乏大规模、系统性的量化评估框架。这使得技术的可靠性和普适性还需要更多验证。未来需要开发更完善的评估标准，以便更准确地衡量技术在不同场景下的表现。

研究中使用的指令都是人工精心设计的，而现实世界中存在大量自然的视觉信号，比如交通标志、广告牌、路标等。一个令人期待的发展方向是让系统能够理解和响应这些真实世界中的视觉指令。比如当画面中出现"禁止通行"标志时，系统能让视频中的车辆自动停下或改变方向。

技术的泛化能力也有待提高。目前的测试主要集中在相对简单的场景和动作上，对于更复杂的现实世界场景，比如繁忙的街道、复杂的室内环境等，技术的表现还需要进一步验证。

尽管存在这些局限性，但研究的意义远远超出了当前技术本身。它开辟了一个全新的人机交互范式，让普通人能够以更直观、更精确的方式控制AI系统的行为。这种方法不仅适用于视频生成，还可能扩展到其他领域，比如机器人控制、游戏设计、虚拟现实等。

从技术发展的角度来看，这项研究证明了现有AI系统隐藏的巨大潜力。许多我们认为需要重新开发的功能，实际上可能已经存在于现有系统中，只是需要用正确的方式来激发。这种"发现式创新"可能比"发明式创新"更容易实现，也更容易推广应用。

随着技术的不断完善，我们可以期待看到更多创新应用。比如教育领域，老师可以通过在图片上简单标记来制作生动的教学视频。设计师可以快速将静态的设计概念转化为动态演示。普通用户可以轻松制作个性化的社交媒体内容。这些应用场景的实现，将让更多人享受到AI技术带来的便利。

说到底，这项来自新加坡国立大学的研究为我们展示了AI技术发展的一个重要方向：让人工智能更好地理解人类的自然表达方式。通过视频内指令技术，我们不再需要学习复杂的命令语言或者掌握专业的操作技能，只需要用最直观的方式表达想法，AI就能理解并实现我们的意图。

这种技术的出现，让每个普通人都有可能成为视频创作者，用简单的涂鸦和标记就能制作出专业水准的动态内容。虽然技术还有改进空间，但它已经证明了让AI理解人类视觉语言的可行性。未来当这项技术更加成熟时，我们的数字创作方式可能会发生根本性的改变，就像从打字机到电脑的跨越一样意义深远。

对于想要深入了解技术细节的读者，可以通过论文编号arXiv:2511.19401v1在相关学术数据库中查找完整的研究报告，那里有更详细的实验数据和技术分析。

Q&A

Q1：视频内指令技术是什么原理？

A：视频内指令技术就像在照片上画简单的箭头和写几个字，电脑就能理解你的意图并生成相应的视频。它使用两种基本元素：简短的文字命令（如"跳跃"、"转身"）和箭头指示（指向目标物体或运动方向）。电脑会将这些视觉标记理解为具体的行动指令，然后让画面中的物体按照指示进行相应的动作。

Q2：这项技术比传统的文字描述视频生成有什么优势？

A：最大优势是精确定位和消除歧义。传统方法需要复杂的文字描述，比如"让从左数第三只猫做动作"，容易产生误解。而视频内指令直接在目标物体旁边画箭头写指令，系统能准确知道你指的是哪个物体。特别是在多物体场景中，每个物体可以有独立的指令，避免了传统方法中的混淆问题。

Q3：使用视频内指令技术需要重新训练AI模型吗？

A：完全不需要。这是该技术最令人惊讶的地方。研究人员发现现有的视频生成系统（如Veo 3.1、Kling 2.5等）本身就具备理解图片中文字和符号的能力，只是之前没有人想到这样使用。只需要改变输入方式，在图片上添加指令标记，再配合"请按步骤执行指令"这样的提示语，系统就能理解并执行视觉指令。