![]()
一个定居者家庭正在欣赏野牛群,突然两只恶魔般的翼兽从头顶飞过,他们开始奔跑逃命。小女孩像幽灵一样穿过了栅栏柱。
这个超现实的五秒场景是通过AI平台Runway中一个名为Motion Sketch的新功能创建的。顾名思义,它可以通过在静态图像上直接绘制的简单涂鸦来生成视频。
在下面的视频片段中,我首先使用Google的Nano Banana Pro生成了一张图像——这是Runway平台提供的文本转图像模型之一——然后简单地画了一些鸟状形状和两个箭头,指示家庭和野牛应该逃跑的方向。我添加了一些文本提示作为额外指导,模型完成了其余工作。
这个功能仍需要一些指导,就像ChatGPT经常需要多个精心制作的提示才能生成你想要的输出一样。尽管如此,它可能标志着AI生成视频的一大进步,特别是对于那些更喜欢视觉思考而非文字描述的创意行业专业人士。
"这个功能对所有类型的用户都很有帮助,"Runway产品经理Aditi Poduval告诉ZDNET。"最终,我们帮助人们获得精确的运动效果,而无需制作特定的书面提示。"
以下是我使用Motion Sketch后的体验心得。
在对疲惫定居者家庭图像的初步实验后,我决定进一步测试涂鸦功能。
我使用文本提示生成了家庭图像。但通过Runway的Nano Banana Pro也可以仅基于涂鸦创建图像,你可以像在Microsoft Paint中一样直接在平台上绘制。我是一名作家,不是视觉艺术家,但我尽力勾勒出希望看起来像从树枝上悬挂的蛇的图案。
然后,我转向Motion Sketch。如前所述,在定居者家庭实验中,我通过在涂鸦之外添加一些文本提示来帮助模型,但这次我想看看它在没有任何书面指导的情况下表现如何。我希望生成蛇向右滑行的视频片段,所以我沿着蛇身画了一些简单的运动指示箭头。任何六岁孩子都能理解这些箭头的含义,但AI表现如何呢?我将长度设置为10秒,选择了Runway的Gen-4.5视频模型(Google的Veo 3和Veo 3.1也可用),然后点击生成。
我期待的是蛇沿着树枝移动并从画面右下方退出的相对平滑片段,但我得到的要奇异得多。蛇在画面左侧留下了部分身体,另一条蛇从其身体中出现并从树上掉落。在某个时刻,它似乎长出了鳄鱼般的脚,用来在树枝上拖拽自己。我绘制的原始箭头也在片段开始时短暂出现,然后消解。
公平地说,蛇是生物奇迹,准确建模它们的运动对任何动画师——无论是人类还是机器——都不是小任务。模型似乎误解了我的多个箭头,将其理解为蛇同时向多个方向移动的指令,这显然让它困惑了。所以我回去在原始图像和箭头上添加了简单的文本提示:"蛇沿着树枝滑行。"
这次的最终产品更接近我的想法(没有突然复制蛇身或长出腿)。运动看起来仍然有些僵硬,但同样,蛇的运动是相当高的要求,涉及许多复杂的细致物理学。
再做一个实验:我想看看模型如何处理真实照片,所以我从笔记本电脑上传了一张:几个月前在布鲁克林Prospect Park拍摄的照片。
我画了一个实际上是火的通用图标:波浪形红线中镶嵌着橙色并向上辐射。同样,我不声称自己是天才插画师,但大多数人都能识别我想表达的内容。Runway的模型也识别出了,并在我照片中宁静的湖边场景中心投下了巨大的篝火。同样,我的草图在消失前短暂出现在片段中,以逐渐缩短的波浪线的迷幻运动形式。也许我在想象,但篝火旁的树木甚至似乎在其热量下变黑了。
像任何其他生成式AI工具一样,Motion Sketch有其不完善之处和故障(小女孩穿过木梁,蛇长出腿,我原始草图的波浪线在最终视频片段中短暂出现)。尽管如此,我印象深刻。
这是用AI生成视频的全新格式的一瞥,它可能比以往任何时候都更能降低想象力和制作之间的障碍。"这就是我一直在等待的,"一位X用户在Runway周二公告下发帖说。"绘制你的视觉然后观看它渲染成视频?对于无法终生进行提示工程的创作者来说绝对是游戏规则改变者。"
现在,如果你有特定愿景,它仍然需要相当多的试错,但同样,这是对未来可能性的激动人心的预览。它绝对值得尝试,即使——也许特别是——如果你只是以创造性的精神进入,对你真正想要制作的内容没有明确的愿景。
Motion Sketch至少需要Runway的标准订阅,每用户每月12美元,提供625个月度积分。
要从用户仪表板访问,点击左侧菜单中的"App",然后在"Explore Gen-4.5"收藏下或屏幕右半部分预览窗口下选择Motion Sketch,你会看到标有"立即尝试"的按钮。
从那里,只需上传图像并点击"草图"→"导出草图"→生成。
Q&A
Q1:Motion Sketch是什么?它有什么功能?
A:Motion Sketch是AI平台Runway推出的新功能,可以通过在静态图像上直接绘制的简单涂鸦来生成视频。用户只需在图片上画一些简单的线条或箭头,就能指示物体的运动方向,AI模型会自动生成相应的视频动画效果。
Q2:使用Motion Sketch需要什么条件和费用?
A:Motion Sketch至少需要Runway的标准订阅,每用户每月12美元,提供625个月度积分。用户可以从仪表板的"App"菜单进入,选择Motion Sketch功能,然后上传图像进行涂鸦创作。
Q3:Motion Sketch的效果如何?有什么局限性?
A:Motion Sketch能够识别简单的涂鸦指令并生成相应的视频效果,但仍有不完善之处。复杂的运动建模(如蛇的滑行)可能出现异常,有时需要结合文字提示来获得更好的效果。总体而言,它为视觉化创作提供了新的可能性。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.