网易首页 > 网易号 > 正文 申请入驻

宣战Sora!Runway最新视频生成模型上线,可生成10秒高保真、高动态视频

0
分享至


智东西
编译 李水青
编辑 心缘

智东西6月18日报道,6月17日,美国AI视频生成创企Runway推出新的视频生成模型Gen-3 Alpha,支持生成10秒左右的高质量视频。

//oss.zhidx.com/uploads/2024/06/6671067ee56b4_6671067ee159c_6671067ee1577_gen-3-alpha-output-008.mp4

▲提示:日本某城市高速行驶的火车窗户上,映出意味女性的微妙倒影。

Runway于2018年底创立于美国纽约,是最早做AI视频生成模型的创企之一。然而,在其2023年2月和6月分别推出第一代和二代模型后,这位昔日王者就被同行压着打,OpenAI的Sora和Luma AI上周发布的Dream Machine,都使Runway此前的模型相形见绌。(《最强视频大模型易主?比Sora更真实还直接免费!服务器瞬间挤爆》)

时隔一年,Gen-3 Alpha是Runway的反击之作。Gen-3 Alpha的一大特点是生成的视频具有高精细度,它可以理解并生成复杂的场景运动画面,还能胜任多种电影艺术手法

比如在以下视频动图中,Gen-3 Alpha收到的提示词是“一顶卷发假发和墨镜突然落在他的头上,悲伤的秃头中年男子变得高兴起来”,只见生成的视频不仅准确呈现了假发和眼镜的运动路径,而且还将男士由悲到喜的情绪刻画得十分细腻。


▲提示:一顶卷发假发和墨镜突然落在他的头上,悲伤的秃头中年男子变得高兴起来

相较于Gen-2,Gen-3 Alpha在保真度、一致性和运动性能上都有了显著的提升,被Runway称为“构建通用世界模型道路上”的重要一步。如下面的视频所示,Gen-3 Alpha可以模拟出水下色彩斑斓的珊瑚街道,不仅水下街道的建筑、动植物十分还原真实世界,甚至阳光透过水的光影效果也很逼真。

//oss.zhidx.com/uploads/2024/06/667106633ea9e_667106633a430_667106633a40d_gen-3-alpha-output-0011.mp4

▲提示:FPV飞行穿过水下郊区色彩斑斓的珊瑚街道。

Runway的发言人在给外媒VentureBeat的邮件中提到:“首批产品将支持5秒和10秒的视频生成,速度很快——5秒的视频只需45秒就能完成,10秒的视频也仅需90秒。”

目前,该模型的确切发布日期还未公布,Runway仅展示了演示视频。Runway联合创始人兼首席技术官Anastasis Germanidis透露,Gen-3 Alpha将在未来几天内首先面向付费用户提供,而免费用户则要再等等。


官方地址:https://runwayml.com/blog/introducing-gen-3-alpha/

一、高保真、高精细、高运动,Runway要打造现实世界模拟器?

按照Runway的说法,Gen-3 Alpha是一个能够“表示和模拟各种现实场景和互动”的AI模型,是“向构建通用世界模型迈出的一步”。

首先来看一下Runway使用Gen-3 Alpha制作的示例视频。

Gen-3 Alpha支持细粒度的时间控制。其接受过高度描述性、时间密集的字幕训练,能够实现富有想象力的过渡和场景中元素的精确关键帧。

//oss.zhidx.com/uploads/2024/06/667106923330a_667106922f31e_667106922f2f8_gen-3-alpha-output-002.mp4

▲提示:一只蚂蚁从巢穴中爬出的特写镜头。镜头拉远,露出山丘后面的街区。

//oss.zhidx.com/uploads/2024/06/6671066d4317a_6671066d3e8ad_6671066d3e888_gen-3-alpha-output-010-1.mp4

▲提示:一名宇航员正在里约热内卢的一条小巷里奔跑

Gen-3 Alpha可以生成逼真的人类。它擅长创造具有多种动作、手势和情感的富有表现力的人类角色。

//oss.zhidx.com/uploads/2024/06/6671069076182_667106907165c_6671069071636_gen-3-alpha-output-003.mp4

▲提示:一张电影广角肖像,一个男人的脸被电视的光照亮。

//oss.zhidx.com/uploads/2024/06/667106992145b_667106991dbd1_667106991dbad_gen-3-alpha-output-001.mp4

▲提示:一名女子的侧面照,远处有烟花绽放。

训练Gen-3 Alpha的是一支由研究科学家、工程师和艺术家组成的跨学科团队的合作成果,从而使得模型可以诠释各种风格和电影术语。

//oss.zhidx.com/uploads/2024/06/6671068e734c1_6671068e6850c_6671068e684e6_gen-3-alpha-output-004.mp4

▲提示:从窗户向外看,看到一个巨大的奇怪生物在夜晚破败的城市中行走,一盏昏暗的路灯照着街区。

//oss.zhidx.com/uploads/2024/06/667106812f0fd_667106812a9f5_667106812a9ca_gen-3-alpha-output-007.mp4

▲提示:一个空仓库,鲜花开始从混凝土中绽放。

//oss.zhidx.com/uploads/2024/06/6671065a22a2d_6671065a16810_6671065a167ed_gen-3-alpha-output-012.mp4

▲提示:夜间手持跟踪拍摄,跟随一只脏兮兮的蓝色气球漂浮在废旧的欧洲老街地面。

//oss.zhidx.com/uploads/2024/06/6671068c9f04a_6671068c9a9c2_6671068c9a99b_gen-3-alpha-output-005.mp4

▲提示:从肩膀上方拍摄一个女人奔跑并注视远方火箭的镜头。

//oss.zhidx.com/uploads/2024/06/66710686b5778_66710686b1aab_66710686b1a84_gen-3-alpha-output-006.mp4

▲提示:巨嘴鸟穿过塞伦盖蒂。

//oss.zhidx.com/uploads/2024/06/667106766d453_6671067668dbe_6671067668d9a_gen-3-alpha-output-009.mp4

▲提示:东京的一条小巷里,一只粉红色的小猪正快速向镜头跑来。

二、结合视频图像进行训练,跨行业团队训练,本周将可访问

在职场社交平台领英上,一位Runway用户预计他将在本周晚些时候获得Gen-3 Alpha的访问权限。


这位用户在X平台上提到,Gen-3 Alpha“很快就会在Runway产品中上线,并将支持所有现有的模式,包括文本转视频、图像转视频、视频转视频,以及一些通过更强大的基础模型才能实现的新功能。”


他还提到,自2023年发布Gen-2以来,Runway发现“视频扩散模型在性能提升方面还有很大的发展空间,而这些模型在学习预测视频的任务时,已经构建出了真正强大的视觉世界表征。”

Runway在其博客文章中提到,Gen 3-Alpha“结合了视频和图像进行训练”,并且“这是由研究科学家、工程师和艺术家组成的跨学科团队共同努力的成果”。

Gen 3-Alpha背后具体的数据集尚未公开,外界也不清楚这些数据是付费的的还是从网上收集的。Runway的发言人通过电子邮件回复外媒VentureBeat:“我们有一个内部研究团队负责监督所有训练过程,使用的是精心挑选的内部数据集来训练模型。”

Runway还公布,他们已经与各大娱乐和媒体组织携手合作,为Gen-3定制了专属版本,据称这有助于在角色风格上实现更统一的控制,并满足特定的艺术和叙事要求等。目前,定制模型的训练费用尚未公开。

结语:Runway为AI视频生成大战再添一把火

Gen-3 Alpha是Runway即将推出的系列模型中的首款,这些模型都在其专为多模态大模型而搭建的新基础设施上训练而来,但具体是如何训练的,以及模型关键技术仍待披露。

AI视频生成领域的大战一触即发,继OpenAI的Sora亮相后,近期Luma AI刚推出的Dream Machine、快手刚推出的可灵又掀起了一波AI生成视频小高潮,本次Runway的动作为赛道再添一把火。模型的实际使用效果如何,我们将持续关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
17万起,它把中国人研究透了

17万起,它把中国人研究透了

新车评网
2024-07-12 15:56:33
刚刚履新,江苏一市城管局副局长被查

刚刚履新,江苏一市城管局副局长被查

鲁中晨报
2024-07-13 15:07:05
伊朗宣布随时加入战场!

伊朗宣布随时加入战场!

持续躺平中
2024-07-13 10:43:09
44岁柳岩自曝患子宫肌瘤,一月份刚做了手术,三个月后又复发了!

44岁柳岩自曝患子宫肌瘤,一月份刚做了手术,三个月后又复发了!

毒舌嬷嬷
2024-07-12 06:41:46
重磅:以色列公布10月7日恐怖袭击的惊人内幕

重磅:以色列公布10月7日恐怖袭击的惊人内幕

老鱼有话说
2024-07-13 09:10:02
最后一搏,北约40万重兵压境俄,普京在等中国专机,中方措辞变了

最后一搏,北约40万重兵压境俄,普京在等中国专机,中方措辞变了

说天说地说实事
2024-07-13 21:36:12
赖昌星如何训练“红楼女公关”?荒唐程度只有想不到,没有做不到

赖昌星如何训练“红楼女公关”?荒唐程度只有想不到,没有做不到

纸鸢奇谭
2023-08-22 04:38:07
经过了裁员优化后,有大厂发现35+员工堪比985/211的员工了

经过了裁员优化后,有大厂发现35+员工堪比985/211的员工了

时尚的弄潮
2024-07-14 02:32:59
日舰为何能在我们领海内行驶二十分钟?几点可能的原因,细思极恐

日舰为何能在我们领海内行驶二十分钟?几点可能的原因,细思极恐

青年的背包
2024-07-14 05:01:03
美国带头拱火,鼓动欧洲没收中资基建

美国带头拱火,鼓动欧洲没收中资基建

直新闻
2024-07-13 16:31:28
潜伏在我国政要高层的4个间谍,覆盖军界政界,个个都位高权重!

潜伏在我国政要高层的4个间谍,覆盖军界政界,个个都位高权重!

小lu侃侃而谈
2024-06-30 21:19:28
新加坡外交专家提醒中国:近些年,中国有一个最大的战略失误!

新加坡外交专家提醒中国:近些年,中国有一个最大的战略失误!

青栀伊人
2024-07-13 19:53:38
万万没想到
美联储正式宣布了!

万万没想到 美联储正式宣布了!

仰望沧海
2024-07-13 20:51:47
唐山大地震前神秘事件?大地震是为帝王陪葬?至今都是未解之谜

唐山大地震前神秘事件?大地震是为帝王陪葬?至今都是未解之谜

蓝海1
2023-06-17 11:15:21
李子柒近照曝光!扎根乡下做非遗工作,打扮朴素却依旧如清水芙蓉

李子柒近照曝光!扎根乡下做非遗工作,打扮朴素却依旧如清水芙蓉

娱圈小愚
2024-07-12 14:20:28
三亚已失守!外国游客这哪是来旅游,这分明是丧尸围城,人潮密集

三亚已失守!外国游客这哪是来旅游,这分明是丧尸围城,人潮密集

蒋飞Talk
2024-07-12 21:37:05
江西弃婴被加拿大夫妇收养,获奥运会冠军后称:我不会认亲生父母

江西弃婴被加拿大夫妇收养,获奥运会冠军后称:我不会认亲生父母

南风西洲
2024-07-13 19:44:31
脏毛满天飞,这一次,大S被扒得“一丝不挂”,口径全对上了

脏毛满天飞,这一次,大S被扒得“一丝不挂”,口径全对上了

逃出精神病院
2023-06-24 17:53:54
想要20年不换车就买它!全球销量冠军,从12万降至6.98万,油耗5L

想要20年不换车就买它!全球销量冠军,从12万降至6.98万,油耗5L

隔壁说车老王
2024-07-13 14:57:08
美国顶级预言家再出手!直言2024美日中命运!这个岛最先出事!

美国顶级预言家再出手!直言2024美日中命运!这个岛最先出事!

飞云如水
2024-06-09 21:53:34
2024-07-14 10:36:49
智东西
智东西
聚焦智能变革,服务产业升级。
8700文章数 116499关注度
往期回顾 全部

科技要闻

OpenAI神秘项目曝光,遭马斯克嘲讽

头条要闻

牛弹琴:特朗普遇刺满脸血全美震撼 拜登第一时间表态

头条要闻

牛弹琴:特朗普遇刺满脸血全美震撼 拜登第一时间表态

体育要闻

除了崔永熙 NBA还有另一位中国追梦人

娱乐要闻

亲妈太窒息,柳岩和卢昱晓对比太心酸

财经要闻

无人驾驶的士最快5年内大规模商业化

汽车要闻

预计8月份正式上市 五菱星光S内饰细节曝光

态度原创

数码
健康
游戏
公开课
军事航空

数码要闻

谷歌 WearOS 5 新增支持 UWB 超宽带技术/蓝牙 LE 音频

人类为何至今无法攻克渐冻症?

疑似《生化奇兵4》截图泄露 神秘建筑出现

公开课

连中三元是哪三元?

军事要闻

美国总统拜登称以色列和哈马斯均已同意停火框架

无障碍浏览 进入关怀版