作者|袁博
来源|AI先锋官
就在昨天云栖大会下午的主会场屏幕上,随着一条视频播放,阿里云CTO周靖人宣布通义万相全面 升级,AI生视频功能正式上线啦!
现在,官网 和App上都可以立即试用。
注意!手机端App不限次数,完全免费,PC端,每天登陆送50个灵感值,可生成10次。
它支持文生视频和图生视频,最长能够生成5秒的视频,每秒30帧,分辨率为720P。
看到这是不是感觉与其他视频模型没两样?那你就错了,它在生成视频的同时还能生成与画面匹配的音效,这是绝大多数AI视频模型做不到的。
这背后是得到了阿里全自研的视觉大模型的加持,并且采用了业界领先的核心架构“Diffusion+Transformer”。
据介绍,通义万相视频生成大模型集成了多项创新技术,能有效解决画面表现力和大幅度运动等视频生成技术难题。针对运动生成和物理模拟等难点优化算法,实现了大幅度主体运动和运镜控制,并有效模拟真实世界物理特性;设计了高压缩比、高质量视频VAE框架,有效降低视频信息冗余,并保持高质量视频重构能力。
并且,通义万相更懂“中国话、中国风”,尤其在中式传统元素、风格化视频生成上表现更好。
小编先来简单介绍一下它的使用方法吧,打开最新版本的“通义APP”选择“频道”就可以看到“万相AI生视频”了,PC端则是直接在某度搜索“通义万相”即可进入官网或使用该链接:https://tongyi.aliyun.com/wanxiang/。
接下来,小编就来测试一下它, 说到测试,当然这怎么能缺得了咱们的老朋友“可灵”和“清影”呢,让它们一起来对比一下吧。(因为视频上传数量限制问题,可灵、清影将用GIF形式呈现)
首先是文生视频功能,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,它还支持16:9、9:16、3:4等多种比例生成。
既然它更懂中国风,那我 们就先从“白雪皑皑的山巅之上,一座雄伟的中国古典建筑巍然屹立,四周云雾缭绕,仿佛仙境。写实风”这个提示词开始吧。
不知 是不是因为刚刚发布比较火爆的原因,通义万相目前需要10分钟左右才能生成 。
通义万相
可灵
清影
可以看 到,通义万相生成的塔给小编一种《黑神话:悟空》游戏中小西天关卡里塔的感觉,并且它还配有环境音,可灵看起来更加真实,清影则更像动画。
接下来是人物:
提示词:黑发古风女孩,快速转身微笑,国风发髻,纯色高清。
通义万相
可灵
清影
在人物上整体来看都生成的还不错。
吐槽:清影是不是把“黑发古风女孩”理解成了“黑白古风女孩”,最近看了些恐怖片,再看还有点瘆人嘞。
无厘头想象画面:
提示词:在北极大陆上工作的北极熊邮差。
通义万相
可灵
清影
不难看出,清影更适合做儿童动画片,可灵更偏向写实,而通义万相,你这三只脚的北极熊是怎么回事?
然后是图生视频功能,它支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。
先来一张当下爆火的《黑神话:悟空 》中四妹的图片。
《图片来源:黑神话悟空官网》
提示词:用手轻轻拨开头发
通义万相
可灵
清影
怎么说呢,集体翻车,通义万相的狂风、可灵无处安放的手还有清影那不知多少根手指的手,但倒也符合了四妹蜘蛛精的形象。
再来一个,不带提示词小镇的图片试试。
通义万相
可灵
清影
虽然小编没带任何提示词,但只有通义万相懂老夫的心啊,它在路上添加了一些行人,而可灵则只是让图像动了起来,清影做的也不错,它体现了房屋中的清醒,更有故事感,只不过,这房子里住的是小矮人吗,长相好怪异。
总体来说,通义万相在国风方面表现确实不俗,可灵在写实方面非常出色,清影在文案理解上做的不错,只是在手指和人物面部上还需努力。
各有各的优点。
但通义万相不像可灵需要花费灵感值去生成,它APP端可以无限次数免费生成,还等什么,赶快去试用吧。
扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。
往期文章回顾
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.