网易首页 > 网易号 > 正文 申请入驻

实测豆包 Seedance 1.5 Pro:哪吒朱迪在线飙戏,复刻名场面,AI 台词、音效水平大更新

0
分享至

AI 视频最近的玩法特别多,颇有上半年 AI 生图火起来的那种感觉。

视频来源:https://x.com/pabloprompt/status/2000706593579573301/

之前火过一遍的 AI 探班视频,随着模型能力的提升,现在又开始变成了社交媒体上的热门玩法。

不过彻底摒弃了以往复杂的工作流,有更好用的模型,甚至是简单几句提示词就能复刻,视频里的同款真实感。

视频生成模型的优化,不断地在降低,对我们人类提示词工程的依赖,同时还带来了更稳定的一致性保持。

豆包最近更新了新一代的音视频生成模型,豆包 Seedance 1.5 Pro,在音视频的生成上也有了明显的改善。现在它生成的视频,支持中文、英文、日文、韩语、西班牙语等语种的不同声韵,同时针对中文场景,还能生成四川话、粤语等方言。

不仅能说,而且还能模仿不同语言的口音。有声视频是 Seedance 1.5 Pro 的一大突破,在视频生成本身,结合音频的音画同步,以及电影级的运镜两项优化,让 AI 视频看起来更真实、更细致。

目前该模型已上线豆包 APP,只需要打开豆包,点击「照片动起来」,选择 1.5 Pro 模型,就能体验到 AI 生视频的快乐。此外,在火山引擎体验中心、即梦 AI 也可以体验。

我们也提前测试了一波,Seedance 1.5 Pro 完全可以说,是现在手边能拿起来直接用,能同时融合声音,表现最好的视频生成模型。

听听「臣妾做不到啊」的原音重现

《疯狂动物城 2 》上映之前,网友们对配音演员的选择,有很大的争议。现在 Seedance 1.5 Pro 的语音生成有多牛,我们可以看看之前网上很火的甄嬛传和让子弹飞,两个视频的配音,让它来完成是什么样。

从网上找了一张影视剧的截图,然后丢给豆包,我们甚至什么提示词都没有输入,它就能做到自动识别视频画面,生成一段有感情的台词戏。

在豆包 App 内,使用「照片动起来」,上传首帧,生成视频

皇后和张麻子都演得太像了,这和几个月前的视频生成模型,完全不是一个 Level。 以前那些 AI 视频,口型对不上,或者声音有机械感的问题,现在都解决了。

但普通话对它来说都是基本操作,方言的表现才是 Seedance 1.5 Pro 打败那些国外模型的独门秘籍。就像 Sora 2 和 Google Veo 3.1 虽然在画面生成上被认为是行业领先,但如果把上面这两张首帧图片丢给它们。 Sora 和 Veo 3 都理解不了甄嬛传的经典台词,和张麻子这流利的四川话口音。

全运会刚结束,如果你也在广州,一定忘不了「活力大湾区,魅力新广州」这句魔性的口号。我们生成了一张站在广州塔前面的照片,然后在豆包「照片动起来」里面输入提示词。

画面里的这个男生正在面向镜头,向大家介绍他身后的广州塔,他用粤语说「活力大湾区,魅力新广州,我身后面嗰个就系广州塔喇!」

这个粤语水平怎么样,比多邻国里面的早茶四件套,虾饺、肠粉、烧卖、豉汁排骨,听着是不是要舒服一点。

而且,Seedance 1.5 Pro 有一个好处是「视听一致性」,意思是它能根据画面的内容,理解视频想要表达的故事,来自动生成对应的配音。

举个例子,当我们上传了一张明显是外国人的图片时,我们不输入任何提示词,它会自动使用英文来配音,并且让画面里的角色,说合适的台词。

即便是在中餐厅面馆里吃面的威尔 · 史密斯,Seedance 1.5 Pro 还是让他自动用英文来说话,而且这个吃面姿势也完全对了。

同样地,我们用它复刻了 AI 片场探班的视频,直接上传一张图片给豆包,不输入任何提示词,它会自动用中文来生成视频,还配上了台词,「哇,跟阿凡达合影啦!」

当我们重新生成时,Seedance 1.5 Pro 还把照片里的男生识别成韩国人,然后生成了一段讲韩语的视频。不过,说实话,他确实是有点韩国欧巴的感觉。

豆包视频生成还有一点特别好, 是我们可以直接把生成的视频,下载为动图保存在手机 。配合现在模型更强大的多模态理解能力,以及能生成更真实的画面,手机里那些静态的图片,让它们「真实地」动起来,然后发到微信朋友圈,可能真的会有人看不出来。

AI 巨人照加上无人机运镜,太酷啦

叙事是 Seedance 1.5 Pro 更新的一个关键词,它的意思是这些 AI 视频不只是单纯的生成,而是有了一定的故事感,能够对要表达的内容进行理解,让 AI 生成的视频,更像是一个有血肉的作品。

一个好的视频作品,灯光色彩、音效要出色。技术性的工作也少不了,运镜就是在音画之外,不可忽视的镜头语言。

Seedance 1.5 Pro 在这次更新里,在长镜头跟随、希区柯克变焦这些电影级运镜都有了大幅度的提升。

像是之前我们做的子弹时间,现在上传一张图片到豆包,调整一下提示词,子弹时间特效也自由了。

提示词:子弹时间效果。时间完全冻结。舞者悬浮在半空中,对抗重力。[定格画面]:舞者、她的头发和她的蓝色裙子绝对静止,就像时间冻结中的 3D 雕像。摄像机围绕悬浮的舞者水平轨道运行。背景建筑物改变透视(视差),而舞者保持锁定在中心。头发保持僵硬并指向上方,没有飘动。裙子布料是固体的并冻结保持不动。 电影级照明,高质量。

我们把同样的照片交给 Veo 3.1 处理时,它生成的子弹时间也很难做到保持角色一动不动。因为对大多数视频生成模型来说,识别到头发,就一定要飘动;看到裙边也要摆动;所以精准的运镜控制和调度,也是区分不同模型的一项重要能力。

还有这个前段时间很火的 AI 巨人照,现在我们也可以用超酷炫的无人机俯冲和穿越运镜,来凸显视频里的巨人。

提示词:电影级 FPV 无人机镜头,极致动态运镜:从高空鸟瞰开始,无人机急速俯冲向一位坐在城市街道中央的巨人,红砖建筑环绕两侧。巨人保持完全静止的姿势,身体、头部、四肢均不移动,如同雕塑般定格。无人机以特技飞行动作环绕巨人静止的身体——盘旋绕腿、从手臂下穿越、沿躯干螺旋上升,然后拉远展现巨人与微小车辆(红色双层巴士、黑色出租车)和行人的尺寸对比。超写实合成。比例 16:9,时长 5s,模型 1.5 Pro。

从参考图转视频,能更好的控制视频的输出效果。但 Seedance 1.5 Pro 的文生视频能力也毫不逊色。

根据字节公开的 Seedance 1.5 pro,在内部基准测试 SeedVideoBench-1.5 的模型表现结果,显示无论是 T2V 文生视频,还是 I2V 首帧转视频,和可灵 2.6、Google Veo 3.1 等模型对比,Seedance 1.5 Pro 的表现都有一定优势。

尤其是在音频生成和音画同步上,Seedance 1.5 Pro 几乎是碾压性的存在。

我们尝试让疯狂动物城朱迪和哪吒一起,一个普通话,一个四川话,演了一出 10s 的小剧场。

提示词: [0s-4s] 朱迪指着哪吒说(普通话,语速快,严肃): “那个小孩!站住!双手抱头!根据《动物城交通法》,你刚才风火轮超速了!” • [5s-10s] 哪吒(四川话,翻白眼,语速慢,拖长音): “哎呀,莫挨老子!我是踩的风火轮,又没烧你的油。瓜娃子,管得宽!”

这个视频的风格和内容,和我们平时看的动画片风格真的很类似。当 义正辞严 的兔朱迪警官,抓到哪吒的时候,那严肃的表情和语气;还有哪吒用四川话说台词,也能对上嘴型。

APPSO 今年前前后后也测试了有十多款 AI 视频生成的模型,我们在使用的过程中,发现很多以前的测试案例,放到现在已经是 Out 了。

一开始是鲁迅来了,都得让他说两句英文;能生成一个 5s 流畅播放的视频,就谢天谢地。现在的模型,不仅支持中、英、日、韩等多语种,广东话、四川话这些特色方言都能同步生成。

恍然间,AI 视频的进化,已经从按年计算变成了按月计算。昨天的突破,今天就是及格线。

Seedance 1.5 Pro 案例截图|来源:字节跳动 Seed 官网

Seedance 1.5 Pro 这次更新,可能又会变成新的及格线。但至少现在我们看到了,有了音画同步后更有感染力的视频;多语种和方言的支持,也让 AI 视频更有「生活味」;专业的电影级运镜和智能理解能力,让一些高难度的复杂场景,也有机会通过 AI 生成。

当技术能够理解画面背后的故事,自动匹配合适的语言和情绪,我们距离想象力和创作自由的时代,又近了一大步。

实现这一切需要什么? 一张图片或者一句提示词。

打开豆包 APP,上传/输入,生成,就这么简单。每张照片都是待激活的故事,每次上传都是创作的开始。

步骤越少,门槛越低,创作者越多,用 AI 视频实现创意就该是这样。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亚马尔赛后发声

亚马尔赛后发声

扬子晚报
2026-07-11 09:25:00
特朗普:1000枚导弹已瞄准伊朗

特朗普:1000枚导弹已瞄准伊朗

环球网资讯
2026-07-11 11:33:19
《功夫女足》票房突破1亿

《功夫女足》票房突破1亿

界面新闻
2026-07-11 11:36:14
罕见!美媒主动点赞中国航天!独创网系回收技术,马斯克都看笑了

罕见!美媒主动点赞中国航天!独创网系回收技术,马斯克都看笑了

大卫聊科技
2026-07-11 12:32:26
6月新增新冠确诊7.9万例,其中重症130例

6月新增新冠确诊7.9万例,其中重症130例

医学界
2026-07-10 17:41:57
阿根廷42岁飞行教练空中跳机 自杀前对女学员说:你知道该怎么做 继续飞

阿根廷42岁飞行教练空中跳机 自杀前对女学员说:你知道该怎么做 继续飞

闪电新闻
2026-07-10 23:47:25
娇妻全力安慰!35岁丁丁长叹一声:我都35了,还做过手术,尽力了

娇妻全力安慰!35岁丁丁长叹一声:我都35了,还做过手术,尽力了

风过乡
2026-07-11 10:41:54
纳米比亚女总统抵华,手握6500吨铀矿,押全部身家为中国铺路

纳米比亚女总统抵华,手握6500吨铀矿,押全部身家为中国铺路

吕醿极限手工
2026-07-10 19:49:47
气哭了?库尔图瓦疑不满教练:我的伤只影响开大脚 但他坚持换下我

气哭了?库尔图瓦疑不满教练:我的伤只影响开大脚 但他坚持换下我

风过乡
2026-07-11 06:56:50
朝鲜通报腐败犯罪 金正恩强调廉洁

朝鲜通报腐败犯罪 金正恩强调廉洁

新京报
2026-07-11 11:49:06
橙色预警!北京今天中雨转暴雨,局地有大暴雨

橙色预警!北京今天中雨转暴雨,局地有大暴雨

界面新闻
2026-07-11 08:09:49
“副处长霸占车位”,央视网评:连车位都霸占,你还指望他为人民服务?检察日报评:“小恶难惩”把维权者逼向违法边缘

“副处长霸占车位”,央视网评:连车位都霸占,你还指望他为人民服务?检察日报评:“小恶难惩”把维权者逼向违法边缘

扬子晚报
2026-07-11 10:01:01
3队8人重磅交易!欧文重返骑士,哈登联手字母哥?独行侠又成输家

3队8人重磅交易!欧文重返骑士,哈登联手字母哥?独行侠又成输家

小七说篮球
2026-07-11 11:41:59
台风来了!温岭东音泵业一棵价值1200万的罗汉松,罩上“金刚罩铁布衫”

台风来了!温岭东音泵业一棵价值1200万的罗汉松,罩上“金刚罩铁布衫”

火山詩话
2026-07-11 12:53:57
台风"巴威"又睁眼了!重新加强至14级!登陆时间地点有变,环流非常巨大…最新研判

台风"巴威"又睁眼了!重新加强至14级!登陆时间地点有变,环流非常巨大…最新研判

浙江之声
2026-07-11 07:56:54
周星驰新片《功夫女足》第一波真实口碑出炉!观众的评价一针见血

周星驰新片《功夫女足》第一波真实口碑出炉!观众的评价一针见血

可乐谈情感
2026-07-11 12:25:08
湖北一家3人被大风卷走遇难,仅14岁男孩幸存,民政部门:已发放2000余元临时救助金

湖北一家3人被大风卷走遇难,仅14岁男孩幸存,民政部门:已发放2000余元临时救助金

新快报新闻
2026-07-11 13:04:05
朝鲜通报朴喜哲为首特大腐败行为,金正恩强调廉洁

朝鲜通报朴喜哲为首特大腐败行为,金正恩强调廉洁

澎湃新闻
2026-07-11 12:18:06
中国消费让外资投行绝望了!

中国消费让外资投行绝望了!

樱桃大房子
2026-07-11 01:46:33
这次广西水灾,目前为止没有外国捐款

这次广西水灾,目前为止没有外国捐款

名人苟或
2026-07-11 12:33:39
2026-07-11 15:19:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
6563文章数 26874关注度
往期回顾 全部

科技要闻

苹果起诉OpenAI系统性窃密,挖超400前员工

头条要闻

哈兰德引爆挪威球衣抢购潮 多款球衣溢价超千元

头条要闻

哈兰德引爆挪威球衣抢购潮 多款球衣溢价超千元

体育要闻

燃尽的比利时黄金一代,逃不过厄运诅咒

娱乐要闻

IU被曝分手双方回应 年初互动早有预兆

财经要闻

一封举报信 引发小红书IPO合规考验

汽车要闻

行驶清爽智驾聪慧 奇瑞风云A9有颜更有趣

态度原创

本地
房产
艺术
游戏
公开课

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

房产要闻

重磅学校规划曝光!西海岸教育,正强得可怕!

艺术要闻

盛世君臣翰墨汇聚嘉德艺术中心,“敕几清晏:康雍乾三朝皇帝与词臣书画特展”盛大启幕!

《空之轨迹》新动态!画质飞升 体验大加强

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版