网易首页 > 网易号 > 正文 申请入驻

实测豆包 Seedance 1.5 Pro:哪吒朱迪在线飙戏,复刻名场面,AI 台词、音效水平大更新

0
分享至

AI 视频最近的玩法特别多,颇有上半年 AI 生图火起来的那种感觉。

视频来源:https://x.com/pabloprompt/status/2000706593579573301/

之前火过一遍的 AI 探班视频,随着模型能力的提升,现在又开始变成了社交媒体上的热门玩法。

不过彻底摒弃了以往复杂的工作流,有更好用的模型,甚至是简单几句提示词就能复刻,视频里的同款真实感。

视频生成模型的优化,不断地在降低,对我们人类提示词工程的依赖,同时还带来了更稳定的一致性保持。

豆包最近更新了新一代的音视频生成模型,豆包 Seedance 1.5 Pro,在音视频的生成上也有了明显的改善。现在它生成的视频,支持中文、英文、日文、韩语、西班牙语等语种的不同声韵,同时针对中文场景,还能生成四川话、粤语等方言。

不仅能说,而且还能模仿不同语言的口音。有声视频是 Seedance 1.5 Pro 的一大突破,在视频生成本身,结合音频的音画同步,以及电影级的运镜两项优化,让 AI 视频看起来更真实、更细致。

目前该模型已上线豆包 APP,只需要打开豆包,点击「照片动起来」,选择 1.5 Pro 模型,就能体验到 AI 生视频的快乐。此外,在火山引擎体验中心、即梦 AI 也可以体验。

我们也提前测试了一波,Seedance 1.5 Pro 完全可以说,是现在手边能拿起来直接用,能同时融合声音,表现最好的视频生成模型。

听听「臣妾做不到啊」的原音重现

《疯狂动物城 2 》上映之前,网友们对配音演员的选择,有很大的争议。现在 Seedance 1.5 Pro 的语音生成有多牛,我们可以看看之前网上很火的甄嬛传和让子弹飞,两个视频的配音,让它来完成是什么样。

从网上找了一张影视剧的截图,然后丢给豆包,我们甚至什么提示词都没有输入,它就能做到自动识别视频画面,生成一段有感情的台词戏。

在豆包 App 内,使用「照片动起来」,上传首帧,生成视频

皇后和张麻子都演得太像了,这和几个月前的视频生成模型,完全不是一个 Level。 以前那些 AI 视频,口型对不上,或者声音有机械感的问题,现在都解决了。

但普通话对它来说都是基本操作,方言的表现才是 Seedance 1.5 Pro 打败那些国外模型的独门秘籍。就像 Sora 2 和 Google Veo 3.1 虽然在画面生成上被认为是行业领先,但如果把上面这两张首帧图片丢给它们。 Sora 和 Veo 3 都理解不了甄嬛传的经典台词,和张麻子这流利的四川话口音。

全运会刚结束,如果你也在广州,一定忘不了「活力大湾区,魅力新广州」这句魔性的口号。我们生成了一张站在广州塔前面的照片,然后在豆包「照片动起来」里面输入提示词。

画面里的这个男生正在面向镜头,向大家介绍他身后的广州塔,他用粤语说「活力大湾区,魅力新广州,我身后面嗰个就系广州塔喇!」

这个粤语水平怎么样,比多邻国里面的早茶四件套,虾饺、肠粉、烧卖、豉汁排骨,听着是不是要舒服一点。

而且,Seedance 1.5 Pro 有一个好处是「视听一致性」,意思是它能根据画面的内容,理解视频想要表达的故事,来自动生成对应的配音。

举个例子,当我们上传了一张明显是外国人的图片时,我们不输入任何提示词,它会自动使用英文来配音,并且让画面里的角色,说合适的台词。

即便是在中餐厅面馆里吃面的威尔 · 史密斯,Seedance 1.5 Pro 还是让他自动用英文来说话,而且这个吃面姿势也完全对了。

同样地,我们用它复刻了 AI 片场探班的视频,直接上传一张图片给豆包,不输入任何提示词,它会自动用中文来生成视频,还配上了台词,「哇,跟阿凡达合影啦!」

当我们重新生成时,Seedance 1.5 Pro 还把照片里的男生识别成韩国人,然后生成了一段讲韩语的视频。不过,说实话,他确实是有点韩国欧巴的感觉。

豆包视频生成还有一点特别好, 是我们可以直接把生成的视频,下载为动图保存在手机 。配合现在模型更强大的多模态理解能力,以及能生成更真实的画面,手机里那些静态的图片,让它们「真实地」动起来,然后发到微信朋友圈,可能真的会有人看不出来。

AI 巨人照加上无人机运镜,太酷啦

叙事是 Seedance 1.5 Pro 更新的一个关键词,它的意思是这些 AI 视频不只是单纯的生成,而是有了一定的故事感,能够对要表达的内容进行理解,让 AI 生成的视频,更像是一个有血肉的作品。

一个好的视频作品,灯光色彩、音效要出色。技术性的工作也少不了,运镜就是在音画之外,不可忽视的镜头语言。

Seedance 1.5 Pro 在这次更新里,在长镜头跟随、希区柯克变焦这些电影级运镜都有了大幅度的提升。

像是之前我们做的子弹时间,现在上传一张图片到豆包,调整一下提示词,子弹时间特效也自由了。

提示词:子弹时间效果。时间完全冻结。舞者悬浮在半空中,对抗重力。[定格画面]:舞者、她的头发和她的蓝色裙子绝对静止,就像时间冻结中的 3D 雕像。摄像机围绕悬浮的舞者水平轨道运行。背景建筑物改变透视(视差),而舞者保持锁定在中心。头发保持僵硬并指向上方,没有飘动。裙子布料是固体的并冻结保持不动。 电影级照明,高质量。

我们把同样的照片交给 Veo 3.1 处理时,它生成的子弹时间也很难做到保持角色一动不动。因为对大多数视频生成模型来说,识别到头发,就一定要飘动;看到裙边也要摆动;所以精准的运镜控制和调度,也是区分不同模型的一项重要能力。

还有这个前段时间很火的 AI 巨人照,现在我们也可以用超酷炫的无人机俯冲和穿越运镜,来凸显视频里的巨人。

提示词:电影级 FPV 无人机镜头,极致动态运镜:从高空鸟瞰开始,无人机急速俯冲向一位坐在城市街道中央的巨人,红砖建筑环绕两侧。巨人保持完全静止的姿势,身体、头部、四肢均不移动,如同雕塑般定格。无人机以特技飞行动作环绕巨人静止的身体——盘旋绕腿、从手臂下穿越、沿躯干螺旋上升,然后拉远展现巨人与微小车辆(红色双层巴士、黑色出租车)和行人的尺寸对比。超写实合成。比例 16:9,时长 5s,模型 1.5 Pro。

从参考图转视频,能更好的控制视频的输出效果。但 Seedance 1.5 Pro 的文生视频能力也毫不逊色。

根据字节公开的 Seedance 1.5 pro,在内部基准测试 SeedVideoBench-1.5 的模型表现结果,显示无论是 T2V 文生视频,还是 I2V 首帧转视频,和可灵 2.6、Google Veo 3.1 等模型对比,Seedance 1.5 Pro 的表现都有一定优势。

尤其是在音频生成和音画同步上,Seedance 1.5 Pro 几乎是碾压性的存在。

我们尝试让疯狂动物城朱迪和哪吒一起,一个普通话,一个四川话,演了一出 10s 的小剧场。

提示词: [0s-4s] 朱迪指着哪吒说(普通话,语速快,严肃): “那个小孩!站住!双手抱头!根据《动物城交通法》,你刚才风火轮超速了!” • [5s-10s] 哪吒(四川话,翻白眼,语速慢,拖长音): “哎呀,莫挨老子!我是踩的风火轮,又没烧你的油。瓜娃子,管得宽!”

这个视频的风格和内容,和我们平时看的动画片风格真的很类似。当 义正辞严 的兔朱迪警官,抓到哪吒的时候,那严肃的表情和语气;还有哪吒用四川话说台词,也能对上嘴型。

APPSO 今年前前后后也测试了有十多款 AI 视频生成的模型,我们在使用的过程中,发现很多以前的测试案例,放到现在已经是 Out 了。

一开始是鲁迅来了,都得让他说两句英文;能生成一个 5s 流畅播放的视频,就谢天谢地。现在的模型,不仅支持中、英、日、韩等多语种,广东话、四川话这些特色方言都能同步生成。

恍然间,AI 视频的进化,已经从按年计算变成了按月计算。昨天的突破,今天就是及格线。

Seedance 1.5 Pro 案例截图|来源:字节跳动 Seed 官网

Seedance 1.5 Pro 这次更新,可能又会变成新的及格线。但至少现在我们看到了,有了音画同步后更有感染力的视频;多语种和方言的支持,也让 AI 视频更有「生活味」;专业的电影级运镜和智能理解能力,让一些高难度的复杂场景,也有机会通过 AI 生成。

当技术能够理解画面背后的故事,自动匹配合适的语言和情绪,我们距离想象力和创作自由的时代,又近了一大步。

实现这一切需要什么? 一张图片或者一句提示词。

打开豆包 APP,上传/输入,生成,就这么简单。每张照片都是待激活的故事,每次上传都是创作的开始。

步骤越少,门槛越低,创作者越多,用 AI 视频实现创意就该是这样。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
公务员大势已定?不出意外的话,未来5年,体制内或将出现4大变化

公务员大势已定?不出意外的话,未来5年,体制内或将出现4大变化

另子维爱读史
2026-07-18 20:52:49
小姑子泼我一身红酒耀武扬威,我撤掉她300万投资,全家瞬间愣住

小姑子泼我一身红酒耀武扬威,我撤掉她300万投资,全家瞬间愣住

千秋文化
2026-07-19 20:52:50
谢贤遗嘱里藏探视条款:柏芝代管九成遗产,每月带孙子去墓地看他

谢贤遗嘱里藏探视条款:柏芝代管九成遗产,每月带孙子去墓地看他

情感大头说说
2026-07-21 02:47:22
“那一瞬间跟恐怖片似的!”宝妈晒萌娃,因表情太惊悚引近100万赞!

“那一瞬间跟恐怖片似的!”宝妈晒萌娃,因表情太惊悚引近100万赞!

林林先生
2026-07-21 09:59:46
特朗普:伊朗每杀死一名美军士兵,都将付出数倍代价,指令已传达给赫格塞思等,伊朗:对多国美军基地实施打击,正处于“全面战争”之中

特朗普:伊朗每杀死一名美军士兵,都将付出数倍代价,指令已传达给赫格塞思等,伊朗:对多国美军基地实施打击,正处于“全面战争”之中

政知新媒体
2026-07-21 07:11:43
从这起北方罚款事件,到“人变坏,是从遭受不公却无力改变开始的”

从这起北方罚款事件,到“人变坏,是从遭受不公却无力改变开始的”

林中木白
2026-07-19 08:30:20
2004年极致伪装悬案:副队长杀妻跨省抛尸,败在一只家乡枕头

2004年极致伪装悬案:副队长杀妻跨省抛尸,败在一只家乡枕头

墨策史
2026-07-20 15:29:54
日媒:韩国人要求禁播侮辱韩国足球的《功夫女足》,建议自查02世界杯

日媒:韩国人要求禁播侮辱韩国足球的《功夫女足》,建议自查02世界杯

情感大头说说
2026-07-20 13:54:37
为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

为了不再“忍一辈子”,她们让医生拿尺子量了319个人的外阴

樱桃小丸子1987
2026-07-09 14:21:48
屌炸天!相亲相到植物人,媒婆的话震碎三观,这是什么奇葩操作

屌炸天!相亲相到植物人,媒婆的话震碎三观,这是什么奇葩操作

另子维爱读史
2026-07-20 21:39:09
深圳无人车全面上岗!网约车司机日入腰斩,被迫躲着铁疙瘩跑夜班

深圳无人车全面上岗!网约车司机日入腰斩,被迫躲着铁疙瘩跑夜班

呼呼历史论
2026-07-21 00:27:17
没有他,中国历史或被改写,他被判死刑,毛主席大怒:立即放人

没有他,中国历史或被改写,他被判死刑,毛主席大怒:立即放人

元哥说历史
2026-07-16 09:30:07
官方评世界杯最佳阵:梅西姆巴佩搭罗德里 西班牙6人入选统治榜单

官方评世界杯最佳阵:梅西姆巴佩搭罗德里 西班牙6人入选统治榜单

快乐加载中21
2026-07-21 01:43:44
自中美建交,还没有哪个在任美国总统敢踏上台湾。特朗普要是敢开这个先例,解放军的雷霆反击早已就位,华盛顿那帮疯子是真敢拿国运当赌注

自中美建交,还没有哪个在任美国总统敢踏上台湾。特朗普要是敢开这个先例,解放军的雷霆反击早已就位,华盛顿那帮疯子是真敢拿国运当赌注

橙色书卷
2026-07-18 22:33:06
这两则新闻不仅仅是讽刺,本质是太黑心了

这两则新闻不仅仅是讽刺,本质是太黑心了

吴女士
2026-07-21 00:25:20
白鹿前脚刚走,后脚新一姐就火速上位!欢娱这波操作,内娱终于看懂了

白鹿前脚刚走,后脚新一姐就火速上位!欢娱这波操作,内娱终于看懂了

今古深日报
2026-07-20 12:17:35
一觉醒来,伊朗让特朗普付出重大代价!连挨七晚,中方一句话点透

一觉醒来,伊朗让特朗普付出重大代价!连挨七晚,中方一句话点透

准备好了吗
2026-07-21 07:49:20
180元就能飞伦敦?国航多条飞伦敦航线现180元、200元低价票,客服:不含税费,实际总价为1800多元,且不能退票

180元就能飞伦敦?国航多条飞伦敦航线现180元、200元低价票,客服:不含税费,实际总价为1800多元,且不能退票

极目新闻
2026-07-20 13:26:11
清朝覆灭一夜变天,往日风光的知府知县,后来都去了哪里

清朝覆灭一夜变天,往日风光的知府知县,后来都去了哪里

z千年历史老号
2026-07-20 17:44:36
好消息!城乡居民养老金再度上涨,上亿老人增收

好消息!城乡居民养老金再度上涨,上亿老人增收

白昼说故事
2026-07-21 09:47:23
2026-07-21 10:20:49
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
6595文章数 26888关注度
往期回顾 全部

科技要闻

智谱暴跌,Kimi只是导火索

头条要闻

世界杯决赛赛后冲突还原:先动手的不是帕雷德斯

头条要闻

世界杯决赛赛后冲突还原:先动手的不是帕雷德斯

体育要闻

65岁肌肉男,世界杯最年长冠军主帅

娱乐要闻

谢霆锋发文确认父亲谢贤去世 享年89岁

财经要闻

“六大方阵”齐出手 稳市“组合拳”落地

汽车要闻

首台量产车下线 奕境X9内饰官图发布/配华为乾崑解决方案

态度原创

游戏
数码
教育
房产
艺术

《地平线5》创意总监:Game Pass想法好 但不管用

数码要闻

仅169元卷王 绿联Max5s耳机开售:双金标+112小时续航

教育要闻

本科批是重头戏,全国预计录取520万人,最低380分,吉林985不足600分,西南交大最低投档线仅540分

房产要闻

最高奖励15万!免学费!海南民办高中,疯狂抢人!

艺术要闻

世界上10个最危险景点,你敢去吗?

无障碍浏览 进入关怀版