网易首页 > 网易号 > 正文 申请入驻

AI 视频的国产之光,这个新功能彻底解放抽卡的双手

0
分享至

看完《鱿鱼游戏》不过瘾?干脆自己做个结局。

不想等《沙丘》第三部了?自己上手做一个。

放在以前,光是要让这些演员不走形、不崩坏,都要费半天劲。现在只需要丢一张截图给 AI,就可以开始做电影了。

这是海螺 AI 上线的「主体参考」功能,由全新的 S2V-01 模型提供底层技术支持,可以精准识别所上传图片中的主体,并设定为所生成视频的角色。剩下的,只需要简单的 prompt 指令,就可以随意发挥。

▲来自 X 用户@KarolineGeorges 的创作,面部信息精准保留

▲来自 X 用户@Apple_Dog_Sol 的创作,呈现多元主体

「主体参考」怎么就这么牛了

有一说一,「主体参考」的功能很多厂商都在做。但并非每一家都能攻破这项功能所涉及的难点:稳定、连贯,运动起来依然一致。

别人可能不行,但海螺 AI 可以。只需要一张图片,就能准确理解人物特征,识别为主体,随后让人物出现在各种场景和环境里。

上一秒还在拯救世界的蜘蛛侠,下一秒就骑上机车了。

本来应该在权游里训龙的龙妈,一转眼在逗小狼。

「主体参考」的突破性进展在于实现了创作自由度和还原度的完美平衡。这就像是给了创作者一个「万能演员」,这位演员的外形不会崩坏,而是能随着动作、姿态自然地变化,还能根据导演的要求,在任何场景中表演任何动作。

不仅是新功能,更是独特的技术方案

实测下来的感受是:主体参考是一个截然不同的功能,跟文生、图生所实现的效果并不一样,背后所涉及的技术难点不同,对技术思路的要求也不同。

传统的图生视频,只是让静态的图片动起来,而且主要是局部的改动。以这张宋慧乔的剧照为例,图生只是把原来静态的图片变成了动态,而且范围有限,不会有很大的动作。

▲ 原始剧照

▲ 基于图生视频的成片

同一张照片,「主体参考」却能基于 prompt 的文字,形成一个完整的片段,动作自由的同时,面部特征依旧稳定实现。

▲ prompt:暖调室内打光,剧院观众席中,主人公身穿黑色西装,坐在中排靠左的位置。她的表情充满专注,时而露出轻松的微笑,双手鼓掌,动作自然且富有节奏感。镜头从主人公侧面开始,捕捉她身边其他观众的剪影和暗淡的座椅纹理,强调环境的层次感。随着镜头推进,主人公站起来。

以人物为主体生成视频,目前有两种技术路线。一种是基于 LoRA 技术,对预训练的大型生成模型,进行特定微调。LoRA 在生成新视频时,需要大量计算。这就导致用户必须上传同一主体、不同角度的素材,甚至精确到单个片段需要具备哪些不同的元素,才能保证生成质量。同时还需要消耗大量的 token,以及漫长的等待时间。

基于大量的技术探索,MiniMax 选择了基于图片参考的技术路线:图片包含的视觉信息最准确,从图片出发,符合物理拍摄的创作逻辑。在这个技术路线中,画面的主人公是所有视觉信息中,模型最优先识别的——无论接下来出现什么画面、无论什么情节,主体都需要保持一致。

而其它的视觉信息则更加开放,由文字 prompt 进行控制。这样一来,就能实现「精准还原+高自由度」的生成目标。

▲山谷的空地中,主人公站在巨龙前,长发随风飘动。镜头逐渐拉升,捕捉主人公转身看向远方的动作,巨龙的翅膀展开,吹动主人公的头发和她的裙摆,画面最终以俯拍收尾

这段视频里,只传给了模型一张龙妈的图片。最终呈现出来的视频中,模型准确呈现了 prompt 中涉及的镜头语言、画面元素,体现出极强的理解能力。

图片参考的技术路线,相比于 LoRA 方案,肉眼可见的减少了用户上传的素材,数十段视频化为一张图片。同时等待时间以秒计算,体感上和文字生成、图片生成所花的时间差不了多远——既有图生视频的准确,又有文生视频的自由。

国产之光,满足你的「既要又要」

「既要又要」并不是过分的要求。只有同时实现人物形象的准确一致和自由活动,才能让模型走出整活、做梗图的范畴,在行业应用场景中,具有更广泛的使用价值。

比如在产品广告中,一张模特图,直接针对多种产品生成视频,只需要改变 prompt 就能实现。

如果用图生视频的方式来实现,目前的主流方案是设置首尾帧,可以实现的效果也被已有图片限制住了。同时还得要反复抽卡,收集不同的角度,最后再把素材拼接在一起,才能完成一组有长度的镜头。

结合不同技术的特点,更加符合视频创作的工作流程,正是「主体参考」的优势。未来,超过 80% 的营销从业者会在不同的环节用到生成式工具,他们只需要专注在故事和情节构思上,解放抽卡的双手。

Statista 的统计显示,2021 年时广告营销的生成式 AI 产品市场规模已经超过 150 亿美元。到 2028 年时这个数字将达到 1075 亿美元。以往的工作流里,纯粹的文生视频有太多不可控,适合用在创作初期。欧美的广告营销行业里生成式 AI 已经非常普遍,其中 52% 的用例是在初稿、策划,48% 用于头脑风暴。

目前,海螺 AI 先开放的是对单个人物的参考能力,未来,将会拓展到多人、物体、场景等更加丰富的参考能力,进一步解放创造力,正如海螺的 slogan 所提出的,「每个想法都是一部大片」。

自从去年 8 月,MiniMax 发布视频模型以来,从生成画面品质、流畅度,到一致性和稳定性等方面,在海外持续吸引着大量用户的关注和体验,其中不乏有影像创作经验的从业者,收获了大量正面反馈和专业认可。

在过去一年多的技术竞争中,AI 视频生成领域的竞争格局初步展现。Sora 的实现效果使人们看到视频生成这一领域的潜力,随后各大科技公司,在这一领域纷纷投入资源,重金研发。

随着年底 Sora 产品推出延迟、以及用户试用的口碑平平,未能满足市场期待。这也给了其它玩家抢占市场的机会。

如今,在生成式视频即将走入下半场之时,如今真正展现出技术实力和发展潜力的只有三家:MiniMax 的海螺 AI、快手的可灵 AI、以及字节的即梦 AI 。

作为一家成立刚刚 3 年的初创公司,MiniMax 以精悍干练的初创公司体量,带来足以跻身 T0 水准的产品和技术。从去年 12 月的图生视频模型 I2V-01-Live,到现在的 S2V-01 新模型,都在解决以往视频生成中的棘手难题。

随着技术的不断成熟和应用场景的逐步扩大,视频生成 AI 会在内容创作、影视制作、营销传播等领域掀起新一轮革命。这几家代表着中国视频生成 AI 领域最高水平的厂商,除了继续领衔国内市场,更有望在全球范围内与国际巨头展开竞争。与此同时,如何在保持技术创新的同时,确保产品的稳定性和可控性,将是这些企业面临的持续挑战。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
白宫:美国总统特朗普将于5月访华

白宫:美国总统特朗普将于5月访华

辇毂
2026-03-26 05:18:40
生死12分钟!广东一男子踢球时心脏骤停 一群医生冲上前接力心肺复苏救回一命

生死12分钟!广东一男子踢球时心脏骤停 一群医生冲上前接力心肺复苏救回一命

闪电新闻
2026-03-26 11:46:05
国防部:赖清德媚日恋殖丑态令人不齿

国防部:赖清德媚日恋殖丑态令人不齿

界面新闻
2026-03-26 16:11:53
越挖越多!张雪峰离世早有征兆,他的2个不良嗜好,或成催命符

越挖越多!张雪峰离世早有征兆,他的2个不良嗜好,或成催命符

爆笑大聪明阿衿
2026-03-25 23:04:10
老板娘问我她熊大不大?我该怎么回答?

老板娘问我她熊大不大?我该怎么回答?

太急张三疯
2026-03-26 10:36:30
跟着黄仁勋下注:如今的token可能就是20年的房子

跟着黄仁勋下注:如今的token可能就是20年的房子

梦大明白
2026-03-24 11:05:49
32.29万起!全新一代A6L正式上市,华为乾崑智驾上车!

32.29万起!全新一代A6L正式上市,华为乾崑智驾上车!

小南看车
2026-03-25 22:59:29
朝鲜为何突然禁播部分中国影视作品

朝鲜为何突然禁播部分中国影视作品

东方不败然多多
2026-03-26 05:21:44
11投狂砍27分+7记三分!这才是联盟顶级小前锋,郭士强真没看错人

11投狂砍27分+7记三分!这才是联盟顶级小前锋,郭士强真没看错人

老叶评球
2026-03-25 22:06:40
20人老头乐公司起诉小米汽车,把网友们CPU干冒烟了……

20人老头乐公司起诉小米汽车,把网友们CPU干冒烟了……

柴狗夫斯基
2026-03-26 11:44:33
李鑫认亲第3天!姐弟闹掰再次失联,姐姐深夜哭诉,养家姐姐发声

李鑫认亲第3天!姐弟闹掰再次失联,姐姐深夜哭诉,养家姐姐发声

离离言几许
2026-03-26 12:11:37
姆巴佩正在步卡卡后尘,皇马赶快续约维尼修斯吧!

姆巴佩正在步卡卡后尘,皇马赶快续约维尼修斯吧!

刘笤说体坛
2026-03-26 08:57:48
小波特:为了表达对科比的尊重 我必须超越阿德巴约的纪录

小波特:为了表达对科比的尊重 我必须超越阿德巴约的纪录

北青网-北京青年报
2026-03-26 09:35:35
《超人》女演员治病花光积蓄后去世,好友为其葬礼发起筹款

《超人》女演员治病花光积蓄后去世,好友为其葬礼发起筹款

红星新闻
2026-03-24 14:16:15
惊天逆转!伊朗,吹响进攻号角!

惊天逆转!伊朗,吹响进攻号角!

大嘴说天下
2026-03-23 21:32:12
肯豆不穿内搭不尴尬吗?

肯豆不穿内搭不尴尬吗?

乡野小珥
2026-03-26 08:38:37
黑色星期四,黄金直线下跌,原油大幅拉升,港股暴跌,A股大跌!

黑色星期四,黄金直线下跌,原油大幅拉升,港股暴跌,A股大跌!

有范又有料
2026-03-26 16:07:15
最快护士张水华辞职后,靠比赛拿名次、一年广告费能拿200-400万

最快护士张水华辞职后,靠比赛拿名次、一年广告费能拿200-400万

魔都姐姐杂谈
2026-03-24 20:50:19
以军对伊朗基础设施发动大规模打击

以军对伊朗基础设施发动大规模打击

新华社
2026-03-26 12:29:02
好莱坞的AI招魂术:死亡不再是劳动的终点

好莱坞的AI招魂术:死亡不再是劳动的终点

动察Beating
2026-03-26 11:06:56
2026-03-26 16:56:49
爱范儿 incentive-icons
爱范儿
消费科技第一媒体
38612文章数 2601335关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

国防部:日本侵略过所有周边国家 至今都没有真正反省

头条要闻

国防部:日本侵略过所有周边国家 至今都没有真正反省

体育要闻

申京努力了,然而杜兰特啊

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

长护险谁能享受?享受多少?解答来了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

艺术
家居
教育
公开课
军事航空

艺术要闻

哪一座桥不是风景?

家居要闻

傍海而居 静观蝴蝶海

教育要闻

2026湖北高职单招工作启动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

担心特朗普突然停战 以总理下令48小时尽力摧毁伊设施

无障碍浏览 进入关怀版