网易首页 > 网易号 > 正文 申请入驻

视频生成技术:多视角展现真实身份与光照的新突破

0
分享至

第一作者徐源诚是 Netflix Eyeline 的研究科学家,专注于基础 AI 模型的研究与开发,涵盖多模态理解、推理、交互与生成,重点方向包括可控视频生成及其在影视制作中的应用。他于 2025 年获得美国马里兰大学帕克分校博士学位。

最后作者于宁是 Netflix Eyeline 资深研究科学家,带领视频生成 AI 在影视制作中的研发。他曾就职于 Salesforce、NVIDIA 及 Adobe,获马里兰大学与马普所联合博士学位。他多次入围高通奖学金、CSAW 欧洲最佳论文,并获亚马逊 Twitch 奖学金、微软小学者奖学金,以及 SPIE 最佳学生论文。他担任 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR 等顶会的领域主席,以及 TMLR 的执行编辑。

在电影与虚拟制作中,「看清一个人」从来不是看清某一帧。导演通过镜头运动与光线变化,让观众在不同视角、不同光照条件下逐步建立对一个角色的完整认知。然而,在当前大量 customizing video generation model 的研究中,这个最基本的事实,却往往被忽视。

  • 论文地址: https://arxiv.org/pdf/2510.14179
  • 项目主页: https://eyeline-labs.github.io/Virtually-Being/

被忽视的核心问题:Multi-view Identity Preservation

多视角身份一致、镜头环绕与多人物示例

近年来,视频生成领域中关于人物定制(customization)的研究迅速发展。绝大多数方法遵循一种相似范式:给定一张或少量人物图像 → 生成包含该人物的视频。这种范式隐含了一个关键假设:只要人物在某个视角下看起来像,就等价于「身份被保留」。但在真实的视频与电影语境中,这个假设并不成立。

为什么单视角身份是不够的?

  • 身份是强烈依赖视角的(view-dependent)

面部轮廓、五官比例、体态与衣物形态,都会随观察角度发生系统性变化。

  • 相机运动会持续暴露未见过的外观区域

单张或少量图像无法覆盖侧脸、背面以及连续视角变化过程中的外观一致性。

  • 多人场景会放大任何身份错误

当多个角色同框时,哪怕轻微的身份漂移都会变得非常明显。

因此,在具有真实 3D 相机运动的视频中,「identity preservation」本质上是一个 multi-view consistency 问题,而不是单帧相似度问题。

然而,令人遗憾的是,显式关注 multi-view identity preservation,在当前的视频定制化生成研究中仍然几乎没有被系统性地解决。

核心立场:学习一个人的身份,必须学习他在多视角与多光照下的样子


Virtually Being 的核心论点非常明确:如果希望模型真正「学会一个人的身份」,那么它必须看到这个人在不同视角(multi-view)和不同光照(various lighting)下的稳定外观。

换句话说,看清一个人,不是看清一张脸,而是理解这个人在空间中如何被观察,在光线变化下如何呈现。身份不是一个静态的 2D 属性,而是一个 4D(空间 + 时间)一致的概念,这正是 Virtually Being 所要系统性解决的问题。

方法概览:用 4D 重建构建真正的多视角身份监督


为了解决 multi-view identity 被长期忽视的问题,我们从数据层面重新设计了人物定制流程。

多视角表演采集,而非单视角参考

  • 使用专业体积捕捉系统采集真实人物表演:75 相机面部捕捉阵列、160 相机全身捕捉阵列;
  • 捕捉人物在受控条件下的动态表演,为高质量重建提供输入。

4D Gaussian Splatting 作为数据生成器

  • 对捕捉到的表演进行 4D Gaussian Splatting (4DGS) 重建;
  • 在重建结果上渲染大量视频:覆盖连续变化的相机轨迹、具备精确的 3D 相机参数标注、保证同一人物在不同视角下的身份一致性。

通过这一过程,视频生成模型在训练阶段不再依赖零散的图像线索,而是反复观察同一个人在多视角、连续镜头运动下应当如何保持外观一致。

两阶段训练:先理解镜头,再理解「这个人」


为了在身份定制的同时保持稳定的镜头控制能力,我们采用了一个清晰解耦的两阶段训练策略。

阶段一:相机感知预训练(Camera-aware Pretraining)

基于 ControlNet 架构,引入完整 3D 相机参数(Plücker 表示),在大规模公开视频数据上训练模型,使其学会相机运动如何影响视角变化与时间结构。这一阶段的目标,是让模型牢固掌握电影级的镜头语言。

阶段二:多视角身份定制(Multi-view Customization)

在预训练模型基础上进行微调,使用 4DGS 渲染的多视角视频作为定制数据,为每个身份引入专属 token,将身份与多视角外观显式绑定,最终模型在推理时能够精确遵循输入的 3D 相机轨迹,在未见过的视角下仍然稳定呈现同一个人。

光照真实感:身份感知不可分割的一部分


除了视角,光照同样是「看清一个人」的关键维度。

在真实电影中,人物身份并不是在单一光照条件下被认知的,而是在不同室内外环境,侧光、逆光、柔光等变化,不同光比与色温条件下逐步被观众确认。

在 Virtually Being 中,我们通过引入基于 HDR 的视频重打光数据,显著增强了生成视频中的光照真实感。在 4DGS 渲染基础上,对同一人物生成多种自然光照条件,覆盖真实拍摄中常见的照明变化范围,使模型学会在光照变化下,人物身份仍应保持稳定。

实验结果显示,引入重光照数据后,生成视频在用户研究中 83.9% 被认为光照更自然、更符合真实拍摄效果,缺乏该数据时,人物往往呈现平坦、缺乏层次的合成感。

多人物生成:multi-view identity 才能支撑真实互动


在多人物视频生成中,multi-view identity preservation 的重要性进一步被放大。

只有当模型对每个角色在不同视角与光照条件下的身份都有稳定建模时,人物才能自然同框,空间关系才能保持一致,互动才不会显得拼接或混乱。

Virtually Being 支持两种多人物生成方式:

  • 联合训练(Joint Training):通过少量同框数据增强互动真实性;
  • 推理阶段组合(Noise Blending):在无需重新训练的情况下灵活组合多个身份。


实验结论:multi-view + relighting 是身份一致性的关键因素


系统性实验表明,使用 multi-view 数据训练的模型,在 AdaFace 等身份指标上显著优于仅使用 frontal-view 数据的模型以及其他 video customization 的方法。缺失 multi-view 或 relighting 数据,都会导致身份一致性与真实感明显下降。用户研究结果同样明确偏好具备 multi-view 身份稳定性的生成结果。

总结:重新定义视频生成中的「身份」


Virtually Being 并不仅仅提出了一个新框架,而是明确提出并验证了一个长期被忽视的观点:在视频生成中,身份不是一张图像,而是一个人在多视角与多光照条件下保持稳定的 4D 表现。通过系统性地引入 multi-view 表演数据与真实光照变化,我们为 customizing video generation model 提供了一条更贴近电影制作实际需求的解决路径。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国造AH-4又被缴获了!也门海岸防御崩盘,胡塞抢下10000平方公里土地,要变天了?

中国造AH-4又被缴获了!也门海岸防御崩盘,胡塞抢下10000平方公里土地,要变天了?

军武次位面
2026-11-17 17:48:54
米切尔狂砍 39 分率队取胜 放话:只要哈登放权,我能带领这支球队夺冠

米切尔狂砍 39 分率队取胜 放话:只要哈登放权,我能带领这支球队夺冠

篮球小方
2026-11-17 11:13:17
大衣哥朱之文在景区演出,唱到一半突然停了,直接说:“我不演了”。不是设备出毛病,也不是台下有人闹事,其实是...

大衣哥朱之文在景区演出,唱到一半突然停了,直接说:“我不演了”。不是设备出毛病,也不是台下有人闹事,其实是...

背包旅行
2026-07-31 11:39:13
贵妃这是要掀桌子的节奏呀?佛统府牵“神秘男孩”亮相:她真底牌不是私生子,是亲手带大的提帮功

贵妃这是要掀桌子的节奏呀?佛统府牵“神秘男孩”亮相:她真底牌不是私生子,是亲手带大的提帮功

秋风妃
2026-11-16 15:29:37
特朗普宣布即将访华:将与中俄元首会晤,也可能与金正恩委员长会面

特朗普宣布即将访华:将与中俄元首会晤,也可能与金正恩委员长会面

澎湃新闻
2026-11-17 08:20:33
“红楼梦AI剧侵害17位演员肖像权”上热搜,《红楼梦》宝钗扮演者张莉回应:未授权AI短剧使用肖像,保留进一步追究相关方法律责任的权利

“红楼梦AI剧侵害17位演员肖像权”上热搜,《红楼梦》宝钗扮演者张莉回应:未授权AI短剧使用肖像,保留进一步追究相关方法律责任的权利

大风新闻
2026-11-17 13:26:02
董子健带女儿逛超市,比电视上有男人味,9岁大福身高快超爸爸

董子健带女儿逛超市,比电视上有男人味,9岁大福身高快超爸爸

柒佰娱
2026-11-16 17:00:21
许家印在看守所的待遇

许家印在看守所的待遇

年代回忆
2026-10-22 23:21:45
秦海璐变卖房产,清空全部资产,凑出近亿身家,绝境兜底救下刘涛

秦海璐变卖房产,清空全部资产,凑出近亿身家,绝境兜底救下刘涛

秋别离
2026-06-13 15:50:00
全国多地宣布,中小学上学时间调整

全国多地宣布,中小学上学时间调整

南方都市报
2026-11-14 18:05:26
目前摆在我们面前的三件大事,必须要快速解决!第一,务必快速解决台湾问题;第二,就是要解决二战遗留问题;第三,处理好中美问题

目前摆在我们面前的三件大事,必须要快速解决!第一,务必快速解决台湾问题;第二,就是要解决二战遗留问题;第三,处理好中美问题

扶苏聊历史
2026-11-05 15:18:57
钾是香蕉的8倍,高钙高蛋白,年过60要常吃,走路有劲人精神

钾是香蕉的8倍,高钙高蛋白,年过60要常吃,走路有劲人精神

美食店主
2026-10-22 01:03:40
逆天了!女子路边要求抽烟男子灭烟,男子没理继续抽,女子当场破防指责没公德心

逆天了!女子路边要求抽烟男子灭烟,男子没理继续抽,女子当场破防指责没公德心

一丝不苟的法律人
2026-11-06 11:25:57
心肌梗塞去世的越来越多,建议:1不喝、2不碰、3坚持,别大意

心肌梗塞去世的越来越多,建议:1不喝、2不碰、3坚持,别大意

鬼菜生活
2026-11-17 17:09:32
没想到,夺冠仅1天,方博一番话,再次把王楚钦送上“风口浪尖”

没想到,夺冠仅1天,方博一番话,再次把王楚钦送上“风口浪尖”

猪小艳吖
2026-11-17 13:40:57
父亲离世后,湘潭女子找回15年前印在报纸上的全家福:她哭了,照片上的人都在笑

父亲离世后,湘潭女子找回15年前印在报纸上的全家福:她哭了,照片上的人都在笑

潇湘晨报
2026-11-16 18:42:19
WTT球星赛:国乒新增外战6胜2负!单打5人已出局,全国亚军败北

WTT球星赛:国乒新增外战6胜2负!单打5人已出局,全国亚军败北

全言作品
2026-11-17 19:31:24
曼联安排私人飞机接波切蒂诺,当天就开工!六名教练确定并已提前抵达备战

曼联安排私人飞机接波切蒂诺,当天就开工!六名教练确定并已提前抵达备战

罗米的曼联博客
2026-11-17 06:52:19
江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

洪观新闻
2026-11-17 20:21:52
塞尔维亚计票结果正式出炉,欧洲难道是白高兴一场?武契奇自己都没料到,之前对局势的预估实在太过保守

塞尔维亚计票结果正式出炉,欧洲难道是白高兴一场?武契奇自己都没料到,之前对局势的预估实在太过保守

磊子讲史
2026-11-17 15:03:17
2026-11-17 21:35:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

本地
健康
手机
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

花粉狂喜!华为星芒阔直板即将发布,国补后有望5000以内拿下

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版