网易首页 > 网易号 > 正文 申请入驻

新加坡国立大学与百度联手开发ONE-SHOT

0
分享至

在电影特效和虚拟现实日益普及的今天,一项由新加坡国立大学和百度公司联合开展的研究正在悄然改变我们对视频制作的认知。这项发表于2026年4月arXiv预印本平台(编号:arXiv:2604.01043v1)的研究,提出了一个名为ONE-SHOT的创新框架,能够让计算机像导演一样,将真人的动作、表情和环境背景巧妙地融合在一起,创造出逼真的视频内容。

要理解这项研究的意义,不妨把它想象成一种全新的"数字魔法"。传统的视频制作就像搭积木一样,需要先准备好所有的零件,然后费力地将它们拼装在一起。而ONE-SHOT更像是一位经验丰富的厨师,能够同时处理多种食材,让每种食材都保持自己独特的味道,最终烹制出一道和谐美味的大餐。

研究团队面临的核心挑战类似于让一位京剧演员在欧洲古堡中表演太极,同时还要确保演员的服装、动作和周围环境都显得自然协调。在传统方法中,这需要大量复杂的前期准备工作,就像为了做一道菜而要先建造整个厨房一样繁琐。更糟糕的是,一旦过度依赖这些复杂的准备工作,整个系统就像被束缚住的艺术家,失去了创造力和灵活性。

ONE-SHOT的独特之处在于它采用了一种"分而治之"的策略。就像一位出色的管弦乐指挥能够让小提琴、大提琴和钢琴各自发挥特长,同时又能完美融合成一首交响乐一样,这个系统将人物动作、环境背景和摄像机运动这三个要素分开处理,然后巧妙地将它们组合起来。

研究的创新点体现在三个关键技术突破上。首先是"标准空间动作注入"机制,这就像为每位演员提供了一个专门的表演舞台。无论演员要在什么样的环境中表演,他们都可以在这个标准舞台上练习动作,然后系统再将这些动作无缝地转移到真实环境中。这种方法避免了传统技术中常见的"水土不服"问题。

其次是"动态基础旋转位置编码"技术,听起来复杂,但实际上就像一个智能的空间翻译器。当演员在标准舞台上的动作需要转移到真实环境时,这个翻译器能够自动调整空间对应关系,确保演员的每个动作在新环境中都显得自然合理。

第三个突破是"混合上下文集成"机制,这相当于给系统配备了长期记忆和短期记忆两套记忆系统。短期记忆负责记住演员的面部特征和基本外貌,而长期记忆则能追踪整个表演过程中环境和人物的变化,确保长达数分钟的视频内容保持一致性。

在技术实现层面,ONE-SHOT采用了一种类似"学徒制"的训练方式。研究团队没有从头开始训练一个全新的系统,而是基于已经成熟的Wan2.1视频生成模型进行改进。这就像一位经验丰富的师傅带着徒弟,只需要教授一些特定的新技能,而不必从基础开始。这种方法大大提高了效率,同时保持了原有系统的创造力。

系统的工作流程可以比作制作一部舞台剧。首先,导演(系统)会根据剧本(文本提示)选择合适的舞台背景,这是通过分析三维点云数据和设定摄像机轨迹来实现的。然后,演员(虚拟人物)会根据编排好的动作序列在舞台上表演。最有趣的是,这个系统能够让同一位演员在不同的舞台上表演不同的剧目,或者让不同的演员在同一个舞台上表演相同的动作。

研究团队在训练这个系统时采用了多样化的数据来源,就像让学生同时学习多门课程一样。他们使用了包含动态摄像机运动的EMDB2数据集、以人体动作为主的MotionX数据集子集、提供三维环境信息的ARKitScenes数据集,以及自行收集的网络视频。这种多元化的训练方式让系统具备了更强的适应能力和创造性。

在实验验证阶段,研究团队进行了两类关键测试。第一类是"自我重现"测试,就像让学生复述刚学过的课文一样,检验系统能否准确重现已有的视频内容。第二类是"创新组合"测试,这更像是让学生进行创作,检验系统能否将不同来源的人物、动作和环境创造性地组合在一起。

实验结果显示,ONE-SHOT在多个重要指标上都超越了现有的顶级方法。在视觉质量方面,它获得了16.88的FID分数和181.17的FVD分数,明显优于其他竞争方法。更重要的是,在动作流畅性、背景一致性和人物相似性等关键指标上,ONE-SHOT都展现出了更好的平衡性。这就像一位全能运动员,不仅在单项上表现出色,在综合能力上也超越了专项选手。

特别值得一提的是,ONE-SHOT还展现出了强大的文本指导编辑能力。用户可以通过简单的文字描述,让系统将视频中的人物或物体进行创意替换。比如,可以将一个普通人替换成卡通角色哆啦A梦,或者将宠物狗替换成发光的小龙。这种能力源于系统很好地保持了原始视频生成模型的创造性,没有因为增加控制功能而牺牲灵活性。

研究团队还特别关注了长时间视频生成的挑战。传统方法往往只能处理十秒左右的短视频,而ONE-SHOT通过其混合记忆机制,能够生成长达数分钟的连贯视频内容。这就像让一位演员能够完成一整部短剧的表演,而不仅仅是几个片段。

在技术细节的消融实验中,研究团队验证了每个核心组件的重要性。当移除动态基础旋转位置编码功能时,系统在动作控制上的精确度明显下降,生成的人物动作会出现偏移和不协调。当移除面部参考信息时,人物的身份保持能力显著减弱,容易在长视频中出现"换脸"现象。这些实验结果证实了研究团队设计的每个技术组件都有其不可替代的作用。

从实际应用的角度来看,ONE-SHOT的意义远不止于技术突破本身。在电子商务领域,它可以让商家轻松创建不同模特在各种场景下展示产品的视频,大大降低拍摄成本。在教育领域,教师可以让历史人物在特定的历史场景中"复活",为学生提供更加生动直观的学习体验。在娱乐产业,内容创作者可以快速制作各种创意视频,而无需复杂的拍摄和后期制作流程。

当然,这项技术也面临着一些挑战和限制。系统的效果很大程度上依赖于输入的三维场景点云数据的质量,如果场景重建不够精确,可能会影响最终的视频质量。此外,在一些极端的边界框定位情况下,系统可能会出现人物位置不准确的问题。对于超长时间的视频生成,仍然可能出现一些细微的时间漂移现象。

研究团队也坦诚地讨论了这项技术可能带来的社会影响。虽然ONE-SHOT为创意表达和内容制作提供了强大的工具,但它也可能被用于制作误导性内容或虚假信息。因此,研究团队强调了负责任使用这项技术的重要性,建议在实际部署时需要考虑隐私保护和偏见问题。

从技术发展的趋势来看,ONE-SHOT代表了视频生成技术向更加智能化和可控化方向发展的重要一步。它不仅解决了现有技术在精确控制方面的不足,还保持了人工智能系统的创造性和灵活性。这种平衡对于人工智能技术的实用化具有重要意义。

说到底,ONE-SHOT就像是给了我们一支神奇的画笔,让我们能够在数字世界中随心所欲地创作视频内容。它不仅让技术变得更加精确和可控,还让创意表达变得更加自由和多样。虽然这项技术还有改进的空间,但它已经为我们展示了人工智能在视频制作领域的巨大潜力。对于那些对技术细节感兴趣的读者,可以通过论文编号arXiv:2604.01043v1查阅完整的研究内容,深入了解这项令人兴奋的技术突破。

Q&A

Q1:ONE-SHOT技术是什么?

A:ONE-SHOT是新加坡国立大学和百度联合开发的视频生成技术,能够让计算机将真人动作、环境背景和摄像机运动智能地组合在一起,创造出逼真的视频内容,就像让虚拟演员在任何环境中自然表演。

Q2:ONE-SHOT比现有技术有什么优势?

A:ONE-SHOT最大的优势是解决了传统方法的三个问题:减少了复杂的3D预处理工作,保持了系统的创造力和灵活性,还能生成长达数分钟的连贯视频。它就像一位全能导演,既能精确控制又保持创意自由。

Q3:普通人能使用ONE-SHOT技术吗?

A:目前ONE-SHOT还是研究阶段的技术,普通用户暂时无法直接使用。不过这项技术未来可能会集成到视频制作软件中,让内容创作者、教育工作者和商家都能轻松制作专业级的视频内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
曾经的“最快女护士”张水华黄石马拉松破个人纪录夺冠,6周连跑6场获5冠1亚,赛后发声:跑完第一公里体感还行,想试试破纪录,下周跑半马

曾经的“最快女护士”张水华黄石马拉松破个人纪录夺冠,6周连跑6场获5冠1亚,赛后发声:跑完第一公里体感还行,想试试破纪录,下周跑半马

农民日报
2026-11-22 11:11:28
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
不要去!客流已爆满!知名景区突发大量游客滞留?景区:提前发限流公告,但没买到票的人还是涌来…

不要去!客流已爆满!知名景区突发大量游客滞留?景区:提前发限流公告,但没买到票的人还是涌来…

极目新闻
2026-11-21 18:14:13
后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

草莓信箱
2026-11-20 17:12:20
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
又一毒物曝光!市监局已核实,央视早就点名,记得转发提醒家人

又一毒物曝光!市监局已核实,央视早就点名,记得转发提醒家人

百科密码
2026-11-22 07:50:05
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

唠叨说历史
2026-11-10 19:55:18
比特币跌破57000美元

比特币跌破57000美元

财联社
2026-11-21 11:57:03
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
黄金连连溃败,逼近3500美元关口!华尔街齐呼:已跌入超卖区域

黄金连连溃败,逼近3500美元关口!华尔街齐呼:已跌入超卖区域

财联社
2026-11-22 11:04:24
76人险胜!最后1.5秒,希罗绝平三分压哨投进,老詹向场边示意看回放

76人险胜!最后1.5秒,希罗绝平三分压哨投进,老詹向场边示意看回放

担酒
2026-11-22 08:33:54
多家品牌宣布:下调金饰克价

多家品牌宣布:下调金饰克价

财联社
2026-11-21 18:33:59
梅西拿球砸人逃过红牌?裁判报告:非暴力动作!队友:都是对手的错

梅西拿球砸人逃过红牌?裁判报告:非暴力动作!队友:都是对手的错

念洲
2026-11-22 12:16:14
《丑狐》让相由心生具像化了!网友:人一旦寒了心 脸也会跟着变垮

《丑狐》让相由心生具像化了!网友:人一旦寒了心 脸也会跟着变垮

陈意小可爱
2026-11-21 04:23:59
油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

娱乐圈的笔娱君
2026-11-21 05:28:53
广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

南海浪花
2026-11-22 05:37:34
2026-11-22 13:03:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
艺术
本地
房产
公开课

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

世界十大著名宫殿盘点:中国独占两席

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版