网易首页 > 网易号 > 正文 申请入驻

国产世界模型登顶李飞飞团队榜单!适配昇腾算力、代码权重全开源

0
分享至

来源:市场资讯

(来源:量子位)

李飞飞团队的世界模型榜单,刚刚换了新榜首。


△WorldScore榜单

登顶的是兔展智能团队联合北大、鹏城实验室研发的UniWorld-View(模型已适配国产昇腾算力)

你随手拍一段视频,或者干脆只给一张图,它还你一段“相机轨迹任你指定”的新视角视频——

推、拉、摇、移,甚至“绕着场景360°转一圈”都可以,提供“精确听话的相机位姿控制”。

不管是单图3D生成还是视频4D生成,用的是“同一套代码、同一个模型”。

真·Uni(统一)World-View了,本次世界模型的训练数据来自北大系初创企业元空智能,代码和权重也已全部开源

官方地址:PKU-YuanGroup/UniWorld-View: Official implementation of UniWorld-View

1、单图新视角合成













2、动态视频新视角合成











先说这事儿为什么难。

新视角合成(Novel View Synthesis),本质上是让AI“脑补”没拍到的角度。

而难点全在“大基线(large-baseline)”三个字上——

说白了就是:只给AI看正脸,让它画出侧脸,甚至后脑勺。

传统路线NeRF、3DGS,走的是“重建”逻辑:看得越多,建得越好。

可随手拍的单目视频,视角覆盖约等于没有。喂给它们,轻则空洞伪影满天飞,重则直接摆烂。

生成式路线倒是敢画。但大多数方法只是把相机位姿当个“口头指令”(一个抽象的条件向量)塞进扩散模型——

没有显式3D建模,走两步就飘,转大角度直接失控。

于是近两年出现了第三条路:

几何归几何,生成归生成,相机控制一下子准了。ViewCrafter、英伟达GEN3C,走的都是这条路。

但在研发过程中,团队发现,这条路上藏着一个大家都踩过、却没人认真填的坑。

坑就出在点云渲染这一步。

点云是一堆孤立的点:既不知道谁跟谁相连,也不知道哪面朝外。

视角一转大,渲染图会出现两种经典穿帮:

一是前景背景撕裂

深度边界处没有连接信息,视角一变,前景纹理就像口香糖一样被扯到背景上,或者背景像素直接糊到前景脸上。

二是背面漏光

点云没有“面”的概念,不会自动遮挡。相机绕到物体背后,正面的点会直接透过来,相当于隔着后脑勺,看到了一张脸。

小幅度换视角时,这些穿帮不明显,生成模型还能糊弄过去。

可一旦上了大基线,条件图里全是错误几何信号,扩散模型直接被带偏:结构扭曲、伪影乱飞。

UniWorld-View的第一板斧,就砍向这里——“遮挡感知点云渲染”(Occlusion-aware Point Cloud Rendering)。

第一招:双重投影(Double-Reprojection),专治撕裂。


△遮挡感知点云渲染:解决前景背景撕裂

把源画面投影到目标视角,再原路投影回来。

来回一倒腾,凡是“回不来”的像素,就是会被遮挡的区域。

把这些区域沿相机轨迹逐帧累积成遮挡mask,渲染时直接挖掉——该是洞的地方就老老实实留洞,交给生成模型去补,而不是留一堆错误纹理误导它。

第二招:法向过滤,专治背面漏光。


△法线过滤点云渲染:解决背面漏光

给每个点估计法向量,和视线方向算个夹角:背对相机的点,直接踢出渲染。

两招下来,条件图里的错误信号清零,剩下的全是可靠几何+明确的待补区域。

几何理顺了,还剩第二个矛盾:

点云渲染图“位置对,但内容缺”;源视频“内容全,但位置不对”。

怎么让生成结果既贴合目标视角,又和原视频长得一模一样?

UniWorld-View的答案是“双流条件注入”

一个管构图,一个管上色,分工明确。


△模型框架图

更进一步:既然能任意换机位,那多换几个机位,“单目视频不就变成多视角视频了”?

多视角视频一到手,4D重建(动态3DGS)就从不可能任务变成了常规操作。

这里还有个巧思。常规生成式方法的相机是“边走边拍”,空间变换和时间推进耦合在一起,视角在4D空间里分布极不均匀。

UniWorld-View直接把两者解耦,分两步走:

生成多视角视频后,喂给4DGS优化,就得到了最终的4D场景。

单目随手拍→可自由视角漫游的4D场景,一条龙打通。







兔展智能由北京大学校友与北京大学视觉领域青年领军人才联合创立,公司专注视觉AI大模型研发,拥有世界一流的基于视觉大模型的多模态大模型底层自研技术,是国内视觉AI大模型领域代表企业。

公司自主研发Open-Sora Plan、UniWorld等系列视觉AI模型,其中Open-Sora Plan是行业首个开源文生视频模型,2024年代码引用量位居全球第一;UniWorld视觉大模型率先探索理解与生成统一架构。

其中,2025年,兔展智能发布的UniWorld-V2理解与生成统一架构的视觉大模型,早于NanoBanana3个月发布,引领理解生成一体化新方向;

2026年4月,兔展智能发布UniWorld-V2.5,不仅与GPT-Image-2同周发布,而且在InfoGraph、图文交错、文字密集等场景上也对齐GPT-Image-2的生成能力。

在持续推进视觉AI大模型技术演进的同时,兔展智能正加快推进UniWorld的大模型能力产品化,近期将推出产模一体设计生产工具RabbitVis,进一步推动视觉AI进入商业设计工作流。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
21年连涨的退休人员养老金,人社部发话,今年真的没戏了吗?

21年连涨的退休人员养老金,人社部发话,今年真的没戏了吗?

云鹏叙事
2026-07-30 14:31:07
中共中央政治局:制定实施全国统一大市场建设条例 继续综合整治“内卷式”竞争

中共中央政治局:制定实施全国统一大市场建设条例 继续综合整治“内卷式”竞争

财联社
2026-07-30 15:09:20
2004年,马加爵在案发前因病卧床,林某带回两份盒饭在317宿舍与他分食。这点温情,为何最终还是没能阻止四天后那场震惊全国的血案?

2004年,马加爵在案发前因病卧床,林某带回两份盒饭在317宿舍与他分食。这点温情,为何最终还是没能阻止四天后那场震惊全国的血案?

人生录
2026-07-30 00:05:11
全国结婚创45年新低!各地急了:结婚直接发钱,最高4万

全国结婚创45年新低!各地急了:结婚直接发钱,最高4万

六子吃凉粉
2026-07-30 11:45:54
冰火两重天!长鑫科技继续上涨,A股另一存储龙头却连续跌停,股价1个月“腰斩”,市值蒸发超3000亿元!

冰火两重天!长鑫科技继续上涨,A股另一存储龙头却连续跌停,股价1个月“腰斩”,市值蒸发超3000亿元!

每日经济新闻
2026-07-30 11:11:09
球球曝赵本山晚年状态:每天2包烟8两酒,脑瘤术后只戒了俩月

球球曝赵本山晚年状态:每天2包烟8两酒,脑瘤术后只戒了俩月

子芫伴你成长
2026-07-29 22:06:27
中英商务部长通话,英国承诺对华补偿,赔付金额可能是天文数字

中英商务部长通话,英国承诺对华补偿,赔付金额可能是天文数字

流史岁月
2026-07-30 15:05:07
6-0!赵心童横扫斯诺克大满贯,破解了墨菲开球,给足丁俊晖面子

6-0!赵心童横扫斯诺克大满贯,破解了墨菲开球,给足丁俊晖面子

球场没跑道
2026-07-30 16:40:23
政治局会议定调A股:提升资本市场韧性和信心,深化投融资综合改革|快讯

政治局会议定调A股:提升资本市场韧性和信心,深化投融资综合改革|快讯

华夏时报
2026-07-30 16:32:03
梅德韦杰夫:拯救俄罗斯只有一条路,打赢这场特别军事行动

梅德韦杰夫:拯救俄罗斯只有一条路,打赢这场特别军事行动

鲁中晨报
2026-07-30 20:26:06
新西兰外长彼得斯竟要华裔议员“滚回自己国家”,中使馆提出严正交涉,新西兰总理谴责:这是彼得斯长期以来不当博取关注行为的延续

新西兰外长彼得斯竟要华裔议员“滚回自己国家”,中使馆提出严正交涉,新西兰总理谴责:这是彼得斯长期以来不当博取关注行为的延续

大风新闻
2026-07-30 16:11:24
C罗婚礼请柬曝光:与乔治娜将于8月1日在某庄园举行婚礼,庄园表示不予回应;此前有消息称C罗因世界杯失利推迟婚礼

C罗婚礼请柬曝光:与乔治娜将于8月1日在某庄园举行婚礼,庄园表示不予回应;此前有消息称C罗因世界杯失利推迟婚礼

鲁中晨报
2026-07-30 16:38:19
刚刚,出大事了!官方直接定调,A股准备迎接巨变!

刚刚,出大事了!官方直接定调,A股准备迎接巨变!

星图金融研究院
2026-07-30 15:46:55
“1988元可选高颜值ProMax亲亲抱抱,其他服务私下谈”,贵州洛北河漂流伴漂服务被指“商务漂流”;景区确认有该服务

“1988元可选高颜值ProMax亲亲抱抱,其他服务私下谈”,贵州洛北河漂流伴漂服务被指“商务漂流”;景区确认有该服务

大风新闻
2026-07-30 19:29:30
突发!中央政治局召开重要会议,释放多个关键信号!

突发!中央政治局召开重要会议,释放多个关键信号!

付一夫
2026-07-30 18:30:02
特朗普直言:据我所知,美国几乎没有一辆中国汽车,我们对中国汽车征收100%的关税!网友:活成了清朝的闭关锁国模样

特朗普直言:据我所知,美国几乎没有一辆中国汽车,我们对中国汽车征收100%的关税!网友:活成了清朝的闭关锁国模样

大白聊IT
2026-07-29 21:34:06
天价退票费,全额退还了!

天价退票费,全额退还了!

极目新闻
2026-07-30 00:57:53
赛里木湖自驾每人收75元引争议,景区称相关费用已做备案

赛里木湖自驾每人收75元引争议,景区称相关费用已做备案

界面新闻
2026-07-30 10:06:07
风暴眼丨6条人命,50万,一个女店主的抉择

风暴眼丨6条人命,50万,一个女店主的抉择

凤凰网财经
2026-07-30 15:46:15
2026年,越来越多的东西开始不对劲了。

2026年,越来越多的东西开始不对劲了。

放牛娃的遐想
2026-07-29 08:10:06
2026-07-30 21:32:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4268427文章数 9089关注度
往期回顾 全部

科技要闻

特斯拉第1000万辆车下线:平均每9秒卖一台

头条要闻

15岁男生两次遭低年级学生殴打 家长查监控被校方拒绝

头条要闻

15岁男生两次遭低年级学生殴打 家长查监控被校方拒绝

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

周星驰用态度打破快餐式宣发

财经要闻

中共中央政治局:提升资本市场韧性和信心

汽车要闻

行业首创老车主优先体验 一汽-大众ID. AURA T6开启盲订

态度原创

本地
艺术
游戏
亲子
公开课

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

艺术要闻

这是现存最早的挂轴书法,出自南宋王爷之手,水平不逊于米芾!

NS2《异度之刃2》光焰丝袜藏细节!新服装凸显身材

亲子要闻

我是自愿拍这条视频的,我很开心,大家能看出来吧!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版