网易首页 > 网易号 > 正文 申请入驻

物理AI突破3D世界弱网传输瓶颈,江行智能 CAGS 实现高保真实时三维空间流

0
分享至

物理AI突破3D世界弱网传输瓶颈,江行智能 CAGS 实现高保真实时三维空间流

刷视频时网络卡顿,播放器会降清晰度——画面“糊”一点,总比卡在原地强。

但如果把场景换成一个可自由探索的3D世界呢?用户看到的不是固定机位的2D画面,而是一个可以转头、移动、靠近观察的立体环境;服务端不仅要判断网络状况,还要预测用户下一秒会看向哪里。

机器人远程接管、工业巡检、实时数字孪生、生态监测——这些场景都依赖一种能力:把远端真实世界变成低延迟、高保真、可交互的3D世界流。

但这里有一个“不可能三角”:画面要保真,数据量就小不了;工业现场网络常常不稳定,数据量大就传不动;要想在弱网下传得动,就得狠压数据、牺牲画质,而远程操作所要求的低延迟,还在进一步压缩腾挪的余地。

顾住任何一头,另外两头就要付出代价。

近日,江行智能参与的联合研究成果CAGS(Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting)被计算机图形学顶级会议 SIGGRAPH 2026 收录。论文针对远程临场、生态监测、机器人远程操作等实时三维物理环境接入场景,提出了一套面向动态3D高斯喷溅(3DGS)的颜色自适应体积视频流系统。

在波动带宽下,CAGS相比已有自适应流媒体系统取得5–20 dB的PSNR提升,且解码速度远超现有可扩展高斯压缩方法。

#1一个“不起眼”但致命的问题

过去几年,3D Gaussian Splatting(3DGS)解决了如何高质量、实时渲染3D世界。但当3DGS从本地渲染走向在线传输,瓶颈变了——服务端不只是渲染场景,还需要把不断变化的3D表示传给用户;用户端也不是只接收一帧图像,而是要在自己的视角下实时解码和渲染。

传统自适应流媒体靠删除部分高斯(密度型LoD)来降低码率。但每个高斯同时承载局部几何、颜色、透明度和视角相关外观——删得太狠,场景结构可能直接“断掉”。低码率下,密度型LoD会引入可见空洞和严重质量退化。

CAGS论文发现了一个关键规律:用向量量化(VQ)压缩高斯属性时,结构基本保留,但颜色容易失真。而颜色失真可以通过一张低分辨率参考图在渲染后的图像空间修正。

策略可以提炼为一句话:先保住结构,再把颜色救回来。

#2面向物理 AI 场景:江行智能的三重技术解法

作为一家专注于物理AI的科技公司,江行智能的科研团队将这一洞察转化为一套多媒体-网络-图形学深度融合的系统。

第一重:可扩展向量量化(SVQ)

将高斯属性组织成基础层和增强层。基础层保证低码率下可播,带宽允许时逐步叠加增强层,补回质量。CAGS的SVQ在解码延迟上比现有可扩展压缩方法低数百倍,极为适合实时流媒体场景。

第二重:后渲染视角对齐(PRPA)

服务端根据预测视角提前渲染低分辨率参考图,但用户实际视角可能偏移。PRPA利用客户端本地渲染的深度图,将参考图重投影到真实视角,再通过误差腐蚀消除遮挡伪影,使颜色恢复始终准确。

第三重:自适应视野(Adaptive FoV)

预测误差可能导致参考图覆盖不足。CAGS借助轻量LSTM模型,动态调整参考图视野范围——预测不准时扩大视野保证覆盖,预测准确时缩小视野提高像素密度。



#3物理 AI 时代基础设施革新:从Video Streaming到World Streaming

移动互联网时代,视频流成为最重要的信息基础设施之一。YouTube、Netflix、抖音、快手背后,本质上都依赖一层成熟的Video Streaming Layer:视频可以被编码、压缩、传输、缓存、播放,并根据网络条件自动调整质量。

具身智能需要一层类似的东西,只是传输对象从二维画面换成了真实物理空间。

机器人远程接管、工业巡检、实时数字孪生、世界模型训练——背后是同一个需求:把远端真实世界变成低延迟、高保真、可交互、可学习的3D世界流。

物理AI时代需要一种新的基础设施层:World Streaming Layer

这一层今天还没有现成的标准方案,而具身智能、实时数字孪生和机器人远程操作,正在一个接一个撞上它。它的核心问题是:在真实而不稳定的网络条件下,自适应地传输高保真的动态三维场景。

CAGS把这个问题落到了一个可研究、可实验、可度量的系统上。它把动态3DGS从渲染表示推进到网络传输和系统部署层面:3DGS负责把世界表示出来,CAGS负责让这个世界在真实网络中流动起来。

#4从弱网到强网:始终保持稳定画质

CAGS在多种数据集上进行测试,覆盖人体动作、日常操作、手术场景等。在固定带宽下,PSNR、SSIM指标全面优于现有系统。在真实5G网络波动下,逐帧画质更平稳,避免了剧烈质量抖动——稳定性本身就是画质的一部分

更重要的是,CAGS不依赖于特定的动态3DGS预处理方法,可兼容Dynamic 3DGS、4DGS、HiCoM等多种主流方案。这意味着江行智能的技术可以快速适配不断进化的3D世界表示。

#5物理 AI 技术落地闭环,从前沿论文到确定性生产力

过去,AI主要处理语言、图像和视频。下一阶段,AI要进入真实空间、真实设备、真实任务和真实生产系统。

当机器人部署规模扩大,真实世界数据、远程接管、现场复盘和实时数字孪生都会从可选能力变成基础需求。二维视频无法承载这种需求,原始三维数据又难以在真实网络中稳定传输。因此,在具身智能的软件栈中,一层新的空间流媒体基础设施正在变得不可回避。

CAGS就处在这个位置上。它在动态3DGS体积视频流这个具体切口上,验证了一种可行的底层机制:低码率下先保住空间结构,再用轻量参考信号恢复颜色,让动态三维场景在波动网络中保持可用。

5–20 dB的PSNR提升证明了它在波动带宽下的系统有效性;更重要的是,它把动态3DGS从“高保真渲染技术”,往“真实网络中的世界流媒体系统”推进了一步。

未来,江行智能将持续围绕世界模型、空间智能、边缘基础设施与具身执行闭环开展前沿探索,推动AI从“理解真实世界”进一步走向“接入真实世界、操作真实世界、优化真实世界”。

相关研究

CAGS: Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting. SIGGRAPH 2026 Conference Paper.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
越南对美顺差超过中国跃居全球第一

越南对美顺差超过中国跃居全球第一

凤眼论
2026-07-13 09:55:08
“半年白干......”今天,杭州00后股民看不懂了

“半年白干......”今天,杭州00后股民看不懂了

都市快报橙柿互动
2026-07-13 15:59:21
宁波高一男生随家人晨跑18公里后,突发热射病昏迷,体温飙到41℃,心肾功能异常损伤!医生:热射病死亡率最高达70%,阴天、夜间也会高发

宁波高一男生随家人晨跑18公里后,突发热射病昏迷,体温飙到41℃,心肾功能异常损伤!医生:热射病死亡率最高达70%,阴天、夜间也会高发

环球网资讯
2026-07-13 17:55:08
女子半夜遭陌生人侵犯,她以为是丈夫,10天后男子再睡别人妻落网

女子半夜遭陌生人侵犯,她以为是丈夫,10天后男子再睡别人妻落网

汉史趣闻
2026-07-13 14:33:12
“问界”赛力斯,爆了一个大雷…

“问界”赛力斯,爆了一个大雷…

巴山侃侃
2026-07-13 00:43:21
哈兰德发文,告别世界杯!没传球给哈兰德的挪威球员瑟洛特遭网暴,近7万条留言都在骂,本人回应了……

哈兰德发文,告别世界杯!没传球给哈兰德的挪威球员瑟洛特遭网暴,近7万条留言都在骂,本人回应了……

都市快报橙柿互动
2026-07-13 12:32:26
哈米德礼萨·德甘,阵亡

哈米德礼萨·德甘,阵亡

南方都市报
2026-07-13 09:29:23
胡锡进:我不支持双开霸车位的副处长,一点小事大动干戈真可悲

胡锡进:我不支持双开霸车位的副处长,一点小事大动干戈真可悲

映射生活的身影
2026-07-13 13:13:09
世界杯日记(三十二) 法国队有没有“法国人”?

世界杯日记(三十二) 法国队有没有“法国人”?

白国华
2026-07-13 13:06:35
金球奖最新赔率:姆巴佩领跑!哈兰德第8 前10名仅2人无缘世界杯4强

金球奖最新赔率:姆巴佩领跑!哈兰德第8 前10名仅2人无缘世界杯4强

我爱英超
2026-07-13 12:53:21
世界杯两场淘汰赛大胆预测:法西英阿谁能拿到决赛的入场券

世界杯两场淘汰赛大胆预测:法西英阿谁能拿到决赛的入场券

江启
2026-07-13 10:05:32
A股:今天跌到3913了,大家做好准备,明天周二可能这样走

A股:今天跌到3913了,大家做好准备,明天周二可能这样走

明心
2026-07-13 15:15:14
周星驰在片尾留了个空位!没名没姓没照片,25年后所有人一眼就哭了

周星驰在片尾留了个空位!没名没姓没照片,25年后所有人一眼就哭了

动物奇奇怪怪
2026-07-13 15:36:10
中山大学:222人,取消录取资格

中山大学:222人,取消录取资格

南方都市报
2026-07-13 14:56:47
一个车位纠纷,为什么要惊动央视?真正该追问,不只是占车位的人

一个车位纠纷,为什么要惊动央视?真正该追问,不只是占车位的人

水泥土的搞笑
2026-07-13 14:19:39
商业航天崩盘,股民:全市场都是量化的玩具

商业航天崩盘,股民:全市场都是量化的玩具

金石随笔
2026-07-13 11:30:54
后续!彭处长被停职,男友雷某正脸曝光,身份被扒,他才是导火索

后续!彭处长被停职,男友雷某正脸曝光,身份被扒,他才是导火索

谭谈社会
2026-07-13 13:53:05
浙江17天婴儿被宠物狗咬开脑袋!家人痛心:它平时很乖;医生:狗强烈嫉妒,才攻击伤人

浙江17天婴儿被宠物狗咬开脑袋!家人痛心:它平时很乖;医生:狗强烈嫉妒,才攻击伤人

极目新闻
2026-07-13 14:48:33
“多做一会,多赚点钱”,大火中被困的多是计件工

“多做一会,多赚点钱”,大火中被困的多是计件工

南风窗
2026-07-13 13:28:10
“特朗普、内塔尼亚胡、英法德意四国领导人,被列入暗杀名单”

“特朗普、内塔尼亚胡、英法德意四国领导人,被列入暗杀名单”

新京报
2026-07-13 14:42:15
2026-07-13 18:27:00
动物闻天下 incentive-icons
动物闻天下
漫画讨论游戏讨论趣闻讨论
208文章数 179关注度
往期回顾 全部

科技要闻

OpenAI与Anthropic互掐,最强AI也怕你不用

头条要闻

晋江鞋厂火灾楼顶蓄水池捞出多具遗体 水池仅十几平米

头条要闻

晋江鞋厂火灾楼顶蓄水池捞出多具遗体 水池仅十几平米

体育要闻

世界杯月赚1.7亿,51岁的他仍是顶流

娱乐要闻

具俊晔“深情人设”崩塌,遗产瓜开撕

财经要闻

SK海力士暴跌15%原因找到了?

汽车要闻

小米澎程N90 Max工信部信息曝光 全尺寸旗舰 露营版首秀

态度原创

亲子
时尚
家居
教育
房产

亲子要闻

宝爸和一岁多双胞胎宝宝一起玩嗨了,父子三人的快乐!

巴黎文艺购物路线兼高温避暑指南

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

解方程,7x-(x-6)=24 求x=?

房产要闻

海口豪宅,6折变卖!

无障碍浏览 进入关怀版