网易首页 > 网易号 > 正文 申请入驻

谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头

0
分享至

机器之心报道

编辑:陈萍、杜伟

这个神奇的「聊天室」,让你和远在天边的他们近距离碰面,互相问候、眼神交流,就像真的互相见到一样。

今年 5 月举行的谷歌 I/O 大会上,在谷歌园区户外进行的开场 Keynote 上,这家公司发布了一系列引人瞩目的全新产品。

在会上,谷歌公布了一个秘密开发多年的黑科技:全息视频聊天技术 Project Starline。Project Starline 本质上是一个 3D 视频聊天室,旨在取代一对一的 2D 视频电话会议,让用户感觉就像坐在真人面前一样。

通过 Starline,相互视频的人,不需要佩戴任何眼镜或者头盔,真实的就像坐在对面聊天一样,人物细节饱满。我们先来感受一下它的效果:


实际上,这是由高分辨率传感器、数十个景深扫描传感器以及 65 英寸「光场显示器」重新生成的实时 3D 模型。谷歌表示这一项目已开发了数年之久,其背后是大量计算机视觉、机器学习、空间音频和数据压缩技术。谷歌还为此开发出了一套突破性的光场系统,让人无需佩戴眼镜或耳机即可感受到逼真的体积和深度感。


我们可以想象实现这一技术有多难,首先你需要让大脑认为有一个真人坐在离你不远的地方;其次图像需要高分辨率并且没有伪影;此外是音频问题,因为系统需要让声音听起来是从对面人的嘴里发出来的,还有诸如眼神交流等的小问题。

这项前沿黑科技背后的技术是怎么实现的呢?想必很多人都想了解,近日,谷歌在一篇论文中公布了 Project Starline 演示背后的技术。


论文地址:https://storage.googleapis.com/pub-tools-public-publication-data/pdf/424ee26722e5863f1ce17890d9499ba9a964d84f.pdf

硬件部分,Project Starline 系统围绕一个以 60Hz 运行的大型 65 英寸 8K 面板构建。围绕它,谷歌的工程师布置了三个用于捕获彩色图像和深度数据的「捕获 pod」。该系统还包括四个额外的追踪摄像头、四个麦克风、两个扬声器和一个红外投影仪。整体来看,系统需要捕获来自四个视角的彩色图像以及三个深度图像,共计七个视频流。系统还需要捕获 44.1 kHz 的音频,并以 256 Kbps 编码。

显然,所有这些硬件都会产生大量需要传输的数据,谷歌表示,传输带宽从 30Mbps 到 100Mbps 不等,具体取决于用户衣服的纹理细节和手势的大小。因此,这远远超过标准的 Zoom 通话。Project Starline 配备了四块高端 Nvidia 显卡(两块 Quadro RTX 6000 显卡和两块 Titan RTX)来对所有这些数据进行编码和解码。端到端延迟平均为 105.8 毫秒。

系统实现

如下图 4 所示,谷歌的系统主要有两个组件:一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元,另一个是包含红外背光并用作 bench seat 的背光单元。两个单元都包含向墙壁和天花板倾斜的白色 LED 灯条,用于产生柔和的反射照明。


捕获子系统由三个同步立体的 RGBD 捕获 pod 组成:两个在显示器上方,一个在显示器下方的「中墙」(middle wall)中。更下方的 pod 包括一个额外的彩色相机,用于放大拍摄对象的脸部。另外,四个单色追踪摄像头中的两个在显示器上方,其余两个一侧一个,用于捕捉眼睛、耳朵和嘴巴的高速广角图像。

下图 5 展示了捕获和显示组件的排列。


更详细的系统组件信息如下:


下图 6 为系统中的数据流,展示了 Starline 主要的处理组件如何映射到 GPU 和 CPU。系统中的所有视频处理都在 60 Hz 下进行,除了 120 Hz 的面部跟踪和 180 Hz 的红外立体模式捕获。


照明

谷歌使用间接「反弹」(bounce)光源创造了一个柔和的照明环境。在显示和背光单元的侧面和背面,白色 LED 灯带照亮了周围的墙壁,产生舒适的漫射源,最大限度地减少锐利高光。与明亮的 LED 直接照明相比,这种散射的光对用户来说也更舒适。

同时,光量保持一定的不均匀分布也很重要。谷歌发现,完全均匀的入射光使人脸和其他 3D 形状看起来扁平且不真实,阻碍了系统中其他 3D 效果的发挥。摄影师尤其是电影摄影师将拍摄对象完全照亮和阴影两侧之间的对比度称为「照明比」。为了保持对象的立体感,谷歌在邻近墙壁的显示单元一侧使用更强的强度,产生大约 2:1 的照明比。

展示效果如下图 7 所示:


色彩校准

谷歌通过调整每个相机的增益、色彩校正 (3×3) 矩阵和 gamma 对系统的 RGB 相机进行色彩校准,以使标准色彩目标 [McCamy et al. 1976] 匹配 D65 光源下的参考色彩值,抵消了室内照明的影响。经过色彩校准的显示器在 D65 光源下拍摄的图像看起来像是在当地房间的照明条件(强度和色彩)下拍摄的。这种色彩校准方案可确保系统自动校正两个用户位置之间的细微照明差异。

对象捕获

谷歌的目标是渲染每个用户的新图像,这是因为它们应该出现在其他用户的左眼和右眼。显然,如果可以将相机精确地放置在这些眼睛位置,那么捕捉就变得微不足道了。

遗憾的是,这是不可行的。一方面,这些位置位于显示器的中心附近,因而会被遮挡;另一方面,用户将会在所有 3 个维度上自由运动。新兴的透视显示技术或许能够部分解决这个问题,但透明的自动立体显示器还不存在,并且无论如何都无法解决观看者的运动问题。

因此,谷歌将捕获传感器放置在显示器的外围。由于显示器对着本地用户的角度很大,因此捕获视角与需要渲染的眼睛位置相距甚远。为了解决这种大视差,谷歌使用可见光和近红外(NIR)全局快门图像传感器的组合来重建用户的几何近似值。

如上图 5 所示,传感器分布在三个捕获 pod 中,两个在显示器上方,一个位于其下方的中墙。上方的 pod 可以很好地观察手势以及头部和躯干的侧面,同时下方的 pod 又能很好地观察颈部、面部和下巴。pod 的体积足够大,宽 1.4 m、高 1.0 m 和深 0.9 m,用于捕捉坐着自然谈话和打手势的用户的头部、躯干、手臂和手。

3D 脸部追踪

谷歌采用了四个同步的 1280×1024 单色相机,它们以 120Hz 运行并配有过滤器来阻挡 NIR 光。对于每个捕获的图像,谷歌检测面部并定位 34 个面部标志 [FaceDetector 2019]。此外,他们还将眼睛、嘴巴和耳朵的 2D 位置确定为邻近标志的加权组合。为了让四个追踪相机中至少有两个找出这些对象,谷歌使用三角测距法(triangulation)来获取它们的 3D 位置。

视频压缩以及传输

来自 RGBD 捕获 pod 的四种颜色和三种深度流在 GPU 上进行压缩,并使用 WebRTC 与追踪的 3D 面部点一起传输。

通过使用视频压缩技术,该研究能够利用现代 GPU 中高度优化的视频编码器和解码器。具体来说,他们使用四个 NVIDIA GPU 的 NVENC/NVDEC 单元。这样一来会有足够的吞吐量处理四种颜色和三种深度流在全分辨率和 60Hz 的帧率。颜色和深度流都使用带有 YUV420 chroma 子采样的 H.265 编解码器进行编码。颜色流每通道使用 8 位, 深度流每通道使用 10 位,深度数据存储在 Y 亮度(luminance)通道中,而 UV chroma 通道设置为 512(灰色)。该研究通过省略双向编码 (B) 帧来减少编码和解码延迟。

渲染

在接收客户端上解压好 3 个深度图和 4 个彩色图像后,该研究从本地用户的眼睛位置渲染虚拟远程用户左右透视图。它由三个步骤组成:

对于每个 4 色相机,通过为每条射线找到与输入深度图融合的表面的第一个交点,使用光线投射计算阴影图;

对于 2 用户视图 (左和眼) 中的每一个,使用相同的光线投射算法计算输出深度图;

对于每个输出深度映射点(output depth map point),计算由第 1 步得出的阴影映射图加权颜色混合。

对于左视图和右视图,该研究通过将彩色图像投射到融合几何体上来获得每个像素的颜色(图 10):


图 11 显示了没有边缘融合的不规则像素化轮廓。该图还显示,基于图像的融合提供了比轮廓附近体积融合(volumetric fusion)更完整的重建:


声音传输

该研究使用的音频传输技术是将一系列先进技术进行组合:talker-tracked 波束成形、混响消减、WebRTC 传输、talker/listener-tracked 虚拟音频合成、双耳串扰消除分频组合以及振幅平移。与传统的视频会议系统相比,对谈话者和倾听者精确的追踪是共享空间达到真实性的关键因素(图 12)。据了解,这是首次在视频会议中无需耳机、头部追踪的音频技术。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
20万人断供?央行紧急下调LPR,一年期降10个基点

20万人断供?央行紧急下调LPR,一年期降10个基点

吴胜彪专栏
2022-01-20 14:53:51
男理发师不“安分”,洗头时还想提供按摩,女子:他往下面按

男理发师不“安分”,洗头时还想提供按摩,女子:他往下面按

颜值战胜一切
2022-01-21 06:17:34
宁可“自损”671亿,也要拒绝华为5G现渴望向我国出口更多商品

宁可“自损”671亿,也要拒绝华为5G现渴望向我国出口更多商品

科技资料库
2022-01-21 08:00:37
孙卓终于摘下眼镜,被夸“比戴眼镜帅10倍”,侧脸像极了小时候

孙卓终于摘下眼镜,被夸“比戴眼镜帅10倍”,侧脸像极了小时候

天天娱乐基地
2022-01-21 11:40:52
中国三个最“懒”的城市,除了泡妞就是打牌,其中一座人人都向往

中国三个最“懒”的城市,除了泡妞就是打牌,其中一座人人都向往

国内新闻大爆炸
2022-01-21 02:06:53
孙悦晒孙卓蹦迪视频,孙卓正脸照首次曝光,孙辉被吓到嚎啕大哭

孙悦晒孙卓蹦迪视频,孙卓正脸照首次曝光,孙辉被吓到嚎啕大哭

娱乐圈爆料君
2022-01-21 10:45:12
直到病逝于五丈原,诸葛亮才发觉,蜀国的江山自始自终都不是刘备

直到病逝于五丈原,诸葛亮才发觉,蜀国的江山自始自终都不是刘备

文化长河论
2022-01-21 08:04:52
今天被陕西家暴的新闻震惊了

今天被陕西家暴的新闻震惊了

石家庄董超
2022-01-21 09:34:54
陈亚男提新车,双手插兜视察公司“像个爷”,真把自己当老总了?

陈亚男提新车,双手插兜视察公司“像个爷”,真把自己当老总了?

咬金没有腰
2022-01-21 09:03:46
弹药基数是什么意思?发射一个基数的炮弹,究竟是多少发?

弹药基数是什么意思?发射一个基数的炮弹,究竟是多少发?

大国将令官方
2022-01-21 01:01:15
中国主动释放善意!对美突然迈出关键一步,中美终于要“破冰”了

中国主动释放善意!对美突然迈出关键一步,中美终于要“破冰”了

樱花树下邂逅
2022-01-21 10:37:06
女子“520”当天被前男友强奸后出谅解书:未来要谈婚论嫁

女子“520”当天被前男友强奸后出谅解书:未来要谈婚论嫁

潇湘晨报
2022-01-20 20:20:34
武汉在十年内会超越上海吗?

武汉在十年内会超越上海吗?

匀枫财技大兜底
2022-01-21 09:29:36
小伙8万买泡水路虎,修车师傅打开车门后:别愣着,买彩票去吧

小伙8万买泡水路虎,修车师傅打开车门后:别愣着,买彩票去吧

汽车安利会
2022-01-21 08:19:46
放飞自我!英国取消强制口罩令和疫苗证,成首个与病毒共存的国家

放飞自我!英国取消强制口罩令和疫苗证,成首个与病毒共存的国家

瞰世界
2022-01-21 00:10:58
男子上门回收旧空调时坠亡,家属索赔200万,上海法院判了

男子上门回收旧空调时坠亡,家属索赔200万,上海法院判了

知行航家
2022-01-21 00:05:02
许家印如果能熬过去!就能超越王健林!成为真正的神话!

许家印如果能熬过去!就能超越王健林!成为真正的神话!

蓝银鹿
2022-01-21 10:31:01
特斯拉π4000元上市,太阳能充电+6800mAh,20+512G性价机皇

特斯拉π4000元上市,太阳能充电+6800mAh,20+512G性价机皇

可爱评机
2022-01-21 09:10:32
历史罕见!大白马长春高新3跌停,13万手卖单砸盘!散户又被锤

历史罕见!大白马长春高新3跌停,13万手卖单砸盘!散户又被锤

德林社
2022-01-21 11:19:43
一场天灾降临日本,“富士山喷发”震动北半球,中国这次不得不防

一场天灾降临日本,“富士山喷发”震动北半球,中国这次不得不防

日落坠入山谷
2022-01-21 08:58:20
2022-01-21 12:42:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
6654文章数 133305关注度
往期回顾 全部

科技要闻

特斯拉员工猝死在生产线上 官方介入调查

头条要闻

王浩当选浙江省省长:三次跨省任职 曾骑共享单车暗访

头条要闻

王浩当选浙江省省长:三次跨省任职 曾骑共享单车暗访

体育要闻

湖人被操控,幕后黑手竟是老板闺蜜?

娱乐要闻

咋了?王菲大女儿失控痛哭 交代遗产

财经要闻

汽车要闻

售价35万起? 第十五代皇冠有望来到国内市场

态度原创

房产
教育
本地
家居
公开课

房产要闻

大量新房即将加推,九亭和泗泾谁更胜一筹?

教育要闻

到底要不要鼓励孩子竞选班干部?

本地新闻

到底多少人隔离,被拉去了情趣酒店?

家居要闻

24岁女生不听人劝 在小县城买69平顶楼独居

公开课

武汉试行冰葬,零下196度“粉身碎骨”还环保

进入关怀模式