谷歌团队深度解读Jump的工作原理

（原标题：谷歌团队深度解读Jump的工作原理）

谷歌Jump是谷歌在2015年推出的虚拟现实视频制作平台，由一个开放设计的相机设备、一个可以把原始画面变成虚拟现实视频的汇编程序和视频播放平台组成。近期，谷歌发表了一篇题为“Jump：VR视频”的研究论文，论文中谷歌分享了自己的学习成果，同时VR科技网还了解到，谷歌还将在12月份举办的 SIGGRAPH 亚洲会议上带来该论文的主题演讲。SIGGRAPH是计算机图形学（CG）最权威的国际性重量级盛会，也是迄今为止世界上影响最广、规模最大，也是最权威的集科学、技术、艺术、商业与一身的CG展示和学术会议。

针对Jump，谷歌创建了全向立体视频系统（ODS），ODS可以提供一个360度和3D立体的无缝拼接投影，允许用户以任意方向观看。此外，ODS还可以采用传统视频格式进行存储，以便后期制作和使用普通播放器播放影片。尽管ODS投影模型已经存在一段时间，但是使用ODS制作VR视频仍然面临很多挑战。

首先，ODS最初并不是针对虚拟现实而设计的。而当戴上虚拟现实头显播放视频时会出现图像失真，这会导致我们的大脑很难对左右眼睛看到的图像进行合成。谷歌对这些失真进行仔细分析，确定距离和视角的实际极限，以此确保为用户带来一个舒适的观影体验。

其次，目前也没有可用来制作ODS视频的现成系统。谷歌通过仔细分析所需的摄像头数量，视场角和设备的大小等参数之后，最终确定了Jump的最终组合形态（16个摄像头是最佳设计）。GoPro Odyssey的设计也是采用这种分析方案。当然，该方案首先是应用于 Jump。

最后，在多摄像头的情况下进行无缝拼接视频是极具挑战的。为此，谷歌开发了一个算法，可以自动无缝拼接高质量的ODS视频。而这个算法的核心就是Jump Assembler汇编程序，它可以进行数百万的帧处理。

以下是一些关于Jump Assembler工作原理的动态演示：

    当用户的头部以任意方向观影时，ODS投影在接近用户视野处生成一个虚拟马赛克，从而提供一个360的视频体验。

PS：视频术语解释

Input Sequence：输入序列

Coarse Alignment：粗对准

Per-pixel Flow：每像素流

Per-frame Flow：每帧流

Temprally Consistent Flow：时间一致流