华为让敦煌莫高窟通过AR全景再现

大约一年半之前，在上海举行的世界移动通信大会（ MWC ），当时我的几个同事共同搭建了一个展台，也是在当年的大会上最具人文气质的展台，不仅放了几位当代艺术家的作品，而且还带去了一段关于敦煌莫高窟的VR体验。

记得很清楚，当时我们的展台就在华为的对面，而在几个展厅各种黑科技的映衬下，恰恰是当时那个特别文艺的展台，获得了MWC主办方的极高评价，不仅几乎所有高管都去体验了一番，而且认为这是“科学与艺术”的绝佳实践，作为一个全球性的展会，他们很希望看到这种具有人文气质的展台。

虽然已经物是人非，不过“科学与艺术”到底该如何共处，其实是一个颇为长期的命题，也是一个不那么好回答的议题。

科技与艺术，这就像一个硬币的两面，但是我们看到的，往往是自己最熟悉的那一面，而忽视了另外一面，如何让两面能够都能相辅相成，而非相爱相杀，将是对科技公司的一大挑战，好在中国的不少科技公司，已经意识到了这个问题，并且开始着手行动。

恰好华为的心声社区在今天也发了一篇文章，让我又想起了这段跟艺术和敦煌莫高窟的往事，分享如下，版权归原作者所有：

原标题：华为这项“黑科技”全景再现你看不到的莫高窟

2019年12月25日，敦煌雪后初霁。鸣沙山变成了连绵起伏的雪山，月牙泉则化作了一幅清秀素雅的中国水墨画，令人陶醉。

我和往常一样，拿着手机测试华为河图技术的AR（增强现实）应用。走到莫高窟九层楼广场时，突然看到了莫高窟第61窟的虚拟现实入口。我怀着激动的心情，一步步走进大门——精妙绝伦的壁画立刻映入眼帘，径直走向洞窟背后，《五台山图》赫然在目。伫立良久，我竟震撼到说不出话来。

“看莫高窟，不是看死了一千年的标本，而是看活了一千年的生命。”我没想到，参观莫高窟第61窟的愿望，和我构建美好AR世界的梦想，居然在这一天同时实现了！

华为“河图”初长成

2019年2月底，我应届毕业正式加入华为。鉴于实习期间的优异表现，入职伊始，导师就让我加入一个重磅创新项目——cyberverse（河图）项目，承担AR算法效果测试工作。

“这是一个大的数字化平台，可以让AR应用从室内走到室外。提升人们获取信息的效率和体验。”导师解释说。

我很激动，虽然近年来AR耳熟能详，但受限于算法、算力、存储空间等，大部分AR应用都只是在室内一小块区域玩一玩。要在室外大面积使用，需要将大部分资源放置在云上，端云结合并配合5G进行数据传输。这套方案目前业界还没有人能做到，挑战巨大。

但是一旦完成，价值也是巨大的。想象一下，在一个1:1还原真实世界的数字孪生世界里，AR导航、数字标识、AI识别、全息景观等现在能想到的，或者还未想到的酷炫功能都将得到应用。只要接入这个全新的数字世界，用户的所见所感都将变得大不一样！

▲欢迎来到增强现实的世界

“新项目、新技术，这会是一个很好的成长机会。”

我听完用力地点了点头。如果这个项目能成功，意味着我们开创了AR新世界，极大提升人们获取信息的效率和体验。能有机会参与其中，是多么幸运的事！

我立刻投入到了项目中来。一方面，深入了解技术的原理和实现难点，并开始编写相关的测试方案。另一方面，以用户的角度去审视技术的必要性和易用性。

5月份，项目打通基本流程，按照开发人员的设想，在室外的广场，只要在手机上打开我们做的应用，手机摄像头对着食堂外立面，点击屏幕上的按钮，就能在真实的墙面上看到一个虚拟的大屏。

我迫不及待地前去体验，想着马上要打开虚拟世界的大门了，心里还有些激动。但我点击按钮后，等了半天都没有反应——我被拦在了大门外！

“你站的地方是不是不对？”开发人员问我。原来必须站在特定的位置，以特定的角度对着食堂，才能进入AR世界。

折腾了半天，我终于看到数字屏幕了，可由于算法不稳定，过了几秒钟又凭空消失了。我有点失落：难道我们打造的AR数字世界是量子世界吗，一会看得到一会儿又看不到？

松湖“亮剑”打硬仗

7月初，项目所有核心人员都集中到松山湖攻关，下决心在溪村打造一个用户随时随地都能够进入的AR世界，而不需要站在特定的位置和角度，并且想在里面待多久就能待多久。

攻关紧锣密鼓地开展着。作为测试人员，我们每天都要现场测试，然后在例会上做报告。白天天气非常热，手机稍微用一会儿就会发烫，再过一会儿，根本就拿不住了。为了多测一会儿，我们几个大男生举着遮阳伞为手机防晒，简直就跟呵护女朋友一样小心。夜晚，松山湖很静谧，也不太热。我就拿着手机，绕着松山湖散步。这换来了我在“微信运动”排行榜上的“霸主”地位。

7月底，到了最关键的时刻，体验效果虽然有了明显改善，但远没有达到极致。团队内讨论认为，我们还能继续优化，但时间明显来不及了，因此需要更快速的迭代：即众人一起加大攻关力度，小步齐跑、快跑。大家决定背水一战。为了争分夺秒，我们一方面增加高性能服务器数量，并行验证离线结果；而另一方面，为了快速地现场测试，保证端到端效果，实行昼夜两班倒——测试人员白天测，开发人员晚上分析问题并迭代优化，双方早晚分别对接一次。两班人员每天工作均超14小时。这种状态持续了近两周。

▲凌晨两点的讨论

虽然很辛苦，但成果喜人。对算法精准“动刀”既提升了效果，又降低了功耗。有一天，我在整理报告时惊喜地发现，很多指标显著提升。在当晚例会上，我隆重公布这一结果，大家都很激动。

经过一个多月的持续攻关，项目前进了一大步。2019年9月，HDC隆重开幕。9月11日，河图作为压轴黑科技，揭开了神秘的面纱，拥有全场景空间计算、超高精地图HDMAP、强场景理解、沉浸式渲染等核心能力。

AR平台强大的全场景空间计算，可以使用户随时随地进入AR世界，并一直待在AR世界里；超高精地图可以复制出一个一模一样的虚拟世界；强场景理解功能，即AI识别算法，可以实现诸如人体、雕塑、地面、天空、商家、距离等信息的识别和获取；而沉浸式渲染可以让虚拟物体看起来更逼真……

▲河图发布现场

当天下午，参与大会的朋友们来到松山湖J区进行现场体验。虽然当天温度很高，但大家的热情更高，纷纷感叹未来已来。

▲为记者和开发者演示河图“黑科技”

第一次踏足敦煌

开发者大会后，项目组开启了第二阶段的计划——将河图的能力建设在最重要的博物馆和旅游胜地。敦煌莫高窟成了首批应用的区域。

作为数据采集人员和测试人员，我有幸成为第一批去敦煌莫高窟出差的人。由于AI算法的数据对结果有决定性的影响，去之前，我跟开发人员先讨论清楚了我们需要什么样的数据、如何构建测试集，以及如何评价最终的算法结果。

2019年9月底，我如愿来到敦煌。上大学的时候，我就听说过第61洞窟的五台山图——80多年前，梁思成和林徽因据此图找到了五台山脚下的佛光寺，喜获至宝，这一事件也成为中国古建研究史上的里程碑。因此，我对莫高窟一直心向往之，特别希望一睹第61洞窟的真容。

然而好事多磨，我们并没有得到进入洞窟的权限，只能在景区内转转。这种失望，就好比你饥肠辘辘走到了餐厅门口，却只能隔着玻璃看一眼丰盛的晚餐。

也是到这时，我才明白为啥要首先在敦煌莫高窟建立一个虚拟数字世界。莫高窟有492个艺术洞窟，但游客来到这里一次，一般只能看到几个洞窟。倒不是敦煌研究院藏着掖着，而是保护洞窟文化遗产的使命与越来越多人慕名而来的需求之间存在很大矛盾。每次打开洞窟让壁画见光、见风，都会加速敦煌壁画的脱落。参观的人越多，影响越大。过去100年多年来，敦煌壁画已经有了很大的变化。因此，即便是旅游高峰期，这里也只是开放部分洞窟。游客想要遍览莫高窟壁画，或者指定看某个窟的壁画，几乎是不可能的。

但如果敦煌莫高窟应用了河图技术，游客在洞窟外，就可以通过手机看到洞内的详细壁画内容，还可以利用AR拍照功能和壁画里走出来的飞天仙女、九色鹿合影。这种新奇、直观的方式不仅可以让人身临其境，感受到敦煌艺术的魅力，还可以有效保护文物，可谓一箭双雕。

在敦煌的一周时间里，我拿着刚刚发布的新手机，在莫高窟景区和敦煌研究院收集数据，几乎走遍了每一个角落，采集了算法所需要的现场数据。

测试结果让人大跌眼镜

11月25日，我正在北京出差，项目经理突然跟我说：“事情紧急，你别回深圳了，直接和我一起去敦煌出差吧！”于是，第二天我同专家、项目经理以及两个开发责任人，一同赶往敦煌莫高窟。

抵达敦煌，我才知道河图项目已经在这里部署完毕，到了现场验证的阶段。此时的敦煌已是寒冬，零下十度的天气和10点才能完全升起的太阳，都给现场测试带来了挑战。

但让我们犯愁的不是天气，而是落差极大的现场体验——8月份在松山湖已经验证过的全场景空间定位能力，突然失效了。有些地方根本无法发起定位，也就是说无法进入AR世界；还有些地方，AR世界不稳定；虚拟的屏幕有时能播放动画，有时却没有反应；导航还会把人带到小树林里去……这就好比一个武林高手突然武功全废，实在让人大跌眼镜。

怎么回事？首先，地图是9月份的时候采集的，那时敦煌郁郁葱葱，人来人往。而现在树叶落光，场景有了很大变化，这使有些地方的空间定位失灵了。其次，莫高窟主体全是洞窟，人都分不清走到哪里了，更何况计算机视觉。基于视觉的所有算法都会受到影响。

一起测试三四天后，技术专家和项目经理都待不住了。现场问题五花八门，算法的、策略的、设计的、UI的都有，还会相互制约，亟须分发下去逐个解决，此刻他们必须要回去指挥问题攻关。但最终问题是否解决了，仍需要现场测试判断，需要有人留在敦煌，聆听“炮火”并呼叫“炮火”，所以项目组决定留下我一个人坚守敦煌。

重任在身，我很兴奋，但也有点忐忑。参考之前攻关的经验，我们提出了一种适合当前形势的攻关流程：首先，固定开发和测试的节奏，现场测试的黄金时间是中午过后，天气不算太冷，这段时间要保障服务器和版本稳定，其他时间则用来讨论和迭代。其次，简化流程，并对齐必要的内容，保证一次把事情做对。然后，使用团队专门设计开发的DFX工具，使其他成员在“家中”就能复盘分析。最后也是最关键的，每晚例会上，充分讨论问题和对策，摒弃无谓的需求、修改和测试。就这样，经过半个月有序的攻关，大部分算法模块的问题已经解决，遗留问题主要集中在复杂场景下各模块的协调配合以及上层的应用功能上。

金光闪闪的大佛就在眼前

▲九层楼的虚拟大佛

这段时间让我印象最深的是九层楼大佛问题的解决。这是莫高窟的标志建筑，九层楼里装着一尊大佛，需要进入洞窟里才能看到。而我们使用AR技术在数字世界里还原了这尊大佛，还是在原来的位置。这会给游客一种透视的功能——透过九层楼看到这座金光闪闪的大佛。这个创意棒极了！

但是测试的时候，我发现了一个问题：当游客从九层楼前走过时，虚拟的大佛会跟着移动，甚至移动到九层楼外面。这太影响体验了。这个问题被分配给了空间计算的团队解决，但该算法团队经过分析认为这不是算法导致的。那问题出在哪里？这变成了一个谜。我在现场不断体验、观察，思考到底是怎么一回事。

有一天，我现场测试完毕后坐车回酒店，望着车窗外疾驰而过的树林、寥寥无几的建筑以及半空中升起的残月，不禁愣住了：残月随着汽车向前移动，而树林建筑匆匆向后掠过，速度快慢有致。于是我恍然大悟，所谓大佛跟着游客移动，是因为参照物选择的不同，以及远近物体相互遮挡导致的。算法本身可能真的没有问题，而是数字内容并没有放置在原本该在的位置。

第二天，我迫不及待地前去验证这个想法，发现确实是大佛放得太靠前了，而且莫高窟山体本身是倾斜的，加剧了这个影响。

由于负责数字内容的团队并不知道大佛本身的实际位置，所以他们只能一点点调整。每调一次，我就在现场测一次，最终把大佛放在了正确的位置。和预想的一样，跟随移动的现象终于消失了！

类似这样的故事还有很多，有些问题已经触碰到各个算法的理论极限，我们要讨论的不是如何提升算法，而是如何解决问题。比如误差，建图有误差，建模有误差，定位算法有误差，追踪算法也有误差。那虚拟物体脱离了它原本该在的位置，究竟是谁的问题？这一块儿我想了很久，终于找到可行的测试方法，将这些误差解耦，分开定位。还有一些问题更复杂，比如传感器的输入问题、显示渲染的逻辑问题、信息融合时的决策问题、可信度问题，我们也一个个化整为零地解决了。

解决现实问题的成就感是很大的。跟着整个团队一起在未知的领域攻坚克难，探索极致的可能，这使我充分体验到了身为华为人的快乐，同时也觉得自己为人类艺术的传播做出了一点点贡献。

第61窟的第一个体验者

12月25日这一天，沙漠中的敦煌，不光迎来了珍贵的降雪，还迎来了第一个虚拟体验洞窟——莫高窟第61窟。而我，是这个洞窟的第一个体验者。

▲雪后的敦煌

当我一边赏着雪景，一边走到莫高窟九层楼广场中央时，突然在院史馆门前发现了一个虚拟入口。我在手机上冲它轻轻一点，虚拟洞窟就那么凭空出现了。

原来是负责数字内容的团队刚与研究院联系好，要到了61窟虚拟洞窟的数字模型，把它暂时放置在了这个空旷的地方。

我平复了一下激动的心情，一步步走过去，一脚迈进61窟。大致浏览了整个洞窟的全貌后，便径直走向佛像背后的五台山图，并且在五台山图的最右边找到了大佛光之寺。

我终于亲眼见到了这幅图，脑海中立刻涌现出了梁思成和林徽因的动人传奇，一幕幕如电影般回放着，与眼前的虚拟洞窟交错在一起，亦如交响乐般轰鸣着我的思绪。

▲虚拟洞窟61窟以及窟内的五台山图

看着AR洞窟里面精美的壁画，我仿佛穿越到过去，见证了一批又一批虔诚的僧人、供养人还有画家，怀揣着心中的美好，只为给后人留下这些精美的画面。我又似乎穿越到未来。在不久的将来，任何人在任何时刻、任何地点，都可以通过手机、AR眼镜等打开一个虚拟洞窟，领略壁画跨越千年的美，知道那些闪耀着人性光辉的传奇故事。这将是多么美好的AR世界！

技术和文化传播的革命往往是这样的，在当下的社会来看并没有什么，可能只是新兴技术的堆叠或者是增量式创新，但在历史的长河中回顾，却可能已经从量变到质变了。原来只能在照片上以某个视角来看，现在有了AR技术，就可以绕着雕塑左看右看，跟雕塑合影留念，也可以走近壁画看看细节，或离远一些观览全局。这种身临其境的空间感、沉浸感拉近了人和艺术的距离。我想，这就是传播技术的革命吧。

▲在莫高窟演示

2019年12月底，项目组来了很多人，同研究院展开深入的交流。我们也向敦煌研究院各级领导轮番进行演示。所有人从莫高窟的游客停车处，一路体验到窟区——拿起手机就能看到洞窟实景与数字壁画相结合的画面，还可以看到九色鹿、飞天等形象从壁画中“飞身而下”。大家连连发出惊叹，对华为河图的全场景定位能力感到难以置信。

而与此同时，在敦煌研究院的盛情邀请下，我们也有幸参观了几个最珍贵的莫高窟特窟。这份记忆让我终生难忘。

弘扬敦煌艺术的新途径

今年的春节，我们的项目仍在持续推进。2020年3月下旬，我再次来到了敦煌，保障河图技术在P40系列手机发布会上的效果。

▲3月底的敦煌

此时虽然敦煌风沙漫天，但不影响项目如火如荼地开展着，最后的20天时间，消费者BG和2012实验室有更多人加入进来，有人负责现场效果，有人部署商用环境，也有人负责功能调优。而在敦煌现场的，除了测试人员和专家以及对外交流人员，也有负责Marketing的小姐姐和拍摄团队。

我也有幸参与了项目对外宣传的视频录制工作。那天，我们走进了真实的285洞窟，在这里留下了珍贵的合影留念（为保护洞窟文化，游客禁止在洞窟内拍照）。这张照片和这段视频，随着P40商用发布而一同展示出来，并在国庆前夕在央视13套播出。

▲现场拍摄的照片

2020年4月8日，我们在会议室里集中观看了P40手机发布会的直播。令人激动的是，敦煌研究院院长赵声良先生也来到了发布会现场，并为河图技术打call：“河图对于敦煌艺术文化的作用是，达到了文物保护与开放利用的平衡，也探索出一个弘扬敦煌艺术新的途径。”

目前，我们利用河图技术，在北京、上海、深圳、东莞等多个地点部署虚拟数字世界，未来将会和越来越多的景点、商场、博物馆、纪念馆合作，共同打造数字孪生世界。有了之前的经验，构建数字世界的速度会越来越快，构建规模也会越来越大。

同时，这一段在敦煌弥足珍贵的经历、这个科技让艺术变得更美好的浪漫故事，是我最宝贵的财富。未来，我希望跟着项目继续圆梦，继续打造数字新世界。

作者：赵铖，原文来自《华为人》，版权归原作者所有！