不只是AR地图，华为如何用河图构建数字孪生世界？

今年华为开发者大会，河图（Cyberverse）以其充满想象力的数字世界愿景，以及科技界少有的艺术气质，再次吸引众人目光。

早在今年4月，华为联合敦煌打造出的敦煌超感知影像问世，华为P40系列手机借助华为河图技术，将敦煌莫高窟全景复活，窟内壁画九色鹿直接从壁画中向人飞来。

透过华为P40，河图为我们呈现了一个与真实世界1：1的数字孪生世界，将历史文物复活，实现了科技与文化的完美结合。

为何会想到将AR技术与景点结合在一起？基于华为河图，AR将会有多大的应用场景？本次VR陀螺采访到华为河图产品团队，从技术、应用多方面剖析AR的发展与前景。

敦煌、万象天地相继应用，华为河图AR效果如何？

河图是华为2019年8月推出的底层技术平台，定位数据基础设施，其核心能力包括全场景空间计算能力、AR步行导航、场景编辑、渲染等核心技术。自去年推出以来，目前已进入商用阶段，在上海南京东路敦煌研究院以及深圳万象天地等地试点。

至于华为为何要做河图？

今年的HDC上华为消费者业务手机产品线总裁何刚提到“未来我们希望通过河图技术，实现真实的环境与虚拟的绘图、图片、景象，虚实结合，叠加在真实的世界之上。这有利于我们传播文化，也方便于我们生活，也有利于在日常商业中带来更多的价值，可以想象的空间非常大。”

据了解，目前河图主要应用在商圈、文旅这两个方向，未来还将在更多领域带来虚实结合的沉浸式数字化体验。

1、敦煌超感知影像

华为河图与敦煌莫高窟合作，在洞窟外还原窟内场景，游客不用进窟即可浏览壁画。

游客打开华为AR地图，开启实景导航搜索目的地，眼前会浮现鲜花做引导。导航路途两旁的建筑会浮现相对应标识，点击标识，会有详细介绍。

当游客想看某个洞窟时，在门外对建筑物扫描，即可获得窟内3D全景。所看到的景象，与游客真实进窟，在昏暗灯光下看到的有历史磨损的壁画相比，更加接近壁画原型。

游览的过程中，还会偶遇从窟内壁画飞出的虚拟形象，比如九色鹿、飞天，游客可与其合照。

作为虚拟人物想要和现实世界产生良好的融合效果，以假乱真，像实体一样与真实世界进行交互尤为重要。比如这些逼真的形象，在阳光的照射下会出现影子。

莫高窟第一大佛，窟外扫描即可看到一尊金光闪闪的大佛。

河图通过这样的方式让历史文物得到保护的同时，拉近了人们与艺术的物理距离。

随着华为与文化遗产的合作版图不断扩大，人们的旅游方式或将因此而改变，而河图未来则有机会成为一个AR世界文化遗产平台。

2、万象天地AR逛街

河图的场景覆盖并不仅限于类似莫高窟的文旅项目，联合商圈打造沉浸式游逛体验也是河图的重要方向。河图目前正与华润集团合作联合打造智慧商圈，深圳的万象天地，就是首个试点。

与敦煌莫高窟还原洞窟等场景不同，商场AR地图重点不在于虚拟场景的建造，而在于室内导航、服务信息与商业的结合展示。

与敦煌莫高窟相同，打开华为AR地图输入目的地，会有花瓣作为引导。

手机对着店铺，商铺信息会展示出来，有些商铺还有AR优惠券，点击即可领取。

AR地图在万象天地上线那天，在高街可能偶遇空中飞行的锦鲤，戳一戳这只锦鲤，会有红包雨随之降落。

华为全球旗舰店玻璃墙，有各类世界名画通过AR陈列在这里，并搭配有详细解说，将华为旗舰店打造成了一个AR艺术馆。

像这样的商场AR体验，华为目前是从华润万象天地开始进行逐步覆盖，现在还处于探索期，有很多问题需要思考，比如基于MR的这种新的交互信息获取方式下，用户到底怎么去用它？整个商业怎么去闭环？

定位基础设施，河图如何构建数字孪生世界

正如华为所言，河图定位基础设施平台。基于这一基础，将释放出巨大的想象空间，今年12月河图将逐步开放，赋能各行各业。

说易行难，建立一个1:1的数字世界数据库，不仅需要庞大的投入巨大的人力物力，还需要有很强的技术能力。

其中最核心的部分在于3D高清地图构建，让虚拟的物体与真实物体有准确的对应关系才能实现真正的MR融合效果。

田震提到，目前最快速的方法是通过全景相机采集建模。“现在基于全景相机一天可以实现10万平米低成本采集。”

“通过全景相机结合辅助工具，对物理环境进行扫描，比如说目标对象是一整座宫殿，首先用全景相机进行拍摄，然后通过算法进行特征提取和白膜构建，，结合路网构建，最终形成一个完整的高精度3D地图。建完之后，场景内的任何一个点都将拥有准确的三维坐标，结合华为全场景空间计算能力，就能实现厘米级定位和1度以内的定姿”。

将数据基座完成后，开发者可基于这个底层进行内容开发。华为河图中开放工具包括Location Kit，用于场景空间计算，据称能够实现厘米级定位；Map Kit，结合地图实现AR步行导航，以及3D场景布置和编辑；AR Engine，包括运动跟踪、环境跟踪及人体和人脸跟踪等功能。

1、怎么理解厘米级定位？

对于华为视觉定位技术已达到厘米级精度的说法，对此田震表示，华为的视觉定位是融合多种定位技术的融合定位方案，在初次定位后还可以通过SLAM做后续的持续跟踪。

大家所说的厘米级定位是指用视觉来做精准定位，定位完成后，后续在持续运动的过程中，因为不能时刻去请求云测定云定位，会使用端侧的比如SLAM这些技术，可能会稍有误差，达不到一直保持厘米级这么高。但每隔十几秒钟会做一次云测，也就是vps计算会给它做一些纠偏。不过一般情况下不会有较大偏差，有了初始化位置后，基本能持续保持稳定。

在定位的过程中，会融合多种定位方案将范围尽量缩小之后再用视觉去做精确的匹配。通常会先判断用户大概是在什么样的一个位置，比如GPS做粗定位，然后是通过wifi缩小到10米级别。

2、关于虚拟与现实的融合

除了精准定位外，另一个关键的地方在于如何让虚拟与现实完美融合在一起。

在这个展示的过程中，视觉上逼真的虚拟融合效果需要让虚拟物体尽可能的模拟真实的物理规律，比如虚实遮挡、光照估计等。关于这一点，田震表示，按当前的技术能力要做到绝对完美还有很多挑战，比如遮挡功能的功耗就特别高，目前业界应该没有人能做到完美的全程遮挡，而又不在乎功耗。

3、河图对手机性能是否有要求？

就目前来看，河图对手机性能还是有要求的，田震表示，华为Mate 30系列和P40系列已经可以使用河图，，未来还将适配更多华为主流机型甚至是非华为手机。但如果要实现好的体验，就会对手机的传感器、影像系统等硬件有一些要求。

技术壁垒与应用限制

1、空间计算算法

尽管河图的空间计算能力很强，但室内导航在一些特征点不明显的场景下做识别依然比较困难，这种情况下对算法要求也非常高。

田震举例车库说，车库是一个非常典型的弱纹理、重复纹理环境，道路、墙面长得都一样。行业里有做过很多种尝试，包括OCR扫描识别墙面的的文字，基于蓝牙Beacon等，但却并不好用，定位慢、不稳定偏差大。现在采用的是用wifi指纹和视觉定位的融合方案，目前这块体验已经优化到比较好，基本上能做到在停车后一秒钟左右完成定位，定位效果挺好。

2、入口问题

AR想要得到广泛应用，降低使用门槛显得非常必要，而应用入口是其中极其重要的一环。目前AR应用都基于各自App运行，如支付宝AR红包必须在支付宝应用内使用；QQ AR火炬仅支持QQ应用；而大的流量入口如微信，尚未对AR深度支持。

客观来讲，基于微信、支付宝小程度本身的生态环境，以及技术的限制，目前去支持这些事情相对困难。

华为目前和华润正在尝试基于系统级LBS提醒的全链路AR智慧商圈，希望能够通过地理围栏和系统级负一屏卡片通知的方式给大场景AR应用提供显性触达用户的入口。

结语

据了解，在不断打磨河图的基础能力后，华为将会在未来将这些能力全部开放，就像HMS Core一样，田震表示华为将不断开放能力，将华为河图平台建成最牛的一个MR生态平台，或者是用户的使用平台。在这个过程中，需要为开发构建坚实的技术基底，建图能力、工具链、数字内容生产，包括定位能力等等都会开放出来。而最终目的就是一个：用华为的这套工具，加上华为的生态，让更多企业、开发者、用户加入到华为生态中，开发出更好的MR应用。

而这些基础能力和开发者生态的搭建，或许都是AR眼镜登场的前奏。AR眼镜成熟还需要一定时间，但当它成熟后，或将成为取代手机的存在。当整个世界被“数字化”，世界每个地方都将成为开发者创意的画板，畅想未来，云端存储了整个世界的数字化信息，AR眼镜直接调取云端，人眼所及之处皆为屏幕，无论是街道、建筑还是商品，拓展信息、动画、评论都能展示，虚虚实实真假难辨。