网易首页 > 网易号 > 正文 申请入驻

华为 HDC2021 的手语翻译火了,为什么「她」可以如此心灵手巧?

0
分享至

HMS Core 6 能帮开发者做什么?未来太远,HMS Core 6 有何现实意义?

由硬及软的华为,需要被重新理解。

10 月 22 日华为开发者大会 2021(Together)在东莞松山湖正式开幕,华为在主题演讲中正式发布了全新的多终端、跨 OS、全场景的华为移动核心服务能力 HMS Core 6,与开发者共建共享共赢 HMS 新生态。但它不仅仅属于开发者,还可能属于我们每一个人。软件基础技术离我们的距离,其实并不遥远。

HMS Core(华为移动核心服务)是华为软硬件开放能力的合集,它运行在操作系统之上,供应用调用各项开放能力,提供丰富多样的服务。作为 HMS 生态组成的重要部分,HMS Core 连接开发者与用户,在赋能开发者高效开发,应用创新的同时,提升用户体验。

如果以盖房子来比较,华为在此提供了砖、瓦、混凝土、钢筋、卡车、玻璃等等建筑材料和工具,至于是盖成乡间木屋,还是郊区别墅亦或是市中心百货大楼,则由开发者来决定。


虽然 HDC2021 是主要面向开发者的大会,但也有不少出圈的新闻,比如那位伴随大会直播的手语翻译,和之前我们在电视台左下角看到的真人翻译不同,这次华为派出的翻译却是一位「数字人」,「她」真正做到了心灵手巧,心灵是源自「机器翻译算法」,手巧则来自「多模态数字人生成算法」。

这位手语翻译并不仅仅是华为最新技术的展示,还是能够普惠到众多开发者的基础技术,只要开发者愿意,就可以和华为一样,在自己的应用里面也安排一位类似的手语翻译。

这位手语翻译,就是刚刚发布不久的 HMS Core 6 当中一个重要能力的具体体现。

到了 2021 年,HMS Core 6 早已经跳脱出了为手机应用开发的局限,那么局限之外,它的舞台还能拓展到哪里?

HMS Core 6 能帮开发者做什么?

明白 HMS Core 6 是什么之后,我们就可以琢磨,它能干什么?手语翻译是本次 HMS Core 6 能力的一个具体体现,实际上它背后的技术叫做 SignPal Kit,既然后面有个 Kit(工具套装),那么就意味着开发者可以用它做更多的事情。简言之,手语服务(SignPal Kit)提供手语生成能力,可以将文本实时翻译为流畅、自然且符合听障群体表达习惯的手语动作数据,帮助构建信息无障碍创新应用。

比想象中更严重的是,世界卫生组织最新数据显示,全球大约有 4.66 亿人患有残疾性听力损失,几乎超过全世界人口的 5%,因此,帮助这些人也能轻松使用电子产品,实现信息无障碍几乎是各大企业重要的社会责任之一。SignPal Kit 是授人以渔的工具,但完成它其实并不简单,先华为完成了自研预训练语言大模型、机器翻译算法、多模态数字人动作生成算法,同时携手信息无障碍研究会,以及北京师范大学教育学部合作,融合手语语言学专家知识,实现连贯、自然手语身体姿态,手势动作和表情的生成。


目前它已有 10000 多个词汇量,准确率也超过了 90%,并且开发者还可以自定义 3D 人物形象,表达出自然流畅,符合人类习惯的手部动作、身体姿态和面部表情。

3D 建模能力(3D Modeling Kit)则是 HMS Core 6 另外一个重要更新,其实 3D 建模能力并不算新,但这次不同之处在于,仅需普通 RGB 相机,通过手机便可高效生成 3D 模型。

其中的关键是降低了「门槛」,前几年在不少科技展会上,我已经见过不少 3D 扫描和建模设备,它们无不笨重且昂贵,但如今仅仅靠一部普通的智能手机,加上这个 3D Modeling Kit,就能够支持物体背景分割,重建出的模型没有背景,边缘更清晰干净。这个能力最容易理解的场景应该就是购物应用,现在想看一件商品的全貌,要么是配上八九张图片,要么是拍一段视频,现在生成一个 3D 模型就能够立体展示商品了。当然这个能力也不仅仅局限于购物场景,很多游戏道具的建模往往也基于现实物品再进行重绘,3D Modeling Kit 自然也可以方便游戏开发者。

HMS Core 6 利好游戏开发者的新能力还有几个:AR 环境光照跟踪、Computer Graphics Kit(图形计算 kit)和 Scene kit(图形引擎)。

如果说,3D 建模能力是让真实的更真实,那这几个新能力就是让虚拟的也能真实起来。在 AR 体验中要实现沉浸感,就需要虚拟物体与真实物体的视觉一致性,不然就会让人出戏。华为 AR 环境光照跟踪则率先实现了厘米级的虚实融合能力,它能估算环境光照情况,结合渲染引擎,能够让 AR 虚拟出来的物体和真实物体有一样的光影效果。


Computer Graphics Kit(图形计算 kit)则首次在移动端实现了动态光雾效果; Scene kit(图形引擎)首次在移动在移动设备上应用了光线追踪技术,模拟真实世界的光线反射折射效果,之前开发者头疼的场景,比如湖面倒影,镜面反射都能模拟出来。同时, Scene kit(图形引擎)提供的真实感还包括 3D 模型碰撞、坠落和旋转的效果,还可以提供泛光、景深、运动模糊等后处理特效,总之,很多时候,图形问题其实是物理问题,物理问题最后,又是数学问题。

在华为 P50 系列发布会上,有一个提升信号的技术叫做 AI 异构通信技术,作为华为一直以来的技术领先区域,这个技术也随着 HMS Core 6 一起开放给所有开发者,帮助用户获得高速稳定的网络体验,这个体验涵盖了 WiFi 和移动网络。举个例子,我的游戏要更新了,更新包有 2G,如果没有接入 AI 异构通信技术里面的 Network Kit,在 4G 网络下可能要下十几分钟,但是有了 Network Kit,通过多线程下载,智能分片算法,就能加快下载速度,通过透明压缩技术,就可以减少下载数据量,二者叠加,最后可能几分钟就下载好了。而且进入到游戏之后,这个技术也能发挥作用,让游戏网络延迟降低不少,只要自己的手跟得上脑子,那手机响应就能跟得上手。


HMS Core 6 作为一次大更新,其新能力多种多样,靠一篇文章肯定难以涵盖,但前面讲了那么多,其实方向只有一个:用实际能力,帮助开发者解决实际问题,最终提升用户体验。比如音频编辑 Kit 能将音频不同组成部分渲染到指定的空间方位,实现最新的空间音频效果;Petal Maps Platform 车道级引导功能可以让导航更精准更人性化;安全芯片模组及模组可信管理服务可以帮助数字人民币受理环境,让交易安全快速……

在这诸多能力当中,有一些是解决老大难问题的,比如信号和网速问题;而有一些则是面向未来跨平台跨设备的,比如超低门槛的 3D 建模能力,AR 环境光照跟踪等等;还有些兼具二者也有公益性质,比如手语服务和数字人技术。

如果以数字孪生的视角来看,HMS Core 6 甚至都可以套用到「元宇宙」的概念中去。

之前,我们就写过《元宇宙需要「基建狂魔」》,记录了不少在这个概念初期为元宇宙做基础建设的厂商们,比如 Unity、英伟达、Epic 等等。我们的核心观点就是,如果谈 30 年后元宇宙的切实体验,那抱歉现在给不了。如果谈一谈通往其愿景路上某一个很小的实现条件,那技术人员很可能就能给一个可行的方案。最终很多条件逐渐达成的时候,那里元宇宙体验也不远了。

这是一个聚沙成塔的路途。

但是,有时候聚沙,聚着聚着,最后还是一盘散沙。这就需要各种开发工具,将一粒粒沙子,有效地聚在一起,最终成型。

元宇宙不缺概念,不缺愿景,但缺算力、缺高速低延迟网络,缺平台,缺内容,可以这么说,HMS Core 6 中的低门槛 3D 建模,实时手语直播+数字人、AR 环境光照跟踪、移动设备光追技术、Petal Maps 这些技术,无不可以为元宇宙这个概念贡献未来内容,成为基础的能力。


未来太远,HMS Core 6 有何现实意义?

很多人有一个基本的误解,就是元宇宙约等于虚拟现实,这个虚拟的空间和现实世界关系不大。

但其实,在技术专家看来,在它的具体实现过程中,纯粹的虚拟空间只是其中一部分;与物理世界的有机结合,也就是通常人们说的 CPS 赛博物理系统,或者数字孪生,能够更加精确的表达技术走势和技术以人为本的初心。

归根结底,物理空间的一切对象,包括对象的属性、行为和之间的关系,都需要经过数字化建模映射到赛博空间,使得物理空间成为赛博空间内可被计算的对象。但是更重要的是,赛博空间内的计算结果还需要映射回物理空间,从而起到加强人类现实世界能力的作用。

因此,如果我们不谈未来概念,只谈互联网技术的一个核心发展逻辑,其实就是「使得物理空间成为赛博空间内可被计算的对象,加强人类现实世界能力」。

在这个发展过程中,有无数个需要解决的问题,覆盖的区域。比如手机动画,从最开始的线性动画,到现在符合人们直觉感受,符合真实世界物理规律的非线性动画,就是进步的例证。

那么,从平面 2D,到立体 3D 的模型,可以提升购物应用的体验;AR 环境光照跟踪和移动设备光追技术则有助于创造更棒的移动游戏体验,让手游不再只是搓屏幕…

而实时手语直播+数字人则具有两种意义上的普惠性:帮助残障人士更好地体会科技发展的成果,帮助开发者服务好这一人群。HDC2021 上心灵手巧的手语翻译,可以存在于每一部手机当中。

如果说「使得物理空间成为赛博空间内可被计算的对象,加强人类现实世界能力」这句话太宏大的话,那么手语直播+数字人技术,就是这句话的恰当例证。华为 HMS Core、开发者和用户一起,以微小但重要的路口,进入到了这个宏大的命题当中。

当这样的例子越来越多,HMS 的生态也便初有模样。


截至当前,华为全球注册开发者数量超 510 万,全球集成 HMS Core 的应用超过 17.3 万个。在 Web 应用、快应用,以及 Android、HarmonyOS 等的应用和服务上,在手机、平板、智慧屏、智能手表及车机上,都有 HMS Core 的身影。

这一次 HMS Core 6 一共在 Graphics、Media、AI、App Services、System(图形、媒体内容、人工智能、应用服务和系统)五大领域进一步开放了创新能力与特性,全新推出 9 个 Kit。和 HarmonyOS 的快速奔跑类似,现在的 HMS Core 总共覆盖了七大领域,69 个 Kit,给开发者群体提供了丰富的助力,当然,这些能力最终服务的还是大众用户。

如最开始所言,HMS Core 提供砖、瓦、混凝土、钢筋、卡车、玻璃等等建筑材料和工具,帮助开发者盖房子,但其实我们也可以想象一下,HMS Core 6 推出的能力,或许可以帮助开发者修路了,做精装修了,做景观设计了,那么 HMS 生态的想象力,也就不局限于一栋栋房子的集合,而是可能是一个生机勃勃的城市,甚至是一个更精彩纷呈的宇宙。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“网红”艾小雨:女大学生直播遇45岁大叔,发生关系怀孕后被抛弃

“网红”艾小雨:女大学生直播遇45岁大叔,发生关系怀孕后被抛弃

七阿姨爱八卦
2022-01-25 22:38:28
链家、我爱我家将被禁止在京从事房屋转租业务

链家、我爱我家将被禁止在京从事房屋转租业务

楼市政策解析
2022-01-26 04:29:46
可无预警开火!美国智库要求:波兰立陶宛联军,夺取加里宁格勒!

可无预警开火!美国智库要求:波兰立陶宛联军,夺取加里宁格勒!

无定河
2022-01-26 16:12:27
“吃1顿饭,做4次”:我爸亲手贱卖了我妈的身体

“吃1顿饭,做4次”:我爸亲手贱卖了我妈的身体

情感私话
2022-01-25 06:22:57
荷兰姑娘嫁给中国青年,到了乡下老家就愣住了:都是骗子

荷兰姑娘嫁给中国青年,到了乡下老家就愣住了:都是骗子

国际大视野
2022-01-26 10:40:17
商务部:去年外资新设企业4.8万家,同比增长23.5%

商务部:去年外资新设企业4.8万家,同比增长23.5%

澎湃新闻
2022-01-25 11:26:05
早上吃鸡蛋,全家都“完蛋”,吃鸡蛋的4个禁忌,请您坚决避免

早上吃鸡蛋,全家都“完蛋”,吃鸡蛋的4个禁忌,请您坚决避免

养生时间
2022-01-26 08:12:01
难怪山竹卖那么贵,原来采摘山竹这么麻烦,确实值得

难怪山竹卖那么贵,原来采摘山竹这么麻烦,确实值得

岁月留声
2022-01-24 23:02:49
影视圈反腐力度大!制片人张萌及10余人涉嫌犯罪,被移交公安机关

影视圈反腐力度大!制片人张萌及10余人涉嫌犯罪,被移交公安机关

盖饭娱乐官方号
2022-01-25 18:07:07
熊磊给郭希宽系鞋带,为杜新枝买貂毛大衣,为房产豁出去了?

熊磊给郭希宽系鞋带,为杜新枝买貂毛大衣,为房产豁出去了?

是小凯同学呀
2022-01-26 14:23:04
雨雪天,返乡怎么走?这份江苏道路天气地图请查收

雨雪天,返乡怎么走?这份江苏道路天气地图请查收

现代快报
2022-01-26 16:29:26
女生第一次为什么要用毛巾垫着?第一次是光着的吗

女生第一次为什么要用毛巾垫着?第一次是光着的吗

健康公开课
2022-01-23 08:36:26
本赛季打出身价的3名球员如下:顶薪续约没跑了!

本赛季打出身价的3名球员如下:顶薪续约没跑了!

热爱篮球的藤原拓海
2022-01-26 05:22:54
李湘逼着同事何炅在北京三环买了套房,如今房价飙升,翻了30多倍

李湘逼着同事何炅在北京三环买了套房,如今房价飙升,翻了30多倍

朦瑄抗战剧
2022-01-26 13:54:51
一个43岁韩国太太的家:因家居布置而走红,简单却不俗气!

一个43岁韩国太太的家:因家居布置而走红,简单却不俗气!

家装好生活
2022-01-26 06:27:29
命名为“凌渡L”,大溜背还带无框门,大众全新掀背轿跑工厂现身

命名为“凌渡L”,大溜背还带无框门,大众全新掀背轿跑工厂现身

闻车品百魅
2022-01-25 17:37:37
世界上最奇特残忍的民族,亲人去世后,女性必须……

世界上最奇特残忍的民族,亲人去世后,女性必须……

国际视角资讯
2022-01-26 02:41:22
孙海洋一家回老家,孙卓妈妈亲自下厨做团圆饭,每道菜都有寓意

孙海洋一家回老家,孙卓妈妈亲自下厨做团圆饭,每道菜都有寓意

岩松聊娱乐
2022-01-26 18:09:06
床头放这4个东西,不久就能招来福气,财神爷“不请自来”!

床头放这4个东西,不久就能招来福气,财神爷“不请自来”!

你的家
2022-01-26 02:14:33
闭门会谈90分钟后,美俄终于达成共识,“一个要求”震动国际

闭门会谈90分钟后,美俄终于达成共识,“一个要求”震动国际

海峡快讯
2022-01-25 16:28:27
2022-01-26 19:28:49
爱范儿
爱范儿
消费科技第一媒体
33314文章数 1997000关注度
往期回顾 全部

科技要闻

特斯拉起诉千万粉丝大V 当事人:我知道了

头条要闻

被"双开"的周江勇 到底支持了哪家资本无序扩张?

头条要闻

被"双开"的周江勇 到底支持了哪家资本无序扩张?

体育要闻

湖人福星!浓眉暴扣+封盖尽显统治力

娱乐要闻

《开端》烂尾?这四个细节你再看看

财经要闻

汽车要闻

全新欧蓝德/阿图柯上市 广汽三菱新车规划

态度原创

房产
教育
数码
家居
军事航空

房产要闻

青客公寓传来破产声:住房租赁格局正在重塑

教育要闻

清华附中“马约翰班”:奥运冠军光环之外的残酷

数码要闻

郭明錤爆料新一代苹果MacBook Air!今年WWDC有戏

家居要闻

女摄影师搬到农村定居 把旧房爆改成绝美别墅

军事要闻

韩国自研五代机KF-21双座型原型机出镜

进入关怀模式