网易首页 > 网易汽车 > 行业 > 正文

座舱“听说看显”一应俱全,打造皇帝般的用户体验

0
分享至
作为人工智能界的翘楚,科大讯飞面对当前的业态,正在思考用户对智能座舱是什么样的期待,主机厂对他们又是什么样的期待,他们如何把好的技术应用到座舱的空间中。就这些问题,田雨分享了他对AI助力智能座舱的升级的观点。

(原标题:座舱“听说看显”一应俱全,打造皇帝般的用户体验)

作为人工智能界的翘楚,科大讯飞面对当前的业态,正在思考用户对智能座舱是什么样的期待,主机厂对他们又是什么样的期待,他们如何把好的技术应用到座舱的空间中。就这些问题,田雨分享了他对AI助力智能座舱的升级的观点。

科大讯飞股份有限公司智能座舱产品线总监 田雨

赋能座舱:科大讯飞得天独厚

截止至2021年10月,科大讯飞共夺得38项国际人工智能大赛冠军。其中包括:由著名的语言数据联盟(LDC)于2018年发起的DIHARD,被誉为该领域最“困难的”挑战赛。2021年1月,科大讯飞获得2021年国际说话人角色分离比赛DIHARD-3冠军。

2021年8月,科大讯飞凭借在道路目标检测领域多年的技术探索,刷新了Cityscapes 3D目标检测任务的全球最好成绩,得到检测分数42.9。是科大讯飞继2017年、2018年参与测评之后,第三次参加Cityscapes比赛并刷新世界纪录。

2020年CHiME-6科大讯飞再次以显著优势获得冠军,大幅刷新了该项赛事历史最好成绩。面向万物互联时代语音交互等真实场景下的语音识别任务,通过算法创新将错误率从46.1%降低到30.5%。

科大讯飞作为汽车智能化领域的先行者,自2003年开始,深耕汽车智能化领域,使人工智能技术在汽车产品上得到了深度应用。目前合作已覆盖90%以上的中国自主品牌和合资品牌车厂,累计前装搭载量突破3600万套。

智能交互:从语音命令到自然交互

谈到交互,其本质就是信息的输入和输出,人有五感,包括了听、嗅、看、闻和触觉,其中信息的输入靠的是听觉,信息的输出主要靠语言。

将信息交互的过程放到车内可以看到,从感知对应听和看,经过了认知,个人进行理解,最终通过说和显示进行表达出来。所以交互可以归纳成听、说、看、显四个核心的技术。科大讯飞结合视觉,把看和显示进行补齐,就有了多模的=交互,加上视觉以后有更多想象的空间。

有了听、说、看、显的技术之后,用户还需要结合一个一个的场景进行交互的设计,所以就成为了交互管理。

引入多模,科大讯飞也有了如下几个提升点:

第一,实现驾驶员和乘客的人员分布的检测,可以知道车上有几个人,大家都在什么位置,这样可以实现所谓的分区的交互。每个座位上的每个乘客或者驾驶员都有自己个性化的交互诉求,让交互更加个性。

第二,更好的多模语音的分离。在高噪的场景下,结合视觉,去检测口唇,让识别率在高噪的环境下变得可用。在实时体验时,在真正高速、高噪的情况下副驾不一定听清楚什么样的指令,但是结合多模视觉就可以听音识别。

第三,做到情绪的感知,通过图像,包括语言、文字、内容的理解对车路路政这样的场景可以做很好的识别,目前识别率基本上达到了95%。

第一代的合成引擎发展到XTTS1、2、3,目前到3.0的状态,已经是非常自然的听感。从业务上看,一方面对语种,包括方言的合成,科大讯飞明年可以适应30个国家的语种,这样对自主品牌去走向世界出海的需求得到满足。

此外,科大讯飞正在进行运营方式上的探索,部署个性化TTS的合成。在TTS引擎里面加入情感化的因素,包括语气、语调,能够反映出人物性格的一种音色,通过声音商城的方式,用用户在线订阅的方式进行交互。

如何达到自然交互,其涉及到一系列技术体系的创新和融合。首先要解决噪声环境下要对口音,包括语言的发声友好,支持强噪声下不同方言的口音,让引擎也可以支持方言和普通话的免切换。其次是情绪合成,在自然对话过程中对语义进行更好的理解。最后在自然对话的过程中,人和人之间的交流是带着上下文的场景,要让交互就算放到上下文的语境里面去也可以得到支持。

目前科大讯飞在180多个场景里融合了以上的交互技术

此外,想要打造情感有很多方式,科大讯飞认为人设是其中的一条路线,对于人设来讲,除了人物的形象,还包含了肢体动作以及微表情,有了这些技术之后再和用户产生互动,能够最好的刺激用户,让用户产生所谓的情感连接。这部分是讯飞视觉技术的应用,其基于视线的检测,包括DMS的功能,在车内的应用以及相当成熟。

田雨认为:从交互层面而言,过去是单点语音播报,现在通过虚拟助手带形象的人物,融合了多模交互的能力,让汽车交互更加有趣和自然。

智能声场:从播放声音到听享空间

车内座舱目前发生了很大的变化,包括越来越多的屏幕,越来越多的智能化部件。但从车内声音角度来说,其实这么多年并没有发生实质的改变。

目前用户对座舱的声音有了新需求:

第一个是在座舱的听感一定要变得更加舒适,听感的享受要变得更强。第二是在座舱内要有更多个性化的交互和分区的交互,让座舱能让大家听的更加个性。第三是座舱能主动对用户进行一些关怀。第四是在驾驶过程中,个性化的满足。

基于这些的思考,科大讯飞打造座舱内的听响空间,包括360度的环绕立体声,把真实的现场还原到车内结合多音区的交互,打造VRP的专属听感

在落地方面,科大讯飞经过三年的努力,3D环绕声算法已经研制完成,在忙听的测试中,各项指标都优于行业的头部精品,同时主观的听感也优于其他企业。同时,科大讯飞也在研究主动降噪的算法,在隐性的噪声降噪中,目前可以达到20db的峰值,降噪的幅度也可以从20赫兹-500赫兹。业界现在最好的算法降噪幅度也是300赫兹,但科大讯飞可以做到500赫兹。此外,其正在研究车内通信的交流补偿技术,在一些高配的车上已经提供了这种功能。

科大讯飞在做语音行业里面,降噪技术一直处于业内头部,在录音识别完以后将声音消除干净。另外对音效的把控力也是行业前列,在很准确的方位上把它进行呈现,也不用像现在的技术,要在整车内进行还原,而且播放出来的声音也不会有其他干扰,这样的技术让整车的声音有更好的体现。

视觉上有黄金分割点,其实在听觉空间里也存在这样的位置,在车内的听觉感受之所以不好,是因为没有把用户放到这样一个黄金点位上。现在有了多模的视觉,就可以精准的捕捉到用户在哪,它的最佳位置在哪里,打造听觉皇帝位。做到用户在哪,哪里就是皇帝位。当视觉寻找到用户在哪,然后动态进行音效的调节,可以让听感变的很好。当引入了多模的皇帝位的设计后,一定能够提升在车内的最佳听感。

智能服务:从提供功能到全程服务

科大讯飞认为服务升级未来会有三个方向,第一是服务主动化,服务如果不够主动就不能称之为服务,服务就需要被用户去调用和索取。如何做到服务的主动化,如何在用户困难时递一个枕头让他们这么舒适,这需要结合到第二个方向——服务场景化,真正去结合一个细分的场景去提供所谓主动的服务。第三个方向即服务个性化

要做到这样的服务升级,就离不开核心内容,即场景平台,又或是场景引擎。无论是车端数据,还是环境数据,包括用户的数据。在感知到场景平台之后,进行数据的处理,经过场景模型和业务配置,分发到不同的端,包括车机、手机和智能家居进行智能推荐决策。

感知数据包含了用户的数据和车的数据,有车内的车外的以及用户行为的数据。本身这些数据一方面是响应对数据合规的要求进行隐私化保护,另外是在技术架构方面也会利用好边缘计算能力,把更多的车身和用户本身数据在本地处理好,去达到用户隐私保护的效果。

有了数据之后,就涉及到场景。从整个大的场景闭环来看,用户由新手到慢慢成长为老司机,从上车、行车、到达到停车都会有一系列的细分场景,之后去提供对应的服务。这种服务被称为基础的探针服务,结合每一次用户的具体反馈,需要那样形式的呈现时,就会把它变成各种个性化的服务。除此之外,科大讯飞也为主机厂提供了完善的工具链,在云端有场景的配置平台,能够快速的定制和模拟场景的效果。

对于车主而言真正和车相关和用车相关的能力,还比较欠缺。以往在遇到这些问题时,首要选择是打电话进行厂外求助,科大讯飞正在探索一种方式让这些服务都融合到车内,围绕整个购车的周期旅程,其设计了如下的产品功能:

第一是去吸收厚厚的几本手册,一辆车以前都会有很厚的说明书,科大讯飞通过阅读理解把知识进行结构化的抽取,通过知识图谱的构建,在前端通过交互技术,以智能问答的形式,找答你所问,

第二是把整个用车生命周期中的高频场景进行了提炼。对应的会呈现知识锦囊,雨天行车、新手上路,这些场景的用户可能会遇到什么样的问题,需要什么样的服务都提前准备好。

第三是智能引导,解决用户的学习成本和感知的问题当一个新手在开了两次高速之后,第三次上高速就会高速他,有一个功能其实和这个场景非常匹配,此时用户自然而然的能在场景里使用对应功能,然后真正的实现产品的价值。

如此服务至少有两个层面的好处,第一个可以切实解决用户在用车过程中的问题。第二点是反向对产品的设计人员可以第一时间连接到用户的想法,反过来可以对产品进行更好的改进。

田雨从三方面阐述了科大讯飞对于智能座舱的思考,利用AI的好技术,让座舱在交互空间和服务上全面升级,让整个智能驾驶出行达到更加的安全、智能、具有乐趣的目的。

热门车型推荐

1

宝马7系 (进口)

  • 厂商指导价(万):82.8~261.2万
  • 级别: 豪华车
  • 上市时间:2009年
  • 在产车型:14款
  • 排量(L):2.0~6.6 AT
  • 油耗(L):6.9~13.0(官方)
2

别克GL8 (合资)

  • 厂商指导价(万):23.29~53.39万
  • 级别: MPV
  • 上市时间:2000年
  • 在产车型:33款
  • 排量(L):2.0 AT
  • 油耗(L):--
3

赛那SIENNA (合资)

  • 厂商指导价(万):30.98~40.58万
  • 级别: MPV
  • 上市时间:2021年10月30日
  • 在产车型:6款
  • 排量(L):2.5
  • 油耗(L):--
相关推荐
热点推荐
笑晕!当年高考结束后你是怎样放纵的?当晚全班三十多男的都进去了

笑晕!当年高考结束后你是怎样放纵的?当晚全班三十多男的都进去了

有趣的火烈鸟
2024-06-14 10:44:23
凯特王妃终于要露面了,选择这个活动复出大有深意

凯特王妃终于要露面了,选择这个活动复出大有深意

新民周刊
2024-06-15 16:04:35
2024年养老金调整通知暂未公布,理由众说纷纭,但只有一个较靠谱

2024年养老金调整通知暂未公布,理由众说纷纭,但只有一个较靠谱

小强财艺
2024-06-15 12:50:57
普京不想再打了,俄军打下来的领土,足够给1亿俄罗斯人一个交待

普京不想再打了,俄军打下来的领土,足够给1亿俄罗斯人一个交待

战未央
2024-06-14 11:09:44
无法在中国合法上路!马斯克:特斯拉需要为中国生产特供版Cybertruck,或在部分功能上有所妥协【附皮卡行业发展趋势分析】

无法在中国合法上路!马斯克:特斯拉需要为中国生产特供版Cybertruck,或在部分功能上有所妥协【附皮卡行业发展趋势分析】

前瞻网
2024-06-14 16:12:16
中国要准备“一个人的战斗”!俄罗斯向西方“投降”,并非不可能

中国要准备“一个人的战斗”!俄罗斯向西方“投降”,并非不可能

文雅笔墨
2024-06-15 13:19:10
男子服用降压药10年,竟被查出肾衰竭

男子服用降压药10年,竟被查出肾衰竭

极目新闻
2024-06-14 19:06:38
明明与中国接壤,却将80%石油出口欧洲,哈萨克斯坦究竟图什么?

明明与中国接壤,却将80%石油出口欧洲,哈萨克斯坦究竟图什么?

议纪史
2024-06-14 18:35:02
海南一地3人被处分

海南一地3人被处分

鲁中晨报
2024-06-15 16:47:03
解放军中将在京突然去世,两女儿定居美国,亲弟弟关联25家公司

解放军中将在京突然去世,两女儿定居美国,亲弟弟关联25家公司

求实者
2024-06-12 14:30:22
22岁小伙雇45岁保姆后,整天不出门在家过二人世界

22岁小伙雇45岁保姆后,整天不出门在家过二人世界

牛城王小帅
2024-06-12 13:48:47
中专女孩名次遭质疑,“竞争对手”也发声了,为何不愿承认她优秀

中专女孩名次遭质疑,“竞争对手”也发声了,为何不愿承认她优秀

熙熙说教
2024-06-14 17:44:03
认怂?赖清德采访时将“两国互不隶属”改成“两岸”,甩锅马英九

认怂?赖清德采访时将“两国互不隶属”改成“两岸”,甩锅马英九

涛涛生活搞笑
2024-06-14 18:00:08
"最美女婴"刚出生就成网红,凭颜值征服网友,护士:难得一遇

"最美女婴"刚出生就成网红,凭颜值征服网友,护士:难得一遇

大果小果妈妈
2024-06-15 08:51:31
江宏杰秀刺青,将儿女纹在胸口,发文不怕刺激到福原爱?

江宏杰秀刺青,将儿女纹在胸口,发文不怕刺激到福原爱?

素素娱乐
2024-06-14 07:48:51
1981年,他被连队关禁闭借故爬上大树解闷,一亮光改变了他的人生

1981年,他被连队关禁闭借故爬上大树解闷,一亮光改变了他的人生

百年历史老号
2024-06-12 07:38:26
女儿高考完睡了3天3夜,家长不敢喊,醒来说一席话让父母破防

女儿高考完睡了3天3夜,家长不敢喊,醒来说一席话让父母破防

子芫伴你成长
2024-06-14 22:57:44
7种素菜是“嘌呤大户”,比肉类、海鲜还要高,再喜欢也要少吃

7种素菜是“嘌呤大户”,比肉类、海鲜还要高,再喜欢也要少吃

DrX说
2024-06-12 13:42:57
牛肉价格断崖式暴跌,养头牛亏损超千元,为什么不限制牛肉进口?

牛肉价格断崖式暴跌,养头牛亏损超千元,为什么不限制牛肉进口?

毒sir财经
2024-06-14 21:35:27
下家确定!周琦为了签约放弃签字费!广东豪赌彻底失败?

下家确定!周琦为了签约放弃签字费!广东豪赌彻底失败?

体育卡卡谈
2024-06-15 02:13:52
2024-06-15 19:28:49

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

头条要闻

恒大海花岛有小区地库承重柱"一踢就烂" 官方最新通报

头条要闻

恒大海花岛有小区地库承重柱"一踢就烂" 官方最新通报

体育要闻

残暴的德国战车,和苏格兰的祖传倒霉蛋

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

科技要闻

TikTok开始找退路了?

态度原创

时尚
本地
手机
游戏
公开课

为什么我劝白发爷爷:少留长发、多剪短发?看3组素人对比图就懂

本地新闻

粽情一夏|海河龙舟赛,竟然成了外国人的大party!

手机要闻

492 元起,华为开启限时 8.8 折手机内存升级活动

米哈游游戏平台来了!新版PC启动器17日正式上线

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版
×