商汤绝影许亮：AI赋能汽车，引领全球实践

2022年12月22-23日，由亿欧汽车主办的GTM2022全球科技出行峰会在中国上海成功举办。本届峰会以“加速·定势”为主题，聚焦时下热议的智能电动汽车（SEV）发展，围绕六大主题论坛，携手与会的数十名行业头部企业高管，呈现了一场新技术与新理念齐驱的汽车出行产业年度盛会。

在于12月23日上午召开的主论坛《智驾智舱融合发展论坛》上，商汤绝影智能车舱副总裁许亮发表了题为《AI赋能汽车，引领全球实践》的演讲。他在演讲中提出：

1. 舱驾融合的前提条件是座舱的精准感知，如何将座舱的感知信号作为一个比较精准的输入给到自动驾驶域，帮助自动驾驶域产生决策，是目前行业面临共同的挑战。

2. 汽车座舱的背景噪音对语音交互的召回率带来一定挑战，而通过多模技术加上视觉感知，可以提升原有座舱内应用场景的精度，同时也可将HMI体验做的更好。

3. 座舱作为一个智能终端，作为一个娱乐空间，作为第三移动场景还有多少想象力，未来有多少创新功能可以融入到座舱内，如何为用户提供更多样化的解决方案是目前整个汽车座舱行业都在面临机遇同时也是挑战。

以下为分享实录，供行业人士参考：

大家上午好！非常感谢亿欧的邀请，有机会来参加这个论坛，代表商汤绝影把最近几年在汽车领域内做的一些探索和创新给大家做一个分享。

商汤是一家人工智能视觉企业，最重要的事情就是去感知、处理现实生活中大量的数据。我们都知道物理世界的信息是非常丰富的，最早我们提出的概念叫数字孪生或者叫数字城市，怎么把城市这么大量级的物理世界数字化，这过程中产生重要的AI模型研发。我们认为AI模型本身的重要定位就是连接物理世界和数字世界最重要的组件。

在过去的几年里面我们在感知智能、决策智能、内容生成、增强现实这个点上还是取得比较大的突破。我们现在数字城市领域已经能支持100多个城市的数字化，给我们整个智能化的进程推动带来了很重要的助力。

随着技术在行业逐步拓展，走入深水区以后我们面临着诸多长尾问题，包括在智能汽车领域。例如，我们识别整个智慧城市里的烟火危险，本身这种烟火的识别场景比较少，数据量也比较少，所以对于AI模型来说这就是一个比较大的长尾场景挑战。

人工智能在行业里的快速落地也可以从一大一小两个维度来看。“大”的角度指真实的物理世界，包括细分的每个行业的场景有大量的数据要处理，而且很多的数据都是非结构化的。我们需要把这些数据变成结构化的数据放到我们的训练引擎里面，产生我们想要的模型，进而助力整个行业应用、迭代。这中间对于芯片的要求，对于训练引擎的要求、超算能力的要求等都是非常高的。

在这个过程中，商汤为了更好更充分的适应AI的发展，我们在上海临港投建了超大算力的人工智能大装置，3740Petaflops的算力，这是整个亚太区最高的算力引擎之一。它可以支持多个千万级人口智慧城市的运用，可以支持上百万辆自动驾驶车辆数据闭环的应用。

“小”就是现在很多的行业应用过程中，有很多是布在边缘端上的，像我们的车就是典型的端，包括我们的手机和LOT很多的设备。这当中面临像成本、体积、功耗的挑战，怎么在有限的算力把模型布到这些端上去，让产品有比较好的算法效果，这也是行业需要解决的重要问题。

我们在座舱内从上一代的8155芯片就开始优化我们模型，提供尽可能多的创新功能，让芯片能够把我们所有的算法包进去。实际上，这个中间的矛盾是永远不可能停下来的，整个AI算法对于芯片的依赖性和芯片的辅助性是相辅相成的。

去年上市后，商汤已经把整个业务架构图做了一些调整，我们整个底层是训练引擎所有的工具链，包括AI大装置作为我们的基座，向上是衍生出来最大的四大业务板块，智慧商业、智慧城市、智慧生活以及智能汽车。

为了更好支持汽车行业发展，去年商汤在汽车行业加速布局。我们新成立了汽车BG，我们也发布了自己独立的品牌“绝影”，也获得了很多发明的IP，也支持了很多车厂项目的量产，同时我们产生了超过1400多个AI的模型。

这是我们整个绝影的架构，可以看到中间层包括像座舱完整的解决方案，自动驾驶的解决方案，包括Robotaxi的解决方案，我们还有一块赋能引擎去支持车厂做整个自动驾驶业务中最重要的数据闭环。还有一块业务叫V2X（车路协同），我们支持了大量智慧城市的建设，我们也支持了大量自动驾驶车辆的建设，所以在这个过程中我们需要找到一个平衡点，怎么去更好的实现车路协同的应用。

与诸位分享一下过去几年，我们在绝影座舱这个点上的创新成果。首先我们认为对驾驶员的理解，在视觉技术出现以前，所有的车舱内的传感器是物理或者生物的传感器，很多的感知点和它的局限性会面临很多应用的挑战。

随着AI视觉的应用，我们首先在很多后装，包括一些卡车上看到了大量后装应用的机会。在过去的几年内，随着AI模型持续的优化，包括我们也推出了很多高精度的感知解决方案，现在在很多的乘用车上看到的大量的车开始量产。

我们非常感谢这个时代，因为电动车和智能车确实给了这个技术大量的应用场景，在过去围绕驾驶员所有的感知信号上，推出了像欧洲的NCAP的法规，包括GSR的标准。

大家现在都在提两域融合，两域融合的前期条件是座舱的感知要准，我们这中间能不能尽量减少误报，尽量覆盖它的长尾场景，把它的感知信号作为一个比较精准的输入给到自动驾驶域，帮助自动驾驶域产生一些自动驾驶的决策，这是行业当前共同面临的挑战。

在座舱内还有很多的事可以做，比如说现在对于儿童的保护，像安全带有没有被使用，包括12岁以下儿童是不是坐在后排，还有家庭出行可能会产生遗留物品、宠物，包括现在年轻人比较喜欢的车载娱乐。绝影在整个座舱内感知提供了大量的娱乐场景，有大量的车载座舱解决方案，可以对你的心情做一些“延伸”。

回到刚才提到的感知是不是精准，除此之外我们现在尝试大量的多模融合。我们知道像语音已经进入汽车行业大概十几年了，但是在背景噪音相对比较大的情况下，在它的召回率上还是有一定的挑战，所以通过多模的技术加上视觉的感知，我们可以提升原有车舱内应用的一些场景的精度，甚至把HMI体验做的更好，这也是我们一直在做的事。

智能进入的场景，我们在很多车上做了尝试。比如在2020年的时候我们帮助国内一个北美中高端的品牌做了中国的全球首发。这个技术对我们来说有很多延伸性，像我们对智慧城市的应用，包括我们支持了很多千万级人口城市地铁的刷脸进出站。

我们在做这样的技术延伸的时候，汽车行业独有的挑战是在于它的布置、振动、低功耗，甚至安全属性我们是不是能达到。所以我们算法是符合相关安全标准的，同时我们有非常高等级的活体检测能力。我们认为该功能最大的便利点对于个人来讲是家庭不需要每个人携带钥匙，但是对接下来的移动出行场景则有巨大的商业潜力机会。

现在整个座舱内的操作系统相对比较多元，我们也看到大量系统包括双系统在应用，在这个过程中我们也看到大量APP形态的模式是带来的一些新的应用机会。比如说结合商汤的数字人产品，我们也推出了大量的创新场景给到我们的客户。包括我们在座舱内首发了像智能拍照这样的场景，给年轻人更好的体验。

作为一个智能终端，作为第三移动场景，我们在座舱内还有多少想象力，为用户提供多样化的解决方案，这考验着我们的能力积淀。基于商汤跨场景智慧产业生态的能力，绝影可以持续将各项创新功能带入车内，甚至是实现行业首发。

因为行业比较特殊，过去几年跟我们一起在这个赛道上的都是视觉AI公司，相对传统的Tier1更多是做集成和互相的共生，并不太会直接切入到算法的研发，因为中间需要投入的人力，自身企业的DNA，包括我们自己本身在算力上的布置也有同样的情况。我们非常高兴自己的诸多产品能在中国的智能车上都得到首发，像我们支持了座舱内儿童识别的首发，包括健康监测也是首发，对汽车行业来说是非常难得的。

过去我们做了很多的技术引进，但是真正在中国本土上利用高科技的企业，有智能车和电动车这样一个赛道的机会，把我们的创新成果带到车上去，在中国的智能车得到体验以后，帮助我们的自主品牌甚至全球品牌更多去使用这个技术，这是非常难得的机会，我们相信接下来有更多的场景让我们行业带来机会。

最后讲一下我们的数字化，包括在过去四五年的时间内，相对汽车服务商来说积累还远远不够，我们一直在路上，这里涉及大量的生态合作伙伴的建立，包括我们过去拿的量产项目。在最近拿到的市场数据上，我们已经成为行业的市场份额第一名了。

这中间我们回归本源，首先想一想自己的优势哪里，首先座舱作为移动场景需要有大量的生态创新和融合，我们商汤刚才提到因为有大量垂直领域内的细分领域我们都可以做，包括有大量的物联网，有大量的元宇宙、智慧生活，我们在元宇宙上针对场景，针对人和物大量的数字孪生和数字共建，这个点上我们已经在行业内做了很多的尝试。

接下来诸多跨行业的场景，包括手机的生态，怎么样以一个更好的形式，融入到我们座舱内带给你更好的体验，这是整个行业都在探索的，我们非常荣幸帮助很多新势力的品牌和自主品牌带来了更多创新的技术。

第二刚才提到AI本源是处理数据，怎么利用大量的数据提高运算的效率产生出更好的模型，甚至产生模型迭代的效率。这点依托于SenseCore商汤AI大装置，这个我们称为创新效率的基石。我们在整个行业内逐渐形成knowhow，这个行业虽然新，但是整个往前走的过程中其实有大量的生态变化。过往，传统的零部件差不多到SOP之后不会有太大的变化，但是软硬分离这件事被行业提了很久，软件是不是真的能做到软硬分离，我们也做了很多的尝试，在这个过程中我们需要针对我们量产的项目，以及我们在长尾问题上，包括一些用户终端体验上，差异化的东西怎么做到用户体验导向来支持在SOP以后，过一个时间就能够OTA一个版本，让它加入更多的创新功能，这个变成汽车行业现在对软件算法提供商最高的期待。

这个行业比较新，所以中间有大量的法规不是很成熟，整个行业的国标一起建立这个标准，我们过去大量参与了国家法规的制定，这中间涉及到有大量的座舱内的东西，包括可能更重要的隐私保护，包括一些匿名化、数据脱敏。

最后关于第三移动空间很多公司有不同的想象，商汤比较特殊我们有一些比较强大的虚实融合的能力，我们也有数字化的能力，所以在整个过程中我们对于座舱内数字人、元宇宙的场景，下面我们在很多行业都有应用，这中间有大量的想象空间等着我们一起探索。

对于绝影来讲，我们希望利用AI视觉创新的能力，利用模型生成的高效和低成本化的能力，很多的创新点从零到一做出来的时候，整个行业会觉得这是一个比较好的技术。接下来我们对于座舱的想象，汽车会成为更好的城市空间元宇宙的载体，我们相信这中间商汤能够对行业带来很多的贡献，谢谢大家。