北京
Edge Sound Research公司今日宣布获得200万美元新融资，用于打造能够分离有用声音并将其与其他传感器数据相结合的音频基础设施，帮助物理AI系统实时理解周围发生的情况。
本轮融资由Stormbreaker Ventures领投，公司累计融资总额达到900万美元。
该公司最初研究这一问题时，着眼于体育赛事场景。当篮球落地时，看台上球迷在跺脚，场馆音响中传出低音轰鸣——这些声音同时通过麦克风采集进来。对于试图分离出拍球声的人工智能系统来说，这些重叠的声音会带来很大困难。
这一挑战正是Edge Sound Research机器感知方法的核心：将音频与追踪数据及视觉数据相连接，以判断某个声音属于哪个物体。
“音频领域的问题在于，它不是以物体为导向的，而是以声道为导向的，”公司联合创始人兼首席执行官瓦尔特里·萨洛马基在接受SiliconANGLE采访时表示。
对广播公司而言，建立这种关联意味着要在嘈杂的场馆中追踪某位球员发出的声音。Edge打的赌是，同样的方法也能帮助机器人和其他物理AI系统理解周围世界——包括摄像头尚无法捕捉到的活动。
人类能够自动完成这一过程，因为我们生活在一个多模态的世界中：视觉、声音和身体感觉同时输入。在物理AI领域，声音长期以来一直被视为视觉的“次等公民”，因为摄像头早已无处不在，广泛应用于日常生活和各种场景。而对人类来说，声音却是我们在环境中定位导航的基础。
萨洛马基解释说，音频是以声道的形式呈现的。它与麦克风相连，麦克风被放置在空间中或物体上，在不同位置进行拾音。这些麦克风会产生识别声音的信号——但在被其他系统转化为可识别信息之前，这些信号本身并不与任何具体事物直接关联。
“这分为两个层面，”萨洛马基说。“一是如何为所有传感器创建数字孪生；二是如何创建AI机器学习模型来分离不同的声音元素。”
在体育场馆的演示案例中，该系统利用麦克风位置、拾音模式和球员追踪数据来筛选有用的音频。随后系统会将位置信息进行关联；视觉与音频配对后，即可识别出具体对象——例如球员、篮球，甚至是教练或吹哨的裁判。
该公司表示，用户可以导入带坐标的3D空间或2D布局图，并在其中放置传感器。这样便能构建出环境及其传感器的空间地图，这本质上就是萨洛马基所说的“数字孪生”。
其他应用场景还可能涉及自动驾驶汽车，可以为其配备“数字耳朵”，以判断是否有警笛声正在接近。人类之所以能辨别声音的方向，是因为双耳位于头部两侧。如果声音来自左侧，即使看不到声源，左耳听到的声音也会更大。
任何听过警笛由远及近或由近及远的人，都体验过多普勒效应——声音的音调会随着声源接近或远离的速度而升高或降低。更高的音调可以让自动驾驶车辆立即获得警示，提示有紧急车辆正从盲区转角方向驶来（并判断其接近方向），即便摄像头尚未捕捉到警示灯光。
构建音频感知模型
Edge开发了一个通用模型，并根据客户需求进行微调。这些模型面临着不同的实时活动延迟要求。萨洛马基提到，体育广播领域的延迟容忍度要低于33毫秒，而其他环境可能可以容忍100或200毫秒的延迟。
对于大多数应用来说，有用的感知信息必须及时到达，因为“听到”发生的事情需要与“看到”相配合。
该公司正通过其数字孪生软件和AI模型朝着硬件无关化的方向发展，这使得Edge能够围绕核心技术构建新的应用。通过这种方式，它将成为一种音频基础设施，能够与客户现有的麦克风和摄像头协同工作，适配当前的物理AI机器人、媒体系统及其他各类系统。
萨洛马基表示，借助此次融资，Edge将完成与现有企业客户的集成，并在启动A轮融资之前，使平台组件能够跨行业迁移应用。
现场体育赛事已经为Edge开发和验证其感知技术提供了一个商业市场，公司借此训练并构建了自身模型。其虚拟声音引擎（Virtual Sound Engine）能够自动捕捉并分离复杂环境中的声音，目前已在行业内实现商业化部署。该公司的客户和合作伙伴包括美国音频设备制造商舒尔公司（Shure Inc.）、美国国家篮球协会（NBA）、福克斯体育传媒集团（Fox Sports Media Group）以及美国网球协会（USTA）。
“要在物理AI领域实现大家所期望的效果，计算机需要变得更加‘像人’一点，”萨洛马基说。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
