网易首页 > 网易号 > 正文 申请入驻

乐鑫 ESP APA DOA,两路麦克风也能听出声音方向

0
分享至

一、声音从哪来

做会议终端、桌面音箱、云台摄像机或服务机器人,都会碰到同一个问题:设备能听清,但不知道声音从哪来。降噪、去混响、回声消除这些音频前端能力已经相当成熟,可一旦需要摄像头转向、设备转身,或者只对某个方向拾音,就必须先拿到说话人的方位。过去的选项都不轻松——自己推导方向要投入信号处理研发,交给独立算力平台会增加成本和系统复杂度,放弃方向能力又只能用机械结构或人工干预替代。乐鑫近期发布的 ESP APA DOA 组件,正是为了补上这一环。它属于乐鑫新推出的 ESP-APA 端侧音频算法组件集合,该集合采用模块化设计、按需集成并对外提供标准化 API,声源定向 DOA 是其中首个公开发布的组件。组件支持两路、三路、四路麦克风阵列,音频输入支持交织与平面两种格式,可直接对接 ESP-SR、AFE 等音频前端,便于与既有降噪、波束形成、语音识别算法串联。支持的芯片覆盖 ESP32、ESP32-C3、ESP32-C5、ESP32-C6、ESP32-C61、ESP32-S3、ESP32-S31 与 ESP32-P4 共八款。官方还提供了在开发板上运行的实时采集示例,两路麦克风即可复现完整链路。


二、方向怎么算

组件的工作原理是到达时间差加几何解算。声音从某个方向传来时,到达不同麦克风的时间存在细微差异,引擎通过互相关分析测出各通道之间的时延,再结合每颗麦克风在板上的坐标反推声源的水平角度,几何关系越充分,解算越可靠。为保证输出可用,内部设置了三重门限:信号电平过低直接拒绝,互相关峰值不够突出同样被拒,三路及以上阵列还会校验几何拟合残差,确认解算结果与阵列几何自洽。三重门限全部通过,结果才被标记为有效,并附带 0 至 10 的质量评分,上层可据此再收紧条件。角度参考系是全篇最需要先统一的地方:原点取阵列中心,正前方为 0 度,方位角顺时针递增,90 度对应右侧,180 度对应后方,270 度对应左侧。如果这一层参考系与产品的结构朝向不一致,后面所有转向与取景逻辑都会跟着偏,建议在硬件定义阶段就把它写进规格。


三、阵列怎么摆

能测多大范围,取决于阵列怎么摆。组件内置四种布局宏,参数都是相邻麦克风间距:两麦共线只能输出 0 至 180 度,原因是它无法区分前后镜像;三麦等边三角形、四麦正方形与四麦长方形都能输出完整的 360 度。间距越大,角度分辨率通常越好,这需要与结构开孔位置一并考虑。形状不规则的板子,可以逐颗填写麦克风坐标,组件会自行构建配对几何并识别共线情况。有一条硬约束必须记住:第 i 路音频通道必须来自坐标数组第 i 项所描述的那颗物理麦克风。实际接线顺序与几何逻辑顺序不一致时,要在采集路径里重排后再填坐标,不能只改坐标数组,否则方位角会系统性出错。若音频前端输出的是含参考通道与噪声通道的混合槽位流,可以用配套的数据布局组件剔除无关数据,但它只丢弃槽位,不重排通道。选型时不妨先问三个问题:需不需要区分前后、产品结构是否允许 360 度开孔、板面留给阵列的尺寸有多大。答案基本就决定了两麦还是三麦、四麦。

四、性能与选型

资源开销是这套方案最实际的优势。以 ESP32-S3 在 240 兆赫兹主频、16 千赫兹采样条件下实测为例,两麦配置占用约 23KB 堆内存、CPU 约 3.8%,三麦约 26KB、约 6.3%,四麦约 30KB、约 10.3%;放宽解算频率后四麦可降到 5.7% 左右。精度方面,理想平面波条件下两麦平均绝对误差约 0.3 度,三麦与四麦在 0.1 度上下,方位角刷新延迟典型值在 16 至 64 毫秒之间。也就是说,方向估计可以与网络协议栈、语音识别、本地自动化逻辑共存于同一颗芯片,不必另外增加处理器。组件还提供经济、均衡、灵敏三档预设,用于在跟踪速度与算力之间取舍;所有接口都不是中断安全的,同一句柄也不支持多线程并发调用。值得说明的是,乐鑫在 ESP-SR 中也提供嵌入式声源定向模块,它基于最小方差无失真响应算法,支持 2 至 8 路麦克风与任意阵列几何,目前仅支持 ESP32-P4;两者互补,按精度需求、阵列规模与主控型号选择即可。落到产品形态上,这套能力可以支撑会议终端与桌面音箱的发言者方向指示、云台摄像机与视频会议的自动取景,以及服务机器人与智能家电的转向交互。

作为乐鑫科技一级代理商,飞睿科技可为客户提供从芯片选型、模组配套到专业技术支持的服务。声源定向这类应用往往同时牵涉麦克风阵列设计、音频前端配置与主控算力规划,飞睿可在评估阶段协助客户完成方案可行性判断,缩短选型周期、降低试错成本。如需获取 ESP APA DOA 组件的技术资料、评估套件或选型建议,欢迎与我们联系。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快讯!亚足联彻底捂不住了!

快讯!亚足联彻底捂不住了!

故事终将光明磊落
2026-10-01 08:56:51
最高法:回村定居的退休人员,有权重修祖宅或申请宅基地建房

最高法:回村定居的退休人员,有权重修祖宅或申请宅基地建房

智慧生活笔记
2026-10-01 09:54:07
刚走完长征路的毛主席:瘦骨嶙峋,一脸愁容,衣服破烂,让人心疼

刚走完长征路的毛主席:瘦骨嶙峋,一脸愁容,衣服破烂,让人心疼

小豫讲故事
2026-10-01 06:00:18
沉寂两月一鸣惊人!郭德纲921字长文通篇不喊冤,字字是江湖智慧

沉寂两月一鸣惊人!郭德纲921字长文通篇不喊冤,字字是江湖智慧

情感大头说说
2026-10-01 07:39:20
最新消息:景甜又给张继科“机会”,网友:那李小璐呢?

最新消息:景甜又给张继科“机会”,网友:那李小璐呢?

默默有话说
2026-10-01 16:28:03
中国男排闯进亚运四强,海宁用人争议不断!但队伍夺冠机会已出现

中国男排闯进亚运四强,海宁用人争议不断!但队伍夺冠机会已出现

金毛爱女排
2026-10-01 22:47:07
辣眼睛!不知情新娘被哄写侮辱字眼,网传江苏灌南一场“扒灰”婚闹,喜公公嗨翻了,引发热议

辣眼睛!不知情新娘被哄写侮辱字眼,网传江苏灌南一场“扒灰”婚闹,喜公公嗨翻了,引发热议

火山詩话
2026-10-01 11:51:18
蔚来拿下吉利汽车,震惊行业!

蔚来拿下吉利汽车,震惊行业!

互联网品牌官
2026-10-01 00:09:32
《柳叶刀》子刊:脂肪肝已缠上近半数中国成年人!中国超2.5万人研究显示,脂肪性肝病患病率达43.7%,肝纤维化为4.4%

《柳叶刀》子刊:脂肪肝已缠上近半数中国成年人!中国超2.5万人研究显示,脂肪性肝病患病率达43.7%,肝纤维化为4.4%

奇点网
2026-10-01 07:34:06
日本前一哥锦织圭正式退役:最高世界第4 亚洲唯一大满贯男单亚军

日本前一哥锦织圭正式退役:最高世界第4 亚洲唯一大满贯男单亚军

醉卧浮生
2026-10-01 16:21:13
装都不装了!林诗栋官宣退赛后,离谱一幕出现,与樊振东处境一样

装都不装了!林诗栋官宣退赛后,离谱一幕出现,与樊振东处境一样

十点街球体育
2026-10-01 22:42:07
血亏1亿!绝世粉钻意外流拍,河南钻石惨遭禁止,西方在怕什么?

血亏1亿!绝世粉钻意外流拍,河南钻石惨遭禁止,西方在怕什么?

闺蜜财经
2026-10-01 08:58:37
俄军钻26公里管道偷袭,滑板车代步潜伏6天,结局被4人乌军一锅端

俄军钻26公里管道偷袭,滑板车代步潜伏6天,结局被4人乌军一锅端

老马拉车莫少装
2026-09-28 23:02:32
今天,上海这里的山姆被挤爆!开门1分钟有人结账

今天,上海这里的山姆被挤爆!开门1分钟有人结账

看看新闻Knews
2026-10-01 18:45:12
亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

醉卧浮生
2026-10-01 19:52:33
女子在KTV唱歌2小时后,和朋友的3台手机拍照均出现紫色斑点,质疑镜头被氛围灯灼伤,商家:无法确定与包房灯有关

女子在KTV唱歌2小时后,和朋友的3台手机拍照均出现紫色斑点,质疑镜头被氛围灯灼伤,商家:无法确定与包房灯有关

蓬勃新闻
2026-09-30 18:39:00
英媒:曼城主席穆巴拉克有外交豁免权无法被起诉,将给诉讼带来难度

英媒:曼城主席穆巴拉克有外交豁免权无法被起诉,将给诉讼带来难度

懂球帝
2026-10-01 15:17:07
沪昆高速车祸致6死4伤 肇事驾驶员涉嫌疲劳驾驶

沪昆高速车祸致6死4伤 肇事驾驶员涉嫌疲劳驾驶

看看新闻Knews
2026-10-01 14:20:30
阿根廷对华牛肉涨价42.5%:低价进口牛肉的时代,正在关上大门

阿根廷对华牛肉涨价42.5%:低价进口牛肉的时代,正在关上大门

乌克兰小静
2026-10-01 14:35:27
《伟大的长征》即将开播!首次饰演毛泽东,于和伟减重15斤

《伟大的长征》即将开播!首次饰演毛泽东,于和伟减重15斤

澎湃新闻
2026-10-01 13:34:06
2026-10-02 00:07:00
深圳市飞睿科技有限公司
深圳市飞睿科技有限公司
远距离WiFi微波雷达技术
1561文章数 20关注度
往期回顾 全部

数码要闻

苹果iPhone 18 Pro系列体验

头条要闻

美国一女囚犯被执行死刑 注射两剂药物后其"鼾声大作"

头条要闻

美国一女囚犯被执行死刑 注射两剂药物后其"鼾声大作"

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

科技要闻

5999元起!华为Mate 90系列发布

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

时尚
房产
教育
健康
家居

在米兰,用时装唤醒内心的自我

房产要闻

4000+/平!华侨城,直接把海口楼市的地板给掀了!

教育要闻

免中考”试点到底改了什么?

刷酸祛痘,为什么有人翻车?

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版