网易首页 > 网易号 > 正文 申请入驻

固定2秒就抢话,他让摄像头看脸决定何时闭嘴

0
分享至

语音助手判断你讲完没有,靠的是一个固定的静默时长,通常在0.7秒到2秒之间。这套逻辑在正常对话里能用,可一旦你在句子中间停一下——想词、换语言、喘口气,或者只是口吃——它就会插进来。


把计时器调长能缓解这个问题,代价是每一次回复都变慢。Hold the Floor 换了个思路:用摄像头区分"停顿"和"讲完了"。麦克风照旧负责找静默,Presage SmartSpectra 负责判断你是不是还处在这一轮发言里。

它盯的是这几类信号:

  • 嘴唇抿紧,或者已经摆好下一个词的形状
  • 还在说话(嘴部动作,加上 SmartSpectra 的说话信号)
  • 正在吸气(SmartSpectra 的胸部呼吸轨迹)
  • 头转开,人思考时常见的动作

只要其中任意一项还亮着,智能体就压住回复,最长8秒。这些信号一放松,它立刻回话。摄像头看不清你的时候——人脸丢失、胸部不在画面里、出现第二张脸、光线太暗——线索暂停,退回普通的2秒计时器。它不会去猜自己看不见的东西。

整个东西是一个 Electron 桌面应用,配了一个有耐心的面试官角色(口头提问、大字号),可以端到端试一遍。固定0.7、2、3、4秒的计时器在后台对同一路实时输入并行运行,所以每次会话结束都能拿到一份公平的比分:每种策略本来会打断你几次,各自让你多等多久。对比视图会在你说话时把2秒计时器和 Hold the Floor 并排放着。做语音智能体的人可以通过本地 end_of_turn WebSocket API 直接使用这些判断。

它是个对话工具,不是治疗或医疗工具。它不检测、不评估、不治疗口吃或任何状况,也不评判你说了什么。它还没有经过口吃人群的测试。

演示里能看到几个具体时刻:1分45秒,句子中间一段静默,2秒计时器开始倒数、本来要插话,Hold the Floor 显示 Holding——嘴唇已就位;2分02秒,一次3秒的找词,再次压住;2分17秒,摄像头被挡住,线索暂停,退回普通2秒计时器,然后恢复;2分30秒按 Esc 关掉摄像头和麦克风,2分36秒出结果。

信号这块,它只向 SmartSpectra(@smartspectra/node-sdk 3.5.0)要五项指标:胸部呼吸、腹部呼吸、呼吸频率、面部关键点和说话状态。别的都不要:没有脉搏、没有心率变异性、没有表情、没有皮肤电。遥测是关的。呼吸频率的置信度会以"Breath: warming up"的形式显示,直到呼吸追踪稳定下来。

实时判断的节奏是这样的:麦克风响度每20毫秒出一个数,对照你校准过的噪声底找静默。静默400毫秒之后,任何持续120毫秒的线索都会压住发言权。所有线索都熄灭300毫秒后,这一轮结束,智能体回话。8秒是硬上限。一次约45秒的校准会学习你的静息面部、一次用力的抿唇和你的说话音量,因为每个人的静息唇形差别很大。

信号不可信的时候有质量闸门兜着。SmartSpectra 的校验状态(人脸不可见、胸部不在画面、多于一张脸、太暗)和实测的关键点帧率共同驱动这个闸门。坏帧持续1秒(出现第二张脸则是立刻),所有摄像头线索暂停,应用退回普通2秒计时器,屏幕上显示 SDK 自带的提示。好帧持续1秒后线索恢复。

Electron 里的 SDK 集成:bindSmartSpectraIpc 跑在主进程,SDK 预加载脚本跑在沙箱化的 preload 里,渲染进程的 SmartSpectraSDK 吃的是应用自己的摄像头流(useMediaStream)。decodeMetrics 把指标包转成数字。Setup 里的就绪检查用主进程的 checkDeviceReadiness。每个 API 在调用前都对着已安装的类型定义核过一遍。docs/SDK-NOTES.md 记录了类型定义和文档不一致的地方,以及真机探针的结果:关键点顺序、30到60毫秒的投递延迟、吸气时胸部轨迹往哪个方向走,还有胸部必须在画面里才能收到面部关键点。

实测数据来自那场实时演示会话,用同一个引擎回放(有一个单元测试检查回放能复现实时运行做出的每一个决定)。只有4秒计时器也避免了插话,代价是四倍的等待。这是一个人、脚本化的停顿,而且并不完美:三次录制(24个回答)里,出厂设置仍然提前结束了回答3次。下一步是30个回答的自测,只在真正说完时才按键,作为基准真值。

演示里的结果页显示0.7秒计时器是1次打断,不是2次。做回放时发现实时评分器有个计数 bug:那个计时器触发后2.46秒的一次恢复,从麦克风到达时评分器已经停止观察了。这个修好了,另外三个回放时序问题也一并修了。

它想拿的是"最佳深思熟虑的真实世界应用"。语音智能体正在进入客服、辅导、面试练习和无障碍工具,而几乎所有这些仍然用静默计时器结束你的发言。受伤最深的是那些句子中间会停的人:第二语言使用者、口吃者、老年人、任何边想边说的人。Hold the Floor 把快速回复留给其他人,因为它只在你脸上写着"还没说完"的时候才等。它对自己的边界也很坦白:看不见你的时候,用质量闸门和普通计时器,而不是猜。每次会话都在同一路输入上跟固定计时器比分。默认隐私。end_of_turn WebSocket API 让任何语音智能体都能用上它。

同意和数据这块,规则写得很细:

  • 先同意。同意屏之前什么都不启动。摄像头和麦克风分开授权,操作系统在各自第一次使用时还会再问一次。屏幕上写明测什么(唇形、头部朝向、呼吸动作、你是否看起来在说话、麦克风响度),不测什么(身份、情绪、健康、说话内容)。拒绝麦克风也能用:摄像头线索做判断,你按发送。两个都拒绝,就只剩一个纯发送的对话。
  • 随时能停。Esc 或 F8 在1秒内(演示里是0.73秒)关掉摄像头和麦克风,停止按钮和关窗口也一样。摄像头开/麦克风开的指示灯会显示它们何时在工作。
  • 只有你。SmartSpectra 报告多于一张脸时,摄像头线索立刻暂停。
  • 处理方式。摄像头帧由 SmartSpectra SDK 在你电脑上处理,应用从不保存或发送它们。麦克风被压缩成每20毫秒一个响度数字,音频从不录制。Setup 里可选的麦克风检查会在内存里留3秒做一次回放,然后丢弃。
  • 存储与保留。不按"保存数字"就什么都不存。保存的会话只有数字:26个面部点、呼吸轨迹、响度、事件、问题文本和按键。绝不含视频、音频、完整面部网格、设备名或你的密钥。未保存的会话在关掉应用时消失;保存的留在应用数据文件夹里,直到你删除。
  • 删除。在结果页或隐私页删掉一个或全部会话,在 Setup 里移除 API 密钥。隐私页会显示文件夹位置。
  • 分享与网络。应用不分享任何东西,也不自己发网络请求。SmartSpectra 遥测关闭(enableTelemetry: false),requestInsight 从不调用。SDK 本身在测量时仍会联网向 Presage 认证和检查用量,它没有离线模式。
  • 不用 AI 服务。没有 LLM,没有云端 AI。问题是固定列表,由操作系统内置语音朗读。
  • 网页回放页从不请求摄像头或麦克风,也不含 SmartSpectra 代码。它只加载自己的文件和录下来的数字,你在那里保存的任何东西都留在标签页内存里。
  • API 密钥用操作系统钥匙串加密(Electron safeStorage),从不记日志,从不放进渲染进程存储。
  • 声明。没有诊断、治疗、情绪或健康方面的声明。应用只决定智能体什么时候可以回话。

这个项目是用 Claude Code 当结对程序员做出来的,从计划和 SDK 探针,到应用、测试和讲解视频。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

极目新闻
2026-11-21 19:27:16
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼;智利总统夫人来南油,第一件事:下单!

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼;智利总统夫人来南油,第一件事:下单!

深圳梦
2026-11-21 22:52:10
吴梦洁37分 朱晋谊 唐欣均29+江苏女排五局胜天津送其首败 技术统计

吴梦洁37分 朱晋谊 唐欣均29+江苏女排五局胜天津送其首败 技术统计

许穩很机智
2026-11-21 19:04:29
投票在即,蒋万安放大招,宋楚瑜暴露真面目,郑丽文傅崐萁怒了

投票在即,蒋万安放大招,宋楚瑜暴露真面目,郑丽文傅崐萁怒了

DS北风
2026-11-21 19:14:03
芯片大局已定:不出意外的话,2026年起中国半导体或迎来3大变化

芯片大局已定:不出意外的话,2026年起中国半导体或迎来3大变化

互联鱼
2026-10-31 07:25:20
人民日报:唱空中国经济者终会落空

人民日报:唱空中国经济者终会落空

21世纪经济报道
2026-11-21 12:16:38
埃梅里:平局让我有些失望,但我们正在找回对这套打法的信心

埃梅里:平局让我有些失望,但我们正在找回对这套打法的信心

懂球帝
2026-11-22 02:14:52
戴笠的手下,因任务失败逃到香港,生了个儿子成国际巨星,家喻户晓

戴笠的手下,因任务失败逃到香港,生了个儿子成国际巨星,家喻户晓

旧时楼台月
2026-11-05 16:36:04
立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

磊子讲史
2026-07-17 10:49:15
笑死,人到了一定年龄就要用国风味的香水,网友:老了干啥都心酸

笑死,人到了一定年龄就要用国风味的香水,网友:老了干啥都心酸

夜深爱杂谈
2026-11-21 21:50:17
炸了!跌出前16反而打疯了,丁俊晖资格赛逆转,柏林正赛有戏了!

炸了!跌出前16反而打疯了,丁俊晖资格赛逆转,柏林正赛有戏了!

可乐爱微笑
2026-11-21 21:07:52
文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

之乎者也小鱼儿
2026-11-05 15:07:45
我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

千秋文化
2026-11-18 20:57:40
为何苏联会援助中国进行工业化建设?是时候告诉大家真相了!

为何苏联会援助中国进行工业化建设?是时候告诉大家真相了!

壹知眠羊
2026-11-05 07:06:29
独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

扬子晚报
2026-11-21 14:54:43
他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

莫地方
2026-10-20 10:20:14
全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

扶苏聊历史
2026-10-10 11:04:50
俄罗斯无人机袭击基辅,致荷兰大使馆受损,荷兰首相:不会被吓倒

俄罗斯无人机袭击基辅,致荷兰大使馆受损,荷兰首相:不会被吓倒

麓谷隐士
2026-11-22 00:05:04
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

捣蛋窝
2026-09-09 13:59:20
2026-11-22 02:32:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
266文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
艺术
教育
数码
房产

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版