一个中风患者失去了声音,也失去了双手。他渴了,脑子里清清楚楚知道自己想说什么,可身体能给出的回应只剩眨眼。这就是 Hear Me 想接住的那个瞬间。
![]()
它是一款开源的桌面沟通辅助工具,面向说话和用手都极度困难的人,比如渐冻症(ALS)患者,或严重中风之后的人。它通过一台普通笔记本摄像头,读取 Presage SmartSpectra 传来的实时面部关键点,把一次刻意保持的闭眼,翻译成一句说出口的话,支持英语和印地语。
渐冻症患者或严重中风患者,往往在失去声音和双手之后,仍然能控制眼睛。专用的眼动沟通系统确实能帮上忙,但价格不便宜:安大略省 2025 年辅助设备项目的价目表显示,一套集成式眼动系统的获批采购价为 20083 加元,型号是 Tobii Dynavox I-13。而大多数家庭里,本来就有一台笔记本。Hear Me 想看看这条路能走多远。它并不是临床 AAC 评估或专用辅助技术的替代品。
一次长眨眼,怎么变成一句话
屏幕上的高亮会自己沿着面板的行往下走,默认每 1.6 秒换一行,照护者可以把它调慢。当想要的那一行亮起,使用者闭眼大约一秒;高亮随即在这一行的短语间移动,最后停在一个“返回”步骤上。等想要的短语亮起,再闭一次眼,Hear Me 会在眼睛睁开的那一刻把它念出来。
选错了也有退路。一句话说出后的 3 秒内,再长眨一次眼,就等于说“抱歉,不是这句”,高亮会回到刚才那句上。求助短语放在第一行第一个,所以两次长眨眼就能触发;在 5 秒内连做四次长眨眼,会从面板的任何位置响起警报,直到照护者按下“我在这里”。面板之外的内容,则由一块带词语建议的字母板兜底。
为什么不用现成的眨眼标志
第一版用的是 SDK 的 face.blinking 标志,自己测试时什么都没选中。录下自己的脸才看清原因:这个标志标记的是眨眼的瞬间,而不是眼睛闭了多久。于是 Hear Me 改用每只眼周围六个关键点计算眼睛开合度(眼睛纵横比),并以每个人自己的睁眼水平为基准。
闭眼持续至少 0.5 秒、至多 5 秒才算一次选择;更短的是自然眨眼,更长的是闭目休息。追踪器在眼睛完全闭上时有时会停止发送眼部关键点,所以短暂的数据缺口只有在眼睛此前已经在闭合时才算作闭眼。如果脸离开画面,面板会暂停,并提示该调整什么。
另外两个信号也被用上了。face.talking 让面板在检测到说话时以及说话结束后 1.5 秒内暂停,减少说到一半被误选。face.expression 则提供第二个开关:SmartSpectra 的惊讶表情分数保持在阈值以上 0.4 秒,效果等同一次长眨眼,动作是抬眉毛,给眨眼力量弱的人用,分数全程以“眉毛 %”显示在实时面板里。像“面向摄像头”“增加面部光照”这类校验提示会展示给照护者,装设备不需要懂 SDK。
每个人眨眼的方式都不一样,所以 20 秒的校准会先记录自然眨眼,再记录三次长眨眼,把阈值定在两者之间,且绝不低于 500 毫秒。开关访问设备用的是同一套最小按住时长的思路,比如 PRC-Saltillo 的扫描设置里就描述了一个半秒的“接受时间”。
在 Electron 里集成 SDK 还踩到两个坑:笔记本把虚拟摄像头排在前面,而它撑不住 30 帧,Hear Me 会挑真正的那一个;在 1280x720 下,渲染进程在测试机的 CPU 上跟不上 SDK 需要的 25 帧,降到 640x360 才稳住 30 帧。
床边的另一半对话
一块会说话的面板,只构成对话的一半。照护者按下一个按钮,使用者就能在自己刚说的话旁边看到“✓ 已听到”。AAC 沟通伙伴的指导建议对每条信息都作出回应,这个设计把回应变成了看得见的东西。
撤销的逻辑参照了开关扫描设备上的取消选择:有些设备给一秒时间再按一次开关,而一次刻意的眨眼比按键慢,所以 Hear Me 给了 3 秒。求助永远不会被撤销。照护者还可以自定义短语(比如“叫妈妈”),英语和印地语都行,并配有隐私视图。
测试方面,仓库里附带一段 22.6 秒的眼部关键点记录,只有数字、没有视频,任何人都能重跑基准测试,或用自己的录像跑同一套脚本。扫描、开关、眼部测量、校准、撤销、警报这些逻辑共有 50 个测试。端到端检查会在隐藏窗口里把录好的片段送进真实 SDK 回放:自然眨眼被忽略、只有长眨眼被选中、没有脸时面板暂停、照护者流程,以及从粘贴密钥到选出一句话的首次设置。
如果看不到脸或眼睛,面板会暂停,而不是去猜。警报是笔记本发出的声音,所以需要把音量打开,它也不是紧急呼叫系统。
同意与数据
摄像头只有在按下“打开摄像头并开始”之后才启动,按“停止摄像头”就关闭,只申请摄像头权限,不碰麦克风。Hear Me 不录制也不上传摄像头画面,SmartSpectra 在这台电脑上处理视频流;Presage 的 SDK 文档称生命体征在设备端计算,其遥测不发送原始视频。SDK 会联系 Presage 校验 API 密钥并统计测量额度,遥测已关闭(enableTelemetry: false),Hear Me 自身不发任何东西:没有分析统计,也没有 AI 服务。
留在电脑上的只有粘贴的 API 密钥和设置(包括照护者自定义的短语),直到手动删除为止;一次会话里说出的短语只显示在屏幕上,不保存。开始界面上有一个按钮,可以一键删除本机保存的密钥和设置。Hear Me 不与任何人分享摄像头画面或使用者说的话,唯一离开这台电脑的数据,是 SDK 自己发给 Presage 的密钥校验和额度计数。它是一款沟通辅助工具,不是医疗设备,不诊断、不治疗、也不监测任何东西。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.