网易首页 > 网易号 > 正文 申请入驻

两万加元的眼控设备,被一台笔记本摄像头替了

0
分享至

一个中风患者失去了声音,也失去了双手。他渴了,脑子里清清楚楚知道自己想说什么,可身体能给出的回应只剩眨眼。这就是 Hear Me 想接住的那个瞬间。


它是一款开源的桌面沟通辅助工具,面向说话和用手都极度困难的人,比如渐冻症(ALS)患者,或严重中风之后的人。它通过一台普通笔记本摄像头,读取 Presage SmartSpectra 传来的实时面部关键点,把一次刻意保持的闭眼,翻译成一句说出口的话,支持英语和印地语。

渐冻症患者或严重中风患者,往往在失去声音和双手之后,仍然能控制眼睛。专用的眼动沟通系统确实能帮上忙,但价格不便宜:安大略省 2025 年辅助设备项目的价目表显示,一套集成式眼动系统的获批采购价为 20083 加元,型号是 Tobii Dynavox I-13。而大多数家庭里,本来就有一台笔记本。Hear Me 想看看这条路能走多远。它并不是临床 AAC 评估或专用辅助技术的替代品。

一次长眨眼,怎么变成一句话

屏幕上的高亮会自己沿着面板的行往下走,默认每 1.6 秒换一行,照护者可以把它调慢。当想要的那一行亮起,使用者闭眼大约一秒;高亮随即在这一行的短语间移动,最后停在一个“返回”步骤上。等想要的短语亮起,再闭一次眼,Hear Me 会在眼睛睁开的那一刻把它念出来。

选错了也有退路。一句话说出后的 3 秒内,再长眨一次眼,就等于说“抱歉,不是这句”,高亮会回到刚才那句上。求助短语放在第一行第一个,所以两次长眨眼就能触发;在 5 秒内连做四次长眨眼,会从面板的任何位置响起警报,直到照护者按下“我在这里”。面板之外的内容,则由一块带词语建议的字母板兜底。

为什么不用现成的眨眼标志

第一版用的是 SDK 的 face.blinking 标志,自己测试时什么都没选中。录下自己的脸才看清原因:这个标志标记的是眨眼的瞬间,而不是眼睛闭了多久。于是 Hear Me 改用每只眼周围六个关键点计算眼睛开合度(眼睛纵横比),并以每个人自己的睁眼水平为基准。

闭眼持续至少 0.5 秒、至多 5 秒才算一次选择;更短的是自然眨眼,更长的是闭目休息。追踪器在眼睛完全闭上时有时会停止发送眼部关键点,所以短暂的数据缺口只有在眼睛此前已经在闭合时才算作闭眼。如果脸离开画面,面板会暂停,并提示该调整什么。

另外两个信号也被用上了。face.talking 让面板在检测到说话时以及说话结束后 1.5 秒内暂停,减少说到一半被误选。face.expression 则提供第二个开关:SmartSpectra 的惊讶表情分数保持在阈值以上 0.4 秒,效果等同一次长眨眼,动作是抬眉毛,给眨眼力量弱的人用,分数全程以“眉毛 %”显示在实时面板里。像“面向摄像头”“增加面部光照”这类校验提示会展示给照护者,装设备不需要懂 SDK。

每个人眨眼的方式都不一样,所以 20 秒的校准会先记录自然眨眼,再记录三次长眨眼,把阈值定在两者之间,且绝不低于 500 毫秒。开关访问设备用的是同一套最小按住时长的思路,比如 PRC-Saltillo 的扫描设置里就描述了一个半秒的“接受时间”。

在 Electron 里集成 SDK 还踩到两个坑:笔记本把虚拟摄像头排在前面,而它撑不住 30 帧,Hear Me 会挑真正的那一个;在 1280x720 下,渲染进程在测试机的 CPU 上跟不上 SDK 需要的 25 帧,降到 640x360 才稳住 30 帧。

床边的另一半对话

一块会说话的面板,只构成对话的一半。照护者按下一个按钮,使用者就能在自己刚说的话旁边看到“✓ 已听到”。AAC 沟通伙伴的指导建议对每条信息都作出回应,这个设计把回应变成了看得见的东西。

撤销的逻辑参照了开关扫描设备上的取消选择:有些设备给一秒时间再按一次开关,而一次刻意的眨眼比按键慢,所以 Hear Me 给了 3 秒。求助永远不会被撤销。照护者还可以自定义短语(比如“叫妈妈”),英语和印地语都行,并配有隐私视图。

测试方面,仓库里附带一段 22.6 秒的眼部关键点记录,只有数字、没有视频,任何人都能重跑基准测试,或用自己的录像跑同一套脚本。扫描、开关、眼部测量、校准、撤销、警报这些逻辑共有 50 个测试。端到端检查会在隐藏窗口里把录好的片段送进真实 SDK 回放:自然眨眼被忽略、只有长眨眼被选中、没有脸时面板暂停、照护者流程,以及从粘贴密钥到选出一句话的首次设置。

如果看不到脸或眼睛,面板会暂停,而不是去猜。警报是笔记本发出的声音,所以需要把音量打开,它也不是紧急呼叫系统。

同意与数据

摄像头只有在按下“打开摄像头并开始”之后才启动,按“停止摄像头”就关闭,只申请摄像头权限,不碰麦克风。Hear Me 不录制也不上传摄像头画面,SmartSpectra 在这台电脑上处理视频流;Presage 的 SDK 文档称生命体征在设备端计算,其遥测不发送原始视频。SDK 会联系 Presage 校验 API 密钥并统计测量额度,遥测已关闭(enableTelemetry: false),Hear Me 自身不发任何东西:没有分析统计,也没有 AI 服务。

留在电脑上的只有粘贴的 API 密钥和设置(包括照护者自定义的短语),直到手动删除为止;一次会话里说出的短语只显示在屏幕上,不保存。开始界面上有一个按钮,可以一键删除本机保存的密钥和设置。Hear Me 不与任何人分享摄像头画面或使用者说的话,唯一离开这台电脑的数据,是 SDK 自己发给 Presage 的密钥校验和额度计数。它是一款沟通辅助工具,不是医疗设备,不诊断、不治疗、也不监测任何东西。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国足开场3分钟闪电丢球!巴林头球破门 刘建宏:队长刘洋没有看人

国足开场3分钟闪电丢球!巴林头球破门 刘建宏:队长刘洋没有看人

念洲
2026-11-17 20:09:28
国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

奥拜尔
2026-11-17 20:09:17
中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

星语者056
2026-11-17 08:46:25
知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

小徐讲八卦
2026-11-17 14:19:10
“结婚22年两儿子均非亲生”,女方独家回应:我没出轨

“结婚22年两儿子均非亲生”,女方独家回应:我没出轨

中国新闻周刊
2026-11-17 20:47:24
突发!大反转!黄仁勋果然翻盘!

突发!大反转!黄仁勋果然翻盘!

财经要参
2026-11-17 15:20:05
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
再见,曼城!2.2亿“超巨”将转投皇马!顶级射手“空降”加盟

再见,曼城!2.2亿“超巨”将转投皇马!顶级射手“空降”加盟

头狼追球
2026-11-17 16:53:03
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
克里米亚大桥被炸断了!!!

克里米亚大桥被炸断了!!!

西楼饮月
2026-11-17 16:41:46
特朗普:我认为黄仁勋案没有涉及“间谍”

特朗普:我认为黄仁勋案没有涉及“间谍”

看看新闻Knews
2026-11-17 09:34:14
贝林厄姆CK内裤广告炸裂全网!网友:他爸管他,哈哈哈

贝林厄姆CK内裤广告炸裂全网!网友:他爸管他,哈哈哈

品牌新
2026-11-17 09:17:26
大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

云霄纪史观
2026-11-17 03:55:10
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
黄乐最新私密照爆出, 难怪黄仁勋把持不住!

黄乐最新私密照爆出, 难怪黄仁勋把持不住!

仕道
2026-11-17 11:11:01
中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

台州交通广播
2026-11-17 01:10:51
10月失业率降到5.1%,就业大局稳住了

10月失业率降到5.1%,就业大局稳住了

贝壳财经
2026-11-17 09:40:03
莱昂纳多52岁庆生派对曝光,一车的妖娆女模到场,引发争议

莱昂纳多52岁庆生派对曝光,一车的妖娆女模到场,引发争议

译言
2026-11-17 08:31:18
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

鹰眼Defence
2026-11-17 15:55:18
2026-11-17 21:27:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
207文章数 112关注度
往期回顾 全部

数码要闻

苹果HomeView与第四代Apple TV 4K开售 299美元起

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
数码
亲子
房产
旅游

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

亲子要闻

宝宝气人但是聪明的4个行为

房产要闻

6.6亿!海口卖地!

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

无障碍浏览 进入关怀版