网易首页 > 网易号 > 正文 申请入驻

挥手操控AI代理:Palm Pilot用光传感器做手势审批

0
分享至

手机放在支架上,你对着它挥一下手,屏幕上那条等待批准的 Bash 命令就通过了。没有点击,没有滑动,甚至没有碰到屏幕。这就是 Palm Pilot 想解决的那个瞬间:AI 代理已经跑了四十分钟,弹出一张卡片,上面写着 "rm -rf node_modules && npm i",风险等级中等,两个按钮——批准、拒绝。你今天已经点了六十次,这次大概率也没问题,但你没细看。


Palm Pilot 把最后一步物理操作也拿掉了。手从手机顶部掠过,光线下降,传感器触发,模型给出回答,代理的请求被批准、拒绝,或者被告知忘掉之前的一切。四种模式,五种手势,一个传感器,零行脚本台词。

这个应用真正有意思的地方,是它怎么用一个只能测亮度的传感器,做出五种可区分的手势。

传感器选型:没有距离,只有明暗

作者想要的是"手靠近手机"这个动作,而且不打算做原生构建,因为演示必须能从 Expo Go 的二维码在 Galaxy S24 Ultra 上直接跑起来。最顺手的候选是红外接近传感器,就是打电话时自动熄屏的那个。但它不在 Expo 的 SDK 里。

于是信号变成了照度,大约每 80 毫秒采样一次。问题被彻底重新定义:你无法知道手在哪里,只能知道光线是否下降、下降了多久。应用里的每一个手势,因此都由两个数字构成——持续时间和重复次数。

这个限制反而成了特性。一套"时长加次数"的语法不需要机器学习,不需要校准模型,不需要摄像头,也不耗电,还能在笔记本电脑上完美地做单元测试。

检测器:四个决定让光传感器变得可用

核心文件是 170 行纯 TypeScript,没有 React,没有传感器,没有定时器——输入是亮度和时间戳,输出是手势事件数组。整个项目里所有有意思的东西,都藏在这四个决定里。

  • 学习房间,而不是假设房间。房间的照度可以从 0 勒克斯到 60000 勒克斯,硬编码阈值意味着应用只在一个房间里能用。检测器改为跟踪环境光的指数移动平均值,把相对下降当作遮挡。
  • 用时长和次数区分手势。单击、双击、三击由 1500 毫秒的点击窗口判定。窗口给得宽松,因为人是坐着对支架上的手机挥手的,窗口太紧会让双击变成节奏游戏。
  • 用长按升级,而不是新增手势。作者想要第四个"撤销一切"的动作,但手势已经用完了。按住本身就是一个时长,按得更久可以表示另一件事,而且对用户来说不增加任何物理成本:手放下 0.9 秒触发 hold,继续按住超过 2.4 秒则升级为 holdLong,终止会话、重新开始。
  • 记住已经播报过的事件。一只手停在那里可能合法地产生两个事件,检测器必须记住自己已经宣布过什么,否则松手时会出现重复。就这一个变量,花了两条失败的测试才写对。

模型层:屏幕上的每个字都是一次实时调用

没有用 SDK,客户端文件 168 行:规范化基础地址,向对话补全接口发 POST 请求,从散文或代码围栏里提取 JSON,抛出带类型的错误。

踩过一个花了一小时的坑:第一版把最大输出 token 设成 200,结果一半的回复是空的或者直接报 400。模型本身没问题,它在先思考,而推理 token 在答案开始之前就把整个预算花光了。两个修复缺一不可——对 particle-1 发送 reasoning_effort: "none",让全部预算用于输出;给结构化调用更大的上限,播种六条事实用 700,改写一条用 300。这个做法并不通用,z-ai/glm-5.3-flash 直接拒绝 "none",所以配置里把空值当作"省略该字段",一个环境变量就能切换两个模型。

校验本身就是功能。这里没有兜底文案。如果模型返回的是散文而不是 JSON,如果工具名不在 Read、Write、Edit、Bash 之内,如果某条事实不在给定列表里,如果某个 issue 编号根本不存在——应用会显示错误并支持点击重试,绝不会为了把演示撑下去而编一行字出来。

这也是仓库标签页可以被信任的原因。模型拿到一份真实 issue 的名单,只能从中挑选。这是一个闭集任务,所以幻觉是可检测的,而不是看起来像真的。在 25 个 issue 的积压上,真实输出是这样的:GitHub 读取耗时 1013 毫秒,25 个待办、25 个已读、12 次提交;分诊 1392 毫秒;计划 3478 毫秒;站会总结 683 毫秒;吐槽 930 毫秒。

没有手机也能测试

手机是任何演示里最不可靠的一环,所以它被放在循环的最后。测试命令覆盖 23 条检测器断言和 14 条解析器断言,全部离线;类型检查零错误;每个提示词都能打真实端点;真实 GitHub 数据能走完分诊、计划、站会、吐槽全流程。

最关键的是演示命令:它按传感器真实的 80 毫秒节奏回放照度样本,喂给手机上同一个检测器,断言分类结果,然后打印模型实际说了什么。快速遮挡再松开,检测器判定为挥手,模型返回一条低风险的 Bash 命令;三次快速遮挡,检测器判定为三击,拉取真实仓库数据;手停留超过 2.4 秒,检测器判定为长按。这段记录就是整个演示,只差一只手。

诚实的边界

照度没有方向,所以做不了滑动,词汇表只有时长和重复。基线低于约 12 勒克斯的明亮房间,检测器会拒绝进入待命状态,而不是随机触发。iOS 跑不了这个应用,因为 expo-sensors 没有光传感器,模拟器那一行就是为此和舞台备份准备的。公开环境变量会被内联进打包产物,个人演示没问题,上架则必须把模型密钥和 GitHub 令牌都通过服务器代理。手势目前是作为数据被证明的,不是作为玻璃上的动作——检测器对着真实照度序列测试,物理挥手由人来验证,不是持续集成。

作者列出的下一步包括:流式输出,因为 0.7 到 1.1 秒是唯一让人觉得慢的地方;差异审查,真实的代理交互不是批准一条 Bash 字符串,而是审查一份 diff;真正的执行循环,在沙箱里运行被批准的工具调用并把结果喂回去;以及校准,700、900、2400 毫秒都是猜的,一段十秒的"遮挡、松开、遮挡"流程可以按房间持久化阈值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中信建投证券首席经济学家黄文涛:资本市场终将回归基本面定价,震荡之中孕育长期配置机遇

中信建投证券首席经济学家黄文涛:资本市场终将回归基本面定价,震荡之中孕育长期配置机遇

每日经济新闻
2026-11-20 15:02:03
腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

东方不败然多多
2026-11-20 15:29:12
市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

界面新闻
2026-11-20 17:14:14
河南“骑行大佬”刘旭去世,年仅33岁有田有店,友人曝死因太可惜

河南“骑行大佬”刘旭去世,年仅33岁有田有店,友人曝死因太可惜

嫹笔牂牂
2026-11-20 07:28:58
宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

慕名而来只为你
2026-11-19 21:45:20
普京:克里米亚大桥遭袭后 不再讨论海上停火

普京:克里米亚大桥遭袭后 不再讨论海上停火

新华社
2026-11-20 03:13:04
李亚鹏被送急诊不到一周,王菲母女就开始为他争光,谢霆锋挺尴尬

李亚鹏被送急诊不到一周,王菲母女就开始为他争光,谢霆锋挺尴尬

触摸史迹
2026-11-20 09:46:45
有人把GTA6三家脱衣舞俱乐部全跑了一遍,最贵那家300美元

有人把GTA6三家脱衣舞俱乐部全跑了一遍,最贵那家300美元

队友祭天法力无边
2026-11-19 20:21:43
伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

韩小娱
2026-11-20 06:11:24
被叫老板娘7年,张萌终于翻脸

被叫老板娘7年,张萌终于翻脸

她刊
2026-11-19 20:48:11
账户躺着80亿,不结婚不生孩子,62岁的张朝阳为啥还在折腾?

账户躺着80亿,不结婚不生孩子,62岁的张朝阳为啥还在折腾?

李砍柴
2026-11-19 21:47:45
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
“香港名媛蔡天凤碎尸案”重大进展:前夫兄长当庭指认弟弟是真凶

“香港名媛蔡天凤碎尸案”重大进展:前夫兄长当庭指认弟弟是真凶

水母真探社
2026-11-20 11:14:35
羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

极目新闻
2026-11-20 20:58:44
机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

小蜜情感说
2026-11-20 06:38:20
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
人事|邵军任上海市科委主任

人事|邵军任上海市科委主任

上观新闻
2026-11-20 19:23:37
2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

琴琴有氧运动
2026-11-19 17:19:36
万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

林杰论事
2026-11-20 12:34:54
2026-11-20 22:20:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
274文章数 90关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
本地
房产
旅游
公开课

艺术要闻

被机器人“七弟”爱上的她:艾西瓦娅·雷与印度歌舞片中的女性形象

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

世界树下赴南美之约!静安大宁以展串市,解锁文商旅体展联动新范式

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版