用一套“配方”去操作另一个安卓应用,让它在 LINE 里发消息、在 X 上发帖——这个思路在真机测试里只撑了一天。三个不同的 bug 在同一天浮出水面:冷启动时序、歧义匹配触发的安全中断,以及一个抢走焦点的截图界面。最终的处理不是继续加固,而是在 2026-08-31 把整套 UI 自动化方案移除。
![]()
问题不在“能不能发出去”,而在“能不能稳定地操作目标屏幕”。移除决定同时点出了这套做法的另外两重约束:编译期的双应用白名单,以及目标应用界面一变就可能失效。
原生执行路径此前用的是按 resourceId 匹配的 AccessibilityNodeInfo 动作,不走手势派发。范围限定在 LINE 和 X,只开启 canRetrieveWindowContent,内置配方是 line.send-message 和 x.post。
这里有个容易被忽略的区分:安卓把“能查看屏幕”和“能派发手势”当成两种能力。查看 UI 层级要求 canRetrieveWindowContent 为真,程序化派发手势则要求 canPerformGestures 为真。针对单个节点,文档给出的动作接口是 performAction();返回键、下拉通知栏这类系统级动作走 performGlobalAction()。
排查清单:启动、匹配、截图
冷启动症状先看一件事:依赖服务的初始化有没有在动作开始前走到 onServiceConnected()。安卓官方指南把初始化放在这个回调里,运行时配置更新也通过 setServiceInfo() 在同一回调中完成。XML 配置定义服务处理哪些事件、给出什么反馈,setServiceInfo() 则允许运行时改配置。
另一个相关检查是事件类型是否对得上:系统检测到匹配事件(比如焦点变化、按钮点击)时才会调用 onAccessibilityEvent()。服务还必须在清单里声明,并由 BIND_ACCESSIBILITY_SERVICE 保护,确保只有系统能绑定它。
匹配症状要问的是:配方的 resourceId 是否选中了当前被操作屏幕上的那个目标节点。此前的匹配故障,就是基于 resourceId 的执行路径里一次歧义匹配触发的安全中断。安卓把按钮、列表、文本这类 UI 元素表示为无障碍树中的 AccessibilityNodeInfo 对象,AccessibilityEvent 是进入这棵树的入口,官方遍历示例会先判断事件源节点是否为 null 再往下看。
节点动作还有一项具体检查:这个节点是否支持你想做的交互。官方点击示例在调用 performAction(AccessibilityNodeInfo.ACTION_CLICK) 之前,会先检查 isClickable。
截图症状先确认前台包是否仍在白名单内。2026-08-29 的 captureScreenSnapshot() 实现,除了操作系统层面的 packageNames 边界,还显式地把前台包再对白名单核了一遍,作者侧的工作仍保持在 LINE/X 范围内。
在这条流程之前,想加一个内置两项之外的配方,得先读 logcat 节点转储、再手写配方 JSON。新的快照方法产出的是一份只读的结构化 JSON 转储,带深度和节点数上限。这些限制属于为配方编写引入的观察路径,与配方草稿、用户保存并列。AppActRecipeStore.load() 也增加了对 user. 前缀配方 ID 的查找。
焦点归属和窗口可用性同样要查:打开截图界面,会不会改变键盘输入的去向,或者改变无障碍服务正在查看的内容?随后在真机上出现的故障,正是一个抢走焦点的截图界面。安卓区分输入焦点(键盘输入去哪)和无障碍焦点(服务在看什么)。
遇到截图类症状,先看 rootInActiveWindow 是否可用,再去找焦点节点——官方指南允许它在窗口不可用时为 null。其焦点示例用 findFocus(AccessibilityNodeInfo.FOCUS_ACCESSIBILITY) 定位带无障碍焦点的节点。安卓的指导原则是尊重用户的焦点状态,除非用户动作明确触发,否则不要抢焦点。
审批条件要和配方分开看
如果动作是无人值守发起的,适用哪道执行闸门?2026-07-14 的 Phase 4 检查点上,app-act 派发拒绝无人值守执行,与 intent/dm-reply 的过渡形态一致。后来的目标设计改为:固定配方加固定目标,在注册时一次性视为已同意,并保持 Sidebar 可见。
这个注册设计让 app-act 成为 cli/intent/dm-reply“绝不一键”模式的有意例外,也省掉了 intent/dm-reply 那种运行时目标解析。注册时同意与已实现的无人值守执行闸门,因此代表的是两个不同的设计阶段。
审批时展示的参数,要查哪些值真的进了预览:resolve_app_act_params() 是在一份已经脱敏的预览上解析 {{result}},然后再跑一遍 redact_secrets_text。审批请求携带的是 appActRecipeId 和 appActParamsResolved。
原生路径里还有 LockPromptActivity.kt,用于锁屏唤醒解锁挑战,其实现中已经解决过 2 个真实的并发 bug。
时间线上,2026-07-14 的提交 86862ae3d 加入 appActRecipeId、appActParams、appActMethod 作为 Phase 2 的 schema 基础,appActParams 同时被两份 textForSecretScan 覆盖;当时派发还没读这些字段,app-act 代理会 fail closed,落到 toPlanAction 的默认不支持分支。同日的 bde82f4e6 引入原生 AccessibilityService 层作为 Phase 3,e0ed1217c 把 shell 派发、PlanSpec 和 RN 桥端到端接通,AGENT_SCRIPT_VERSION 从 10 改到 11,与 AgentRuntime.kt 同步。2026-08-29 的 1e42490ae 引入只读快照、配方草稿和用户保存流程;2026-08-31 的 325e9d702 落地了完整移除。
换条路:发帖变成一次 API 请求
对 X 来说,POST /2/tweets 代表已认证用户创建帖子,发帖操作因此是一次 API 请求,而不是用配方去操作目标屏幕。认证要求是通过 OAuth 2.0 PKCE 或三腿 OAuth 获取的用户访问令牌。
对 Bluesky 来说,发帖操作使用 app.bsky.feed.post 记录,text 和 createdAt 是必填字段。发图要在记录引用上传文件之前,额外走一步 com.atproto.repo.uploadBlob。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.