网易首页 > 网易号 > 正文 申请入驻

靠无障碍服务发帖:一天连爆三个bug后,这条路被彻底放弃

0
分享至

用一套“配方”去操作另一个安卓应用,让它在 LINE 里发消息、在 X 上发帖——这个思路在真机测试里只撑了一天。三个不同的 bug 在同一天浮出水面:冷启动时序、歧义匹配触发的安全中断,以及一个抢走焦点的截图界面。最终的处理不是继续加固,而是在 2026-08-31 把整套 UI 自动化方案移除。


问题不在“能不能发出去”,而在“能不能稳定地操作目标屏幕”。移除决定同时点出了这套做法的另外两重约束:编译期的双应用白名单,以及目标应用界面一变就可能失效。

原生执行路径此前用的是按 resourceId 匹配的 AccessibilityNodeInfo 动作,不走手势派发。范围限定在 LINE 和 X,只开启 canRetrieveWindowContent,内置配方是 line.send-message 和 x.post。

这里有个容易被忽略的区分:安卓把“能查看屏幕”和“能派发手势”当成两种能力。查看 UI 层级要求 canRetrieveWindowContent 为真,程序化派发手势则要求 canPerformGestures 为真。针对单个节点,文档给出的动作接口是 performAction();返回键、下拉通知栏这类系统级动作走 performGlobalAction()。

排查清单:启动、匹配、截图

冷启动症状先看一件事:依赖服务的初始化有没有在动作开始前走到 onServiceConnected()。安卓官方指南把初始化放在这个回调里,运行时配置更新也通过 setServiceInfo() 在同一回调中完成。XML 配置定义服务处理哪些事件、给出什么反馈,setServiceInfo() 则允许运行时改配置。

另一个相关检查是事件类型是否对得上:系统检测到匹配事件(比如焦点变化、按钮点击)时才会调用 onAccessibilityEvent()。服务还必须在清单里声明,并由 BIND_ACCESSIBILITY_SERVICE 保护,确保只有系统能绑定它。

匹配症状要问的是:配方的 resourceId 是否选中了当前被操作屏幕上的那个目标节点。此前的匹配故障,就是基于 resourceId 的执行路径里一次歧义匹配触发的安全中断。安卓把按钮、列表、文本这类 UI 元素表示为无障碍树中的 AccessibilityNodeInfo 对象,AccessibilityEvent 是进入这棵树的入口,官方遍历示例会先判断事件源节点是否为 null 再往下看。

节点动作还有一项具体检查:这个节点是否支持你想做的交互。官方点击示例在调用 performAction(AccessibilityNodeInfo.ACTION_CLICK) 之前,会先检查 isClickable。

截图症状先确认前台包是否仍在白名单内。2026-08-29 的 captureScreenSnapshot() 实现,除了操作系统层面的 packageNames 边界,还显式地把前台包再对白名单核了一遍,作者侧的工作仍保持在 LINE/X 范围内。

在这条流程之前,想加一个内置两项之外的配方,得先读 logcat 节点转储、再手写配方 JSON。新的快照方法产出的是一份只读的结构化 JSON 转储,带深度和节点数上限。这些限制属于为配方编写引入的观察路径,与配方草稿、用户保存并列。AppActRecipeStore.load() 也增加了对 user. 前缀配方 ID 的查找。

焦点归属和窗口可用性同样要查:打开截图界面,会不会改变键盘输入的去向,或者改变无障碍服务正在查看的内容?随后在真机上出现的故障,正是一个抢走焦点的截图界面。安卓区分输入焦点(键盘输入去哪)和无障碍焦点(服务在看什么)。

遇到截图类症状,先看 rootInActiveWindow 是否可用,再去找焦点节点——官方指南允许它在窗口不可用时为 null。其焦点示例用 findFocus(AccessibilityNodeInfo.FOCUS_ACCESSIBILITY) 定位带无障碍焦点的节点。安卓的指导原则是尊重用户的焦点状态,除非用户动作明确触发,否则不要抢焦点。

审批条件要和配方分开看

如果动作是无人值守发起的,适用哪道执行闸门?2026-07-14 的 Phase 4 检查点上,app-act 派发拒绝无人值守执行,与 intent/dm-reply 的过渡形态一致。后来的目标设计改为:固定配方加固定目标,在注册时一次性视为已同意,并保持 Sidebar 可见。

这个注册设计让 app-act 成为 cli/intent/dm-reply“绝不一键”模式的有意例外,也省掉了 intent/dm-reply 那种运行时目标解析。注册时同意与已实现的无人值守执行闸门,因此代表的是两个不同的设计阶段。

审批时展示的参数,要查哪些值真的进了预览:resolve_app_act_params() 是在一份已经脱敏的预览上解析 {{result}},然后再跑一遍 redact_secrets_text。审批请求携带的是 appActRecipeId 和 appActParamsResolved。

原生路径里还有 LockPromptActivity.kt,用于锁屏唤醒解锁挑战,其实现中已经解决过 2 个真实的并发 bug。

时间线上,2026-07-14 的提交 86862ae3d 加入 appActRecipeId、appActParams、appActMethod 作为 Phase 2 的 schema 基础,appActParams 同时被两份 textForSecretScan 覆盖;当时派发还没读这些字段,app-act 代理会 fail closed,落到 toPlanAction 的默认不支持分支。同日的 bde82f4e6 引入原生 AccessibilityService 层作为 Phase 3,e0ed1217c 把 shell 派发、PlanSpec 和 RN 桥端到端接通,AGENT_SCRIPT_VERSION 从 10 改到 11,与 AgentRuntime.kt 同步。2026-08-29 的 1e42490ae 引入只读快照、配方草稿和用户保存流程;2026-08-31 的 325e9d702 落地了完整移除。

换条路:发帖变成一次 API 请求

对 X 来说,POST /2/tweets 代表已认证用户创建帖子,发帖操作因此是一次 API 请求,而不是用配方去操作目标屏幕。认证要求是通过 OAuth 2.0 PKCE 或三腿 OAuth 获取的用户访问令牌。

对 Bluesky 来说,发帖操作使用 app.bsky.feed.post 记录,text 和 createdAt 是必填字段。发图要在记录引用上传文件之前,额外走一步 com.atproto.repo.uploadBlob。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《爱笑的天使》MV中和李嫣荡秋千的男孩近况曝光:他是嫣然基金救助的第一位唇腭裂小朋友,16年前被意大利人收养,今年21岁的他在大学学化学

《爱笑的天使》MV中和李嫣荡秋千的男孩近况曝光:他是嫣然基金救助的第一位唇腭裂小朋友,16年前被意大利人收养,今年21岁的他在大学学化学

极目新闻
2026-11-21 22:14:14
广西女画家齐丽丽被判死刑崩溃大哭,拒吃断头饭,临终作画

广西女画家齐丽丽被判死刑崩溃大哭,拒吃断头饭,临终作画

天梦见证
2025-04-06 21:50:09
上海惨败揪出最大水货!效率超低 他在场输26分 队记怒喷:可以裁了

上海惨败揪出最大水货!效率超低 他在场输26分 队记怒喷:可以裁了

南海浪花
2026-11-21 07:05:40
中国足球又“出新招”,刚出成绩就换人,克劳琛白疼了!

中国足球又“出新招”,刚出成绩就换人,克劳琛白疼了!

领略快乐真谛
2026-10-04 12:21:16
誓死不投降,63万人拒绝屈服,最终被活活饿死、冻死

誓死不投降,63万人拒绝屈服,最终被活活饿死、冻死

老范谈史
2026-11-10 17:42:14
浙江一国企高管受贿滥用职权被判刑,牵涉诸暨纾困帮扶项目

浙江一国企高管受贿滥用职权被判刑,牵涉诸暨纾困帮扶项目

澎湃新闻
2026-11-21 20:36:41
艾森科特:若多数派组阁失败,将组建少数派政府并靠阿拉伯政党

艾森科特:若多数派组阁失败,将组建少数派政府并靠阿拉伯政党

飘逸的云朵
2026-11-21 16:57:37
48岁加图索神了:率队3-0莱切,连续12轮意甲不败,力压国米领跑

48岁加图索神了:率队3-0莱切,连续12轮意甲不败,力压国米领跑

侧身凌空斩
2026-11-21 23:51:45
曾经是浙江高考理科第一名的他,却选择中文专业,如今开了一家书店:很多书前都贴着一张手写便签,上面写着他的个人感想

曾经是浙江高考理科第一名的他,却选择中文专业,如今开了一家书店:很多书前都贴着一张手写便签,上面写着他的个人感想

大风新闻
2026-11-21 16:00:06
皇马8天3赛 + 迎战阿森纳!穆帅表态:皇马伤病显著减少,密集赛程要靠阵容深度扛住

皇马8天3赛 + 迎战阿森纳!穆帅表态:皇马伤病显著减少,密集赛程要靠阵容深度扛住

福酱的小时光
2026-11-21 09:49:37
1964年,金门雷达兵赵宗礼偷走海军副司令专用登陆艇,单人驾艇直开厦门,领了600两黄金后只做了一件事

1964年,金门雷达兵赵宗礼偷走海军副司令专用登陆艇,单人驾艇直开厦门,领了600两黄金后只做了一件事

栗子熟了呀
2026-11-20 18:03:39
大连名宿盛赞斯坦丘!比肩传奇凯塔,中超MVP无愧冠军领袖

大连名宿盛赞斯坦丘!比肩传奇凯塔,中超MVP无愧冠军领袖

五姑娘台球
2026-11-22 00:36:51
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
Valve:内存涨价前所未有,Steam Machine售价难定

Valve:内存涨价前所未有,Steam Machine售价难定

像素与芯片
2026-11-20 22:55:40
回购潮来了!多家A股公司公告:全部注销!

回购潮来了!多家A股公司公告:全部注销!

数据宝
2026-11-21 08:05:53
弗里克:对皇马巴黎的失利不满意,工作就是让球队赢球

弗里克:对皇马巴黎的失利不满意,工作就是让球队赢球

懂球帝
2026-11-22 00:26:00
纳斯达克给科兴控股发了退市决定函,科兴疫苗再度被热议,当年打完三针的人该怎么理性看待这件事

纳斯达克给科兴控股发了退市决定函,科兴疫苗再度被热议,当年打完三针的人该怎么理性看待这件事

磊子讲史
2026-10-24 15:31:41
新大桥不开工、隧道争议不断!南宁大桥跨江堵局真无解可破吗?

新大桥不开工、隧道争议不断!南宁大桥跨江堵局真无解可破吗?

吃货的分享
2026-11-21 03:03:09
故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

飞云如水
2024-12-28 13:54:42
四川弑母案:法学女杀母分尸,指认现场,笑着说“肉好肥哦”

四川弑母案:法学女杀母分尸,指认现场,笑着说“肉好肥哦”

墨策史
2026-05-02 23:01:31
2026-11-22 01:23:00
字节漫游指南
字节漫游指南
有态度网友ytd
256文章数 135关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
房产
艺术
亲子
家居

旅游要闻

广西南宁:冬日繁花似锦

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版