迈向无缝共生：大模型GUI Agent的「屏幕图灵测试」与拟人化之路

一个只会高效执行任务的Agent，真的能在真实的人类数字生态中存活下来吗？

论文作者包括来自上海交通大学的 Jiachen Zhu、Congmin Zheng、Yong Yu、Lingyu Yang、Weinan Zhang、Rong Shan、Weiwen Liu、Jianghao Lin，以及来自卡内基梅隆大学的 Zeyu Zheng。

原论文名称：TURING TEST ON SCREEN: A BENCHMARK FOR MOBILE GUI AGENT HUMANIZATION

https://huggingface.co/papers/2604.09574

https://arxiv.org/abs/2604.09574

多模态大模型（LMMs）的出现从根本上重塑了人机交互的格局。通过赋予系统感知视觉界面并执行复杂交互的能力，我们正在见证从静态脚本向自动化图形用户界面（GUI）Agent的范式转变。这些Agent能够模拟用户，在移动设备APP中执行任务，使人们有望将大量数字化任务交给AI来自动化完成。

然而，随着Agent能力的提升，我们是否思考过：一个只会高效执行任务的Agent，真的能在真实的人类数字生态中存活下来吗？

01

不可调和的矛盾：

GUI Agent面临的生存挑战

论文指出，GUI Agent的广泛部署促成了用户与服务提供商之间的利益冲突，并可能引发自动化Agent与数字平台之间的动态冲突。

▪平台APP的注意力经济 vs Agent的效率至上：现代数字生态系统（如平台APP）严重依赖注意力经济，用户参与度和广告曝光是主要的收入驱动力。相比之下，GUI Agent通常针对效率和目标进行了优化，它们会绕过广告内容并精简交互路径。这种行为对现有平台的商业模式构成了生存威胁。

▪平台防御与用户体验风险：这种利益不匹配，迫使平台部署防御措施。例如直接进行拦截、注入噪声，或部署广告陷阱。这些无差别的防御带来了严重的用户体验风险，例如可能会误伤真实用户，让真实用户无法登录，影响体验。

▪真实案例：一个典型的例子是近期的Doubao移动助手事件。Agent尝试自动化跨应用任务，触发了超级平台（如微信）的严格安全协议，导致了广泛的账号限制和服务封锁。

现有的研究大多聚焦于提升Agent的任务实用性和对抗细微扰动的鲁棒性，但这种视角忽略了这个更为基础的“检测与反检测”范式。 为了在这个生态中实现和谐共存，Agent必须超越单纯的任务准确率与效率，具备反检测能力，即“拟人化（Humanization）”。

因此，这引出了一个顺理成章的问题：

当数字平台开始防御自动化脚本时，大模型GUI Agent该如何证明自己“像个人类”？又该如何科学地评估其拟人化能力？

图1: GUI代理与移动平台之间的对抗格局。

图示展示了三个关键阶段：

（1）主要冲突：对抗性利益促使平台部署诸如登录拦截和广告陷阱等防御措施。

（2）屏幕图灵测试：核心检测机制依赖于区分自然人类轨迹和代理轨迹。

（3）代理人性化：我们提出了一种对抗式的拟人化任务，通过提高代理的拟人化程度来绕过检测，同时保持任务准确性，从而将原始代理转换为拟人化的代理。

02

评测框架：“屏幕图灵测试”与 AHB 基准

面对平台可能会部署的Agent检测器的严密防守，论文将经典的图灵测试的概念延伸到了GUI环境，提出了“屏幕上的图灵测试（Turing Test on Screen）”。

这种交互被建模为一个 MinMax 优化问题：

▪检测器（平台侧）试图最大化人类与Agent行为之间的区分度。

▪GUI Agent（用户侧）试图在不降低任务准确率的情况下最小化这种区分度。

为了量化这一过程，研究团队构建了包含丰富动作事件和传感器事件序列的大规模数据集，并建立了Agent拟人化基准（AHB）。AHB在两个核心维度上对Agent进行评估：

1、拟真度（Imitability）：衡量Agent与人类行为的相似度，通过检测算法的分类准确率（ACC）来反向量化。如果检测器的ACC接近0.5（即随机猜测），则标志着Agent成功通过了测试。

2、实用性（Utility）：监控任务成功率，以确保拟人化策略（如加入噪声、延迟）不会损害Agent的功能性。

通过初步研究，论文揭示了原生（Vanilla）Agent极易被检测出的致命弱点：

▪轨迹呈完美的直线：Agent的轨迹通常是僵硬的线性矢量，缺乏人类手势的生理弧度和运动噪声。

▪触控时间近乎为零：人类的点击由于皮肤弹性呈现高斯分布（0.05秒-0.10秒），而Agent的输入则表现为接近零的脉冲，反映了瞬间的事件注入。

▪异常的动作间隔：人类的动作间隔服从长尾分布且峰值在零附近，而Agent由于显著的推理开销（如mobile-agent-e长达50-80秒），产生了足以被可靠检测的延迟。

图2: 人和代理的滑动轨迹区别

图3:人和代理的时间间隔以及按压时间的区别

03

拟人化策略与效用的权衡

（Pareto Frontier）

针对原生 Agent 机械化特征导致的生存危机，本研究系统性地探讨了从动作生成到执行的全链路拟人化方法。

▪双层架构设计：内部注入与外部包装： 拟人化策略可分为两种架构：一是“内部注入（Internal Injection）”，即直接对大模型进行微调，使其原生Agent具备人类行为先验；二是“外部包装（External Wrapper）”，即在 Agent 生成原始动作（$a_{raw}$）后，通过后处理模块将其转化为拟人化序列（$a_{human}$）再执行。考虑到对各个Agent模型的兼容性，本研究重点评估了四种外部包装策略。

▪多维度拟人化算子：

• 轨迹层（Swipe）：针对线性滑动问题，引入了基于 B-spline 曲线的启发式噪声和基于真实人类数据的“历史轨迹匹配（History Matching）”。后者通过旋转、缩放等仿射变换，将人类真实的运动微震和速度曲线迁移至 Agent 动作中。

• 时间层（Interval & Tap）：利用伪动作注入（Fake Actions）掩盖推理延迟，使 Agent 在闲置期执行微小的滚动或悬停，从而将交互节奏从离散的“脉冲式”拉回到连续的人类分布。同时，通过高斯采样模拟人类皮肤弹性带来的长按压（Longer Presses）效果。

▪拟真度与实用性的帕累托前沿（Pareto Frontier）：研究发现，拟人化并非简单的“模块累加”，而是存在深刻的性能权衡。提高拟真度（Imitability）往往会以牺牲实用性（Utility）为代价。以“伪动作注入”为例，虽然它能将基于时间间隔的检测准确率降低至接近随机猜测的水平（~0.52），但盲目注入的无效动作极易触发预期外的 UI 状态变更，导致Agent的逻辑链断裂。这种现象在复杂任务中尤为明显，构成了 Agent 设计中必须优化的帕累托前沿。

为了验证拟人化策略的严谨性，论文在附录 C 中提供了三大核心定理的数学证明：

▪定理 1：检测器效能的上界： 证明了对于任何给定的 Agent 策略，检测器的最大区分能力（分类损失）受到人类分布与 Agent 分布之间Jensen-Shannon (JS) 散度的严格限制。这意味着，降低检测准确率的本质就是减小两者在行为特征空间上的分布差异。

▪定理 2：平滑策略的有效性： 证明了引入随机平滑内核（如 B-Spline 注入的方差）可以严格降低最大理论可检测性（JS 散度）。这从数学上确认了即便简单的启发式噪声也能起到一定的反检测效果。

▪定理 3：历史匹配的渐进优越性： 证明了随着样本量的增加，历史匹配（History Matching）策略能使 Agent 的行为特征分布收敛于真实的人类分布。该策略在理论上优于单纯的方差注入，是实现高度拟人化的最优路径。

04

实验结果与行为特征分析

本研究在由 21 款 App 构成的 AHB 基准上进行了深度评测，揭示了 GUI Agent 在真实对抗环境下的表现规律。

▪原生 Agent 的透明性： 实验证实，未经拟人化的原生 Agent 在物理交互层面几乎是“透明”的。在提取的 24 维统计特征下，SVM 和 XGBoost 等分类器能够以接近 1.0 的准确率瞬时识别出Agent行为。

▪拟人化策略的实测效能：

• 历史匹配（History Matching）的表现始终稳居首位，在显著降低检测准确率的同时，成功维持了较高的任务成功率。

• 伪动作注入表现出极强的反检测能力，在社交媒体集群中将检测准确率降低至 0.52 附近。然而其副作用也最为明显，在行程规划任务中由于干扰了 UI 逻辑，使任务成功率从 0.75 暴跌至 0.15。

▪特征拟人的难易分层：

• 最易拟人化的特征：路径形状特征（如最大偏离度 maxDev）。通过数学变换，这些指标的辨识度能迅速从 0.99 降至 0.55 左右的随机水平。

• 最具挑战的瓶颈：端点精度（Endpoint Precision）。Agent 为了精准点击 UI 控件中心，其落点散布极度集中，这与人类随意的点击习惯形成了鲜明对比，成为目前最难拟人化的机械印记之一。

05

结语

《Turing Test on Screen》不仅仅是一个技术基准，它更是数字平台与自主Agent之间长期演化军备竞赛的序曲。它促成了一种新的生存导向设计理念的转变：从单一追求效果与效率，转向任务准确率与行为拟人化的双目标优化。

正如论文总结，随着“屏幕上的图灵测试”成为数字化Agent的必然要求，展现类似人类的行为细微差别不再仅仅是美学特征，而是Agent生存的功能必然性。如果我们希望未来的Agent能够在这个充满对抗的数字世界中无缝共生，这项研究无疑为我们提供了关键的行动指南。

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。