网易首页 > 网易号 > 正文 申请入驻

中科院团队打造AI专属交互界面,任务成功率提升67%

0
分享至

在日常使用电脑时,看着屏幕、点击鼠标是再自然不过的基本操作。但这种对人类明明很容易的操作方式,却成为 AI 的巨大挑战:它们视力差、动作慢、不擅长看也不擅长点。

几十年来,操作系统的图形用户界面(GUI)一直都是为人类使用而设计,从未考虑有一天,大语言模型(LLM)会成为操作系统新的使用者。

要知道,GUI 智能体与人类在能力上存在巨大的差异,完美适配人类能力特征的 GUI,反而非常不适合 LLM 使用。

LLM 擅长语义规划、定目标、决策要“做什么”,而 GUI 逼着使用者给出具体“怎么做”的详细步骤。但是,LLM 恰恰非常不擅长这种低层次、繁琐的机制性操作,因此很容易出错。

近期,中国科学院软件研究所基础软件与系统重点实验室团队提出了一种新的思路,他们为操作系统引入了新的抽象,为大模型量身定制了目标导向接口(GOI)。通过将 GUI 操作转化为声明式(Declarative)原语,显著提高了 LLM 在自动化计算机任务中的表现。

中国科学院软件研究所陈海波教授对 DeepTech 表示,GOI 的设计理念有望为领域带来新的思考——系统或程序本身在设计时即假设用户可能是 LLM,并提供 LLM 使用的接口,而非强迫 LLM 模仿人类,去使用那些为人类设计的接口。

简单来理解,GOI 让 LLM 更像是“指挥官”而非“操作员”。传统微调或重训练的方法,就像要求大模型模仿人类,学习掌握处理机制性操作的能力;而声明式的 GOI 就像一位专业的“执行助理”,接管了 LLM 不擅长的机制操作。指挥官(大模型)专注于发挥本就擅长的能力,下达“想要什么结果”(策略),GOI 这个“助理”会自动处理所有底层的导航和交互(机制)。

GOI 与传统接口最实质的不同在于:传统接口通常默认接口的使用者为人类,而 GOI 是让接口更适合 LLM 使用,对 LLM 更友好。研究人员在 Windows 上的微软 Office 套件(Word、PowerPoint、Excel)上评估了 GOI 的有效性。

结果显示,与领先的基于 GUI 的代理基线相比,GOI 将任务成功率提升了 67%,步骤减少了 43.5%。值得注意的是,GOI 在 61% 以上的成功任务中,仅用一次 LLM 调用即完成了相关任务。

GOI 当前基于 Windows 系统的 UIA 可访问性机制实现,其设计理念同时具有跨平台通用性,类似的可访问机制接口在 macOS、Linux(例如 Ubuntu)、Android 等系统中均可提供。据介绍,GOI 在这些系统上落地,更多的是一种工程上的开发适配。

对于游戏和部分媒体应用来说,这类应用程序为达到更高的性能,采取了自绘和自定义的方法,并没有全部使用操作系统通用的可访问性类型和模式。因此,GOI 在这类应用上的实现需要开发者进行配合。

相关论文以《一种提高计算机使用代理效率的声明式大语言模型友好界面的案例研究》(A Case for Declarative LLM-friendly Interfaces for Improved Efficiency of Computer-Use Agents)为题发表在预印本网站 arXiv[1]。论文作者包括中国科学院软件研究所基础软件与系统重点实验室陈海波教授、李明煜副研究员和王远博士研究生。

研究团队首先从接口设计的角度分析问题。具体而言,为人使用设计的 GUI,对用户能力做了四个关键假设:用户视力好、操作快,但短期记忆空间小且不擅长写代码。

这些假设对 LLM 并不成立。LLM 视力差、推理慢,但是上下文空间巨大,且擅长结构化输出。这种错配使得 LLM 使用 GUI 时遇到了很多挑战。例如,在使用 GUI 时,功能不能被直接调用,而是需要输出长动作链进行“导航”和“交互”。

陈海波举例说道,这就好比 LLM 去打车,命令式的 GUI 需要告诉司机“前方直行 100 米,第一个红绿灯路口右转,靠右前方行驶 50 米”,而不能直接声明“目的地”。处理这些细粒度且繁琐的步骤,恰恰是 LLM 不擅长的。

该团队的一个很自然的思考是:是否可以将 GUI 使用中 LLM 不擅长的部分交给操作系统,而非由 LLM 负责一切呢?

基于此,他们发现 APP 的使用可以分为策略(policy)机制(mechanism)两部分。简单来理解,策略就是“做什么”:分析完成用户任务需要用到什么功能;机制则是“怎么做”:如何通过一步步的 UI 导航和交互,触发这些功能。

另一方面,研究人员将 GUI 的导航和交互抽象为访问(access)、状态(state)、观测(observation)三类声明式原语。这样,LLM 不再需要输出具体、繁琐且易错的导航和交互步骤,而是直接通过声明式原语声明期望的结果。

“正是这三类声明式原语将策略和机制解耦,允许 LLM 专注于策略的处理,规避了大量来自机制层面的失败和交互开销,因此带来了准确率和效率的大幅提升。”陈海波表示。

以幻灯片为例,用户的需求是“将 PPT 背景全部设置为蓝色”。在这一任务中,策略(功能编排)指的是使用“蓝色”和“应用到全部”这两个功能,而机制(导航和交互)是点击“设计”“设置背景格式”“纯色填充”“颜色”“蓝色”和“应用到全部”,以触发实际的功能。

另一个例子是,用户要求将“滚动条移动到靠近结尾的位置”。在这一任务中,策略指的是确定一个最终位置,比如 80%,而机制(交互)指的是选中滚动条、保持按住不释放,多次拖拽和移动并观察最终状态是否符合预期,直到移动到目标位置。


(来源:资料图)

GUI 的设计耦合了策略与机制,应用功能的使用前置依赖于导航和交互,无法被直接访问。当使用 GUI 时,LLM 不仅面临着冗长的动作链条,过多的调用次数,还经常在导航和交互中犯错,导致任务失败。

“虽然 LLM 不擅长处理机制,但我们发现,导航和交互两个部分存在很强的确定性,这部分工作可以由算法确定性完成,不必 LLM 参与。”陈海波表示。

具体来说,应用控件间的转换关系是确定的,可以被建模为有限状态机;同时,在可访问性下,控件可被归类为有限数量的 41 种控件类型和 34 种控制模式。这为策略与机制的解耦提供了机会。

解耦后的结果,正是“声明式”的交互范式。在这种范式下,LLM 直接指定期望的结果,而不是输出完成结果的具体动作。例如,LLM 可以直接声明visit(“蓝色”“应用到全部”),而非输出具体的导航路径。

LLM 可以直接调用set_scrollbar_pos(80%)以设置最终位置,而非通过迭代交互以完成这一结果。这种声明式接口,允许 LLM 专注于语义推理,而非自身不擅长的细粒度的底层操作。

研究中的一个挑战是,接口的设计必须考虑 LLM 的独特能力特点,尤其是 LLM 不完美的指令遵从(instruction-following)。比如,虽然研究人员在 prompt 中要求 LLM 直接指定期望访问的控件,而非输出访问这个控件所需要的具体导航步骤,LLM 仍有可能在回答中输出具体的导航路径,这会带来更多错误的可能性。

为解决该问题,他们对非叶子节点进行了整体过滤,接口会自动忽略这些导航节点,只保留 LLM 输出中的叶子节点,以确保 GOI 完全接管控件的导航过程。

总结来说,“声明式”协作范式的初衷,是通过重构接口设计以简化 LLM 的计算机使用难度,允许 LLM 充分发挥自身所长,规避自身能力短板,最终实现生产力的实质提升。

在这一范式下,人类可以简洁地用自然语言表达自己的需求,而 LLM 和系统则能力互补。其中,LLM 专注于无法被确定性处理的语义推理任务,系统则负责处理可以被确定性解决的机制性任务。

研究团队认为,LLM 时代下,操作系统正在加速演进。在未来,操作系统可能会原生支持这种声明式接口,支撑一种模型原生的操作系统设计 [2]。例如,在官方提供的应用开发框架中,集成自动构建导航拓扑的能力,而不是将应用程序视为“黑盒”进行外部探索以完成建模。最终,这种声明式接口可能内化于操作系统的构建中,从而为“LLM 智能体”这一全新的计算机用户提供原生支持。

参考资料:

1. A Case for Declarative LLM-friendly Interfaces for Improved Efficiency of Computer-Use Agents. Yuan Wang, Mingyu Li, Haibo Chen . https://arxiv.org/abs/2510.04607.

2. 模型原生操作系统:机遇、挑战与展望. 陈海波、夏虞斌、陈榕、王肇国、糜泽羽、古金宇. 中国计算机学会通讯. 2025 年第 2 期

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

移动挡拆
2026-11-17 10:44:16
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

曹说体育
2026-11-17 11:37:11
掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

鱼崖大话篮球
2026-11-17 12:39:27
詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

醉卧浮生
2026-11-17 11:13:22
与高盛唱反调?大摩展望2027中国股市:A股优于离岸,港股面临流动性挑战

与高盛唱反调?大摩展望2027中国股市:A股优于离岸,港股面临流动性挑战

华尔街见闻官方
2026-11-17 11:56:33
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

汉史趣闻
2026-11-17 09:30:11
突发!黄仁勋大反击!

突发!黄仁勋大反击!

财经要参
2026-11-17 07:30:09
536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

极目新闻
2026-11-16 22:53:06
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

裕丰娱间说
2026-11-17 11:34:30
缺德到这种程度,已经不是讽刺的问题了!

缺德到这种程度,已经不是讽刺的问题了!

胖胖说他不胖
2026-11-17 09:00:28
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
高层为何在此时考察中山?

高层为何在此时考察中山?

元淦恭说
2026-11-16 22:15:22
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

每日经济新闻
2026-11-17 11:55:04
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

夜话奇谭
2026-11-17 13:37:52
2026-11-17 15:51:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17498文章数 515367关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

健康
手机
亲子
数码
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

华为麒麟9050显示技术揭秘!普通视频也能变全彩:画质、防窥双升级

亲子要闻

当你有个听不懂反话的儿子

数码要闻

别等了!锐龙处理器历史最低价已杀疯,抄底选购吧

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版