智猩猩AI整理
编辑:知知
让Agent接手一家尚未完工的网上商店,工作会从补齐商品浏览、登录、购物车和支付功能,一直延伸到处理支付失败与重试、避免重复订单,以及验证重启后的状态恢复。随着任务推进,新的测试可能暴露早先实现中的问题,促使Agent重新检查依赖、调整方案,再验证完整购买流程。探索、诊断、实现与验证,就这样在同一个目标下反复交织。
想要使agent获得这样持续自主工作的能力,并不容易。因此,来自中国科学技术大学、阿里巴巴DreamX的研究团队提出了TerminalHorizon,一个面向长程终端智能体的全自动数据合成引擎。研究的核心想法是:高质量的长程经验,应当呈现探索、判断、策略调整与验证等行为模式如何围绕同一目标跨阶段纠缠、衔接。
围绕这一思路,团队构造了覆盖25个专业领域的1,535个可执行任务环境,收集并筛选出2,852条训练轨迹。使用这些轨迹微调Qwen3.5-27B,得到的TerminalHorizon-27B在全部12项评测中取得提升,Terminal-Bench 2.1从46.82%提升至60.67%。
![]()
![]()
图1 短轨迹可以示范局部操作,教会怎么使用终端工具,而长程轨迹则呈现探索、策略修订与验证等行为模式如何共同推动任务完成。
01
行为模式如何贯穿
一次完整求解
短轨迹也能呈现有用的探索与纠错,但较为稀少和局限。长程任务进一步要求同一种行为模式跨越多个阶段:计划会随着证据积累不断修订,中间结果会成为后续工作的前提,后期验证发现的问题又可能触发对早期判断的重新检查。模型需要从训练中看到这些过程如何延续,并与其他模式共同推动任务完成。
论文将这些组织求解过程的方式称为智能体行为模式(agentic behavioral patterns),归纳为五类、共27种:信息探索与判断、诊断与纠错、构造与工作推进、验证与结果确立,以及策略与执行协调。
这些模式并不是一套必须按顺序执行的固定流程。任务推进到哪里、出现了什么证据,会影响智能体何时重新诊断、改变实现或补充验证。TLS网关修复案例就呈现了这种联系。
![]()
图2 TLS网关修复轨迹中的行为联系。上方是求解片段,下方展示不同模式如何跨越多个步骤并相互衔接。摘自论文附录案例图的(a)部分。
智能体先比较直连与重试路径,修复路由问题;随后后端暴露出客户端身份缺失,促使它补齐身份配置。此时客户端仍收不到响应,但网关日志已经记录了84字节的数据,新的证据又将诊断引向请求读取与连接处理。
实现、检查与纠错由此反复交织。最终的回归测试同时检查响应能否送达,以及无效客户端是否被拒绝。这样的轨迹让模型看到:上一轮行动产生的证据,如何决定下一轮要做什么。
02
让行为模式在任务中
发生并跨阶段延续
生成这样的数据有两个挑战。首先,任务描述虽然复杂,初始材料却可能已经完成部分分析或实现,使预期的行为模式没有充分出现。其次,即使模式已经出现,增加难度或交互轮数,也未必能让它跨越更多阶段。TerminalHorizon用两个阶段分别处理这两个问题。
第一阶段是挑战引导的长程合成。系统先确定真实工作需求,再构造指令、环境、参考解和验证器。随后,一个未参与构造的独立智能体只使用公开指令与环境完成任务。系统对照实际轨迹与预期工作,追查哪些探索、实现或验证被初始材料提前简化,据此重建环境,并再次执行检查。
![]()
图3 TerminalHorizon整体流程。
第二阶段是渐进式程度扩展。系统沿同一目标引入新要求,让新增工作依赖此前的判断、行动和结果。例如,酒店活动排期逐步加入人员转场、场地关闭和设备运输约束。一个场地变更会牵动其他活动;设备看似空闲,也可能因拆卸、运输与安装耗时而赶不上下一场。Agent需要根据这些反馈重新调整原有安排。
在这种任务中,早期判断影响后续实施,后续验证也可能要求回到前面修正。长程经验的价值,体现在这些跨阶段依赖所承载的持续求解工作中。
03
25个专业领域中的
长程交互经验
TerminalHorizon自动生成1,535个任务环境,覆盖软件工程、芯片电子、物理天文、教育评估等25个专业领域。团队使用DeepSeek-V4-Pro-0813作为教师模型、Terminus2作为执行框架,为每个环境采集两条轨迹,经过筛选保留2,852条,形成TerminalHorizon-3K。训练前还进行了基准去污染检查。
![]()
图4 环境与轨迹的综合分析,包括专业领域覆盖、初始材料、交互跨度和行为模式多样性。
在相同教师协议与设置下,论文从每种方法随机抽取300个任务重新执行。图中其他方法的平均交互长度为3.87至15.60轮,TerminalHorizon为52.82轮,中位数为40轮,90分位为98轮。其轨迹平均包含8.6种核心行为模式,由终端反馈串联的最长连续动作链中位数为25轮,呈现了持续利用反馈推进工作的经验。
![]()
图5 统一教师协议下的交互轮数比较,较长的过程同时包含持续的动作与环境反馈。
04
不到3K条轨迹带来
12项评测提升
团队在TerminalHorizon-3K上对Qwen3.5-27B进行监督微调。得到的TerminalHorizon-27B在终端任务、现实生产力与通用推理三类、共12项评测上均超过基础模型。
![]()
论文原表 Table 1 Terminal-Bench 1.0与2.0结果及已有方法对比。†标记的基础模型成绩来自官方模型卡。
![]()
论文原表 Table 2 终端任务、现实生产力与通用推理结果,保留AutomationBench的Pass Rate和Partial两项指标。括号内为百分点提升。
以Qwen3.5-27B为基础模型、Terminus2为执行框架时,Terminal-Universe-27B使用约32K条轨迹,在Terminal-Bench 2.0上得分52.8%;TerminalHorizon-27B使用2,852条轨迹,得分55.8%。按轨迹条数统计,后者使用了不足十分之一的数据,并高出3.0个百分点。
![]()
图6 不同模型规模与训练数据量下的结果。左图为三种模型规模的提升,右图为训练轨迹数量增加时的表现。
长程轨迹的训练收益也体现在不同模型规模上。如图6左侧所示,在Terminal-Bench 2.1上,Qwen3.5-27B、35B-A3B和122B-A10B经过训练后,成绩分别从46.82%、39.70%和49.06%提升至60.67%、52.81%和64.04%,对应提升13.85、13.11和14.98个百分点。三种配置均取得两位数的百分点提升,表明这些长程轨迹所承载的行为经验,在不同规模的模型上都具有训练价值。
增加训练数据后,模型表现仍在持续提升。如图6右侧所示,使用1,000条轨迹训练时,27B模型在Terminal-Bench 2.1上的成绩已达到57.30%;增加至2,000条时,成绩提升至58.43%;使用全部2,852条轨迹后,进一步达到60.67%。在已测试的数据范围内,性能尚未出现明显饱和,提示继续扩充高质量的长程轨迹,仍有望带来进一步收益。
05
12小时研究预算下
的RSI案例
标准基准之外,团队在RSI-Exam中分析了点云融合、仓储机器人路径优化、潮汐海床摩擦场反演和2048策略优化四类任务。每个任务提供最多12小时的研究预算,每个模型各运行一次。智能体可以自行决定提前提交并结束研究,研究期间看不到隐藏评测结果。
在这四次运行中,基础模型都在预算耗尽前自行停止,其中三个案例在约1.3小时以内就结束了研究:点云融合约12.1分钟,潮汐反演1.12小时,2048策略优化1.28小时。而TerminalHorizon-27B在四个案例中均持续研究至12小时预算结束,这意味着我们的模型获得了持续探索、研究的能力。
点云融合案例展示了基础模型为什么认为可以提前提交。它将其他视图移向参考视图,并保留靠近参考视图的点,在自建代理指标上取得0.8994的平均F-score,于是判断结果已经很好,在约12.1分钟后自行结束。但接近一个参考视图,并不能证明完整场景已被重建:其他视图独有的表面可能已经被遗漏。
TerminalHorizon-27B早期也得到过约0.989的高代理分数,但它继续检查选中的点来自哪些视图,质疑指标是否只是在奖励复制参考视图。随后引入的留一视图诊断暴露了覆盖不足,推动它改进跨视图对齐、进行全局精修并按置信度选点。这一过程同时修订了求解方法和检验进展的实验。最终隐藏评测的平均F-score由基础模型的48.04提升至77.68,归一化奖励由21.93提升至48.96。
![]()
图7 RSI案例中点云融合的研究过程。
![]()
论文原表 Table 5 四个RSI案例的最终隐藏集得分与实际研究时长。得分为原生归一化奖励×100,研究时长不含环境准备与最终验证。
06
为持续自主工作
提供训练经验
TerminalHorizon将长程数据的设计重点放在行为模式及其跨阶段关联上:探索获得的证据支持后续判断,验证发现的问题引导策略调整,阶段性成果成为继续工作的基础。相应的环境也需要保留这些行为背后的实质工作。
项目已开放任务环境、训练轨迹与模型,方便研究者进一步探索长程经验如何影响智能体的自主工作能力。欢迎阅读论文及使用开源数据。
关注+星标,获取AI前沿进展与开源一线动态
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.