特斯联智能体系统HALI赋能BUTTONS CLIP耳机打造空间智能交互入口

作者：夏天

特斯联打造全新智能体系统——HALI，开创性地引入端到端强化学习技术与高质量行业数据相结合，首次实现去人为编排与定义的工具调用、子任务分解，及多智能体协同，极大提升智能体的自主性、灵活性及泛化能力。

2024年底，特斯联曾在Web Summit Lisbon分享了通用智能体所需具备的四重能力——“类人”思考，长期记忆，“团队”协作，及高维感知能力。HALI的设计亦延循此思路。

特斯联创始人兼CEO艾渝在里斯本Web Summit现场发布智能体Hali

类人思考——攻克智能体的“人为编排”困境

当前市场中多数的智能体产品主要采用传统工作流（workflow）方法——将复杂任务拆分成多个子任务，每个子任务分别处理后再汇总成结果。这类方法需要在系统层面人为提前编排和定义，虽然在一定程度上能取得不错的效果，但限制了模型的自主性和灵活性，难以有效扩展到更多、更复杂任务上，泛化能力和适用性不足。

在此背景下，特斯联提出采用端到端强化学习（Reinforcement Learning）方法，使用高质量数据微调训练出HALI智能体系统，通过奖励函数（reward function）而非依赖人工，引导模型在与工具/设备/环境的交互中不断优化策略。基于该方法，智能体能够直接依据用户的输入进行推理、规划、执行任务，无需外部人工编排系统、定义流程的执行逻辑，将整个任务交给一个模型来完成；智能体模型在内部自行决定外部工具的调用、子任务的分解、自我校验等。

这种方法使智能体系统既获得了良好的简洁性，又增强了系统的鲁棒性、泛化能力和准确性。目前大家看到的智能体产品更多聚焦于产品工程能力上的提升，事实上，模型本身仍有极大的提升空间。引入端到端强化学是特斯联针对提升智能体底层模型能力做出的初步尝试，也是推动机器向类人思考迈出的第一步。

长期记忆——缓解长期记忆带来的成本及效率压力

长期记忆是智能体的核心能力之一，智能体产品对实时性和低延迟也有更高要求。为此，特斯联采用基于知识图谱的数据压缩存储和检索技术，使模型能够既保持超长的记忆，又能快速从历史数据中恢复记忆。

传统的长期记忆主要依靠：1）保存用户的历史对话数据，2）在历史数据中检索出相关信息进行综合处理来实现。这种方法随时间推移面临着诸多问题。一方面，伴随用户数据量的增加，存储成本直线上升，后续检索的上下文长度攀升，导致推理效率下降；另一方面，数据量的增加也关系到检索结果的准确性和实时性，最终影响系统的运行成本及用户体验。

HALI引入的高效数据压缩方法，则可从用户的对话数据中提取关键有效信息，过滤掉其中不重要的部分，从而提高存储数据的信息密度，减少数据的存储量。在此基础之上，HALI通过构建用户的知识图谱，在检索阶段提高系统对用户意图的理解和检索结果的准确性。这种方法得以有效地降低数据存储量，提高检索结果的准确性和速度，降低系统的时延和计算成本，使具备超长记忆能力的陪伴式智能体成为可能。

多智能体协同——应对多智能体协同的时延挑战

能够准确、实时地调用不同工具与模型完成用户需求，是影响智能体产品体验的另一重要因素，也是多智能体系统实现高效协同的关键所在。针对这一目标，特斯联采用并行多模型执行技术，使用微调的移动端小模型和服务器端大模型混合方案，同时保证用户控制指令响应的低延迟及控制指令的准确性。

该方案使用积累的用户数据微调训练用户控制指令理解小模型——小模型可以部署在移动设备端，在端侧对用户的简单指令进行直接识别处理，规避网络回传至服务器导致的延迟，提高系统响应的实时性。同时，对于用户的复杂指令，该方案通过部署在服务器端的高性能大模型来同步理解和执行，以确保对复杂指令的准确处理。

近年来，伴随大语言模型能力的不断突破，作为其能力的延展与补充，智能体正在通过多模态工具整合、复杂决策闭环、动态环境交互，弥补大模型在空间智能中的局限性，推动其从“知识提供者”向“自主行动者”角色的进化。在特斯联看来，智能体产品体验的进阶有赖于底层模型能力及工程能力的“双轮驱动”，这也是特斯联推进智能体系列产品研发的核心策略。尽管当前版本HALI对物理世界的高维感知能力尚且有限，但随着研发的持续推进，HALI将打通更多感知终端，及垂域场景，沉淀更高质量、更多维度的数据，使其有能力理解物理世界更丰富的意涵。

BUTTONS CLIP耳机搭载HALI智能体系统

目前HALI智能体系统已打通移动端及PC端，首款搭载HALI的智能体耳机已于本月发售，向用户开放部分功能体验。