AI智能体跑一次任务,背后可能是十几次大模型调用。每一次调用都在烧钱,也在拖慢响应。GitHub上的一个项目给出了另一种思路:把智能体的执行过程录下来,编译成确定性的工作流。
这个项目叫Hotpath。它的定位很直接——记录AI智能体的执行轨迹,再把这些轨迹编译成可复用的确定性流程。编译完成之后,大模型只在需要判断的环节出场,其余步骤交给固定流程执行。
![]()
为什么要把执行过程录下来
智能体每次执行任务,往往要反复调用大模型做决策。同样的任务再跑一遍,模型还是要从头推理一遍,成本和时间都重复付出。Hotpath的做法是把第一次的执行路径固化下来,变成一条不需要模型反复介入的流水线。
关键在于它对大模型的使用做了收窄:只保留判断环节。也就是说,流程里那些有确定答案的步骤不再交给模型,模型只负责需要它拿主意的地方。
省的是成本,也是延迟
项目描述里点明了两个目标:降低成本和降低延迟。这两个指标恰好是智能体落地时最容易被卡住的地方——调用次数多,账单就高;每一步都等模型返回,响应就慢。
把确定性流程从模型调用里剥离出来,等于把一部分工作从"每次都要问模型"变成"照着录好的路径走"。模型出场次数减少,成本和延迟自然跟着往下走。
这个思路并不复杂,但它把问题指向了一个具体的位置:不是让模型更聪明,而是让模型少干活。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.