改进智能体并不容易。生产环境中的智能体会生成数百万条追踪记录,逐条扫描错误、定位根因并为每个问题编写修复方案,在这种规模下几乎不可行。LangSmith 团队为此构建了内置智能体,能够自主分析生产追踪记录、发现问题、提出修复建议并监控回归。
最新版本中,该内置智能体在内部基准上识别智能体追踪中关键问题的表现提升超过 2 倍,在行业标准基准上编写提示词和代码修复方案的表现提升 25%。它把智能体开发生命周期中的手动流程自动化,帮助工程师更快地从智能体故障走向修复。
![]()
从故障到修复的加速路径
这一内置智能体会在追踪记录中识别问题,将相关事件归组,并提供解决问题所需的关键工件。实际使用中,用户可以借助 LangSmith 走完智能体开发生命周期,该工具在每一步都起到加速作用。自 5 月发布以来,它已扫描超过 6000 万条追踪记录,在客户的智能体中发现超过 20000 个问题,节省了数万小时的工程工作量。
团队持续改进其性能,并通过多个内部基准衡量工作流的不同组成部分。其中 IssueBench 评估其在追踪记录中识别和归组问题的能力,另一个基准则评估其所提修复方案的有效性。自 5 月发布以来,该工具在 IssueBench 上的得分提升超过 2 倍,其修复方案在 Terminal-Bench 等公开基准上的得分提升 25%。
融入现有工作流与成本控制
除性能提升外,新版本还加入了帮助客户在工作流中使用该工具、更高效地分流所识别问题的功能。它现在支持自托管部署,在满足企业安全与合规要求的同时加速智能体改进。其编排在客户 VPC 内运行,并向 LangSmith Intelligence 发起请求。
用户可以通过 Slack 接收新问题提醒,在该工具内直接向 Linear 创建工单,并在自托管 LangSmith 部署中使用它。新增的 Reduced Analysis 模式让用户在成本控制上拥有更大灵活性,同时仍可借助它识别智能体问题。这些改进共同帮助用户聚焦影响最大的问题,并比以往更快地解决它们。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.