调试是发现并修复错误的过程。它在软件工程里是绕不开的关键步骤,在智能体工程里更是如此。LangSmith 的核心能力之一,就是为 LLM 应用提供调试工具。现在,这套工具正在针对新一波“深度智能体”做强化。
深度智能体为什么更难调试
![]()
和简单的 LLM 调用或短工作流不同,深度智能体会运行数分钟,跨越几十甚至上百个步骤,还经常需要与用户反复交互。一次执行产生的追踪数据量非常大,远超人工逐条扫读和推理的范围。当行为异常时,你很难立刻判断是哪一个决策、哪一句提示指令或哪一次工具调用导致了眼前的结果。
因此,把执行数据记录到 LangSmith,再用 AI 分析这些追踪轨迹,就变得重要起来。LangSmith 用“追踪”这个统称来描述智能体执行数据的日志化,数据格式包含运行、追踪和线程。接入追踪的步骤很简单,按照指南操作,几分钟就能完成。
Polly 用对话方式分析线程和追踪
数据进入 LangSmith 后,可以用 AI 分析完整的智能体轨迹,找出问题所在,并给出提示词修改建议。这里有两种主要方式。第一种是 Polly,这是应用内的新功能,允许你与一个智能体对话,分析线程和追踪数据。
你可以用 Polly 来调试、分析并理解追踪中发生了什么。不用再手动扫几十上百个步骤,而是直接向 Polly 提问。这对深度智能体尤其有用,因为它们的追踪更长,失败模式可能分散在多个步骤里。
Polly 还能访问整个线程的信息。线程会跨越多个对话轮次,有时也会跨越数小时甚至数天。一个人很难持续掌握全部上下文,而 Polly 可以做到。
在提示词工作台里直接改提示词
深度智能体的系统提示词是最关键的部分之一。Polly 被调校成一个出色的提示词工程师:你只需要用自然语言描述想要的行为,Polly 就会相应更新提示词。它还可以帮助你在模型调用上定义结构化输出或模拟工具。
如果你更习惯在 IDE 或代码智能体里工作,比如 DeepAgents、Claude Code 等环境,LangSmith 还提供了命令行工具 LangSmith Fetch,可以方便地连接 LangSmith 的追踪或线程。无论是调试智能体、分析对话流,还是从生产追踪中构建数据集,这个命令行工具都能提供快速、灵活的访问方式。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.