网易首页 > 网易号 > 正文 申请入驻

LangSmith 调试深度智能体:用 Polly 分析追踪数据并优化提示词

0
分享至

调试是发现并修复错误的过程。在软件工程中,这一步已经足够关键,而在智能体工程里,它的重要性还要更高。LangSmith 的核心能力之一,就是为 LLM 应用提供调试工具。

现在,LangSmith 正在进一步解决新一代“深度智能体”带来的调试难题。这类智能体与简单的 LLM 调用或短工作流不同,它们会运行数分钟,跨越几十甚至几百个步骤,并且经常需要与用户进行多次来回交互。


深度智能体为什么更难调试

一次深度智能体的执行会产生大量追踪信息,信息量远超人工快速浏览和推理的范围。当出现问题时,很难直接判断是哪一个决策、哪一条提示指令或哪一次工具调用导致了当前行为。

这正是使用 LangSmith 进行追踪,并借助 AI 分析这些追踪数据变得重要的原因。要调试一个智能体,首先需要看清它内部发生了什么,而追踪就是实现这一可见性的方式。

LangSmith 用“追踪”来统称将智能体执行数据记录到平台的过程。数据格式由 runs、traces 和 threads 组成。追踪的设置非常简单,按照指南操作,几分钟内就能完成。

用 Polly 分析完整智能体轨迹

当应用数据进入 LangSmith 后,就可以利用 AI 分析完整的智能体运行轨迹,弄清楚发生了什么,并据此提出提示词更新建议。主要有两种方式。

Polly 是 LangSmith 新推出的应用内功能,允许用户与一个智能体对话,从而分析 thread 和 trace 数据。用户可以用 Polly 来调试、分析并理解 Trace 中发生的情况,而不必手动扫描几十或几百个步骤。

例如,可以直接向 Polly 提问,让 AI 帮助定位问题。这种方式对深度智能体尤其有用,因为它们的追踪通常更长,失败模式可能分散在多个步骤之中。

除了单个 Trace,Polly 还能访问整个 thread 的信息。Thread 会跨越多个对话轮次,有时还会持续数小时甚至数天,人工很难完整掌握所有上下文。

在提示词演练场中优化系统提示

系统提示是深度智能体最重要的组成部分之一。Polly 被调校为一名出色的提示词工程师。用户只需用自然语言描述期望的行为,Polly 就会相应更新提示词。Polly 还可以帮助定义结构化输出,或在模型调用上模拟工具。

如果更习惯在 IDE 或代码智能体中工作,例如 DeepAgents、Claude Code 等,LangSmith 还提供了 CLI 工具 LangSmith Fetch,可以方便地连接 LangSmith 的 traces 或 threads。无论是调试智能体、分析对话流,还是从生产追踪数据构建数据集,这个 CLI 都能提供快速、灵活的访问方式。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
抬尸堵门大结局!1万9全额返还店家,对施压家属无任何处罚

抬尸堵门大结局!1万9全额返还店家,对施压家属无任何处罚

垛垛糖
2026-08-26 11:19:58
特朗普欲将安大略湖更名为“美国湖” ,加拿大表不满:他(特朗普)应该管好自己的国家,他在干涉其他国家

特朗普欲将安大略湖更名为“美国湖” ,加拿大表不满:他(特朗普)应该管好自己的国家,他在干涉其他国家

都市快报橙柿互动
2026-08-26 13:31:27
她是广东羽毛球界的骄傲,手握6个世界冠军,64岁在广州开训练营

她是广东羽毛球界的骄傲,手握6个世界冠军,64岁在广州开训练营

娱说瑜悦
2026-08-25 14:00:45
六台:亚马尔感觉“受伤了”,他更衣室里最好的朋友都要离开

六台:亚马尔感觉“受伤了”,他更衣室里最好的朋友都要离开

懂球帝
2026-08-26 15:40:13
“牛市旗手”重仓股来了

“牛市旗手”重仓股来了

中国基金报
2026-08-26 23:32:59
我被医生判定无法有自己孩子,妻子却告诉我:我怀孕了!我没多说,等孩子出生做完亲子鉴定我彻底愣了

我被医生判定无法有自己孩子,妻子却告诉我:我怀孕了!我没多说,等孩子出生做完亲子鉴定我彻底愣了

晓艾故事汇
2026-08-04 21:04:27
台湾新党副主席发言点燃全场:让解放军保护台湾

台湾新党副主席发言点燃全场:让解放军保护台湾

看看新闻Knews
2026-08-23 16:38:02
内鬼浮出水面!柬埔寨电诈园区幕后黑手,竟是我们信任的商会会长

内鬼浮出水面!柬埔寨电诈园区幕后黑手,竟是我们信任的商会会长

梦史
2026-06-22 23:45:10
许家印留下2.44万亿巨债,如果世界首富马斯克来还,要还多久?

许家印留下2.44万亿巨债,如果世界首富马斯克来还,要还多久?

许三岁
2026-08-21 17:56:53
老了才明白:人过80,永远别在儿女面前说这几句话,越不说越有福

老了才明白:人过80,永远别在儿女面前说这几句话,越不说越有福

朗威谈星座
2026-07-29 01:40:52
为何毛主席不提“先富带后富”?共同富裕,不同时代的不同答卷

为何毛主席不提“先富带后富”?共同富裕,不同时代的不同答卷

王嚾晓
2026-08-25 17:37:03
特朗普称福特是走狗,福特回敬一句粗口!断电断矿,看谁先崩!

特朗普称福特是走狗,福特回敬一句粗口!断电断矿,看谁先崩!

叶老四
2026-08-26 10:19:41
餐馆老板懵了:三十五度的天,顾客不喝饮料,全喝矿泉水,饮料完全卖不动

餐馆老板懵了:三十五度的天,顾客不喝饮料,全喝矿泉水,饮料完全卖不动

捣蛋窝
2026-08-15 23:02:34
95年我去邻居家还农具,他女儿把门一关:正好,我这块地也该松松

95年我去邻居家还农具,他女儿把门一关:正好,我这块地也该松松

千秋文化
2026-08-25 20:21:35
俄外长警告英“参战”后果,英首相回应:将百分之百支持乌克兰

俄外长警告英“参战”后果,英首相回应:将百分之百支持乌克兰

流史岁月
2026-08-22 11:02:16
妻子瞒着老公跟男闺蜜出游,机场刷到老公视频,他正在办婚礼

妻子瞒着老公跟男闺蜜出游,机场刷到老公视频,他正在办婚礼

温情故事匣
2026-03-24 15:01:54
网红“听泉赏宝”突然退出,荣华富贵一场空

网红“听泉赏宝”突然退出,荣华富贵一场空

广告案例精选
2026-08-02 15:03:29
郑丽文凉凉,台湾新党率先支持台湾和平统一,拥护一国两制

郑丽文凉凉,台湾新党率先支持台湾和平统一,拥护一国两制

咸鱼金脑袋
2026-08-26 08:53:01
捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

吃瓜盟主
2025-08-30 15:53:04
扬州328国道路口有腥臭气,真相来了!

扬州328国道路口有腥臭气,真相来了!

新浪财经
2026-08-26 13:52:49
2026-08-27 02:36:49
码上闲叙
码上闲叙
有态度网友ytd
285文章数 88关注度
往期回顾 全部

科技要闻

DeepSeek被曝前七个月收入4.75亿元

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

体育要闻

兑现五年之约,含梗量最高的世界冠军诞生

娱乐要闻

包文婧当初担心包贝尔出轨,预言成真

财经要闻

洪灏:人民币是全球最被低估的货币

汽车要闻

搭华为ADS 5/增程纯电可选 阿尔法T7预售13.78万起

态度原创

房产
教育
数码
本地
公开课

房产要闻

煤老板出手,海口又要杀出一个超级大盘!

教育要闻

13岁考入帝国理工,亚洲神童一家让英国人彻底凌乱

数码要闻

苹果免费升级部分Mac mini订单至M6芯片新机

本地新闻

无印良品竟是桐乡造?这座小城藏着一个刀具帝国

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版