网易首页 > 网易号 > 正文 申请入驻

树搜索也存在过思考与欠思考?腾讯AI Lab与厦大高效树搜索框架

0
分享至


通讯作者包括腾讯 AI Lab研究员宋林峰与涂兆鹏,以及厦门大学苏劲松教授。论文第一作者为厦门大学博士生王安特。

本文探讨基于树搜索的大语言模型推理过程中存在的「过思考」与「欠思考」问题,并提出高效树搜索框架——Fetch。本研究由腾讯 AI Lab 与厦门大学、苏州大学研究团队合作完成。

  • 论文题目:Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls
  • 论文地址:https://arxiv.org/abs/2502.11183

背景与动机

近月来,OpenAI-o1 展现的卓越推理性能激发了通过推理时计算扩展(Test-Time Computation)增强大语言模型(LLMs)推理能力的研究热潮。

该研究领域内,基于验证器引导的树搜索算法已成为相对成熟的技术路径。这类算法通过系统探索庞大的解空间,在复杂问题的最优解搜索方面展现出显著优势,其有效性已获得多项研究实证支持。

尽管诸如集束搜索(Beam Search)、最佳优先搜索(Best-First Search)、A*算法及蒙特卡洛树搜索(MCTS)等传统树搜索算法已得到广泛探索,但其固有缺陷仍待解决:树搜索算法需承担高昂的计算开销,且难以根据问题复杂度动态调整计算资源分配。

针对上述挑战,研究团队通过系统性解构树搜索的行为范式,首次揭示了该推理过程中存在的「过思考」与「欠思考」双重困境。

「过思考」与「欠思考」

研究团队选取最佳优先搜索算法为研究对象,基于 GSM8K 数据集开展系统性研究。实验设置中逐步增加子节点拓展数(N=2,3,5,10)时发现:模型性能虽持续提升但呈现边际效益递减规律(图 a),而计算开销却呈指数级增长(图 b),二者形成的显著差异揭示出传统树搜索在推理时计算扩展的效率瓶颈。

通过深度解构搜索过程,研究团队首次揭示搜索树中存在两类关键缺陷:

  • 节点冗余:由于大语言模型采样机制的随机性,搜索树中生成大量语义重复节点(图 c)。量化分析采用基于语义相似度的节点聚类方法,定义重复度为平均类内节点数,该指标与计算开销呈现显著正相关,此现象直接导致算法重复遍历相似推理路径,形成「过思考」困境;
  • 验证器不稳定性:引导搜索的验证器存在一定的鲁棒性缺陷,节点评分易受推理路径表述差异影响而产生非必要波动(图 d),在复杂数学推理场景中尤为明显。这种不稳定性可能引发搜索路径的局部震荡,迫使搜索算法过早终止高潜力路径的深度探索,从而产生「欠思考」现象。

Fetch

为应对「过思考」与「欠思考」问题,研究团队提出适用于主流搜索算法的高效树搜索框架 Fetch,其核心包含两部分:

  • 冗余节点合并(State Merging):通过合并语义重复的节点,有效避免冗余节点的重复探索。
  • 验证方差抑制(Variance Reduction):采用训练阶段与推理阶段的双重优化策略,降低验证器评分的非必要波动。

冗余节点合并

实验结果

实验结果表明,Fetch 框架在跨数据集与跨算法测试中均展现出显著优势。例如,对于 BFS 及 MCTS 算法,相较于基线,Fetch 计算开销降低至原有的 1/3,并且保持 1~3 个点的准确率提升。

当测试时计算规模逐步提升时,Fetch 带来的增益也更加显著,验证了框架的效率优势。

总结

本研究由腾讯 AI Lab 联合厦门大学、苏州大学科研团队共同完成,首次揭示基于树搜索的大语言模型推理中存在的「过思考-欠思考」双重困境。

分析表明,该现象的核心成因源于两个关键缺陷:搜索树中大量语义冗余节点导致的无效计算循环,以及验证器评分方差过高引发的探索路径失焦。二者共同导致树搜索陷入计算资源错配困境——即消耗指数级算力却仅获得次线性性能提升。

针对上述挑战,研究团队提出高效树搜索框架 Fetch,其创新性体现在双重优化机制:

  • 冗余节点合并机制,实现搜索空间的智能压缩;
  • 验证方差抑制机制,保障搜索方向稳定性。

结果表明,Fetch 在 GSM8K、MATH 等基准测试中展现出显著优势:相较传统树搜索算法,框架实现了计算效率和性能的同步提升。该成果为提升大语言模型推理效能提供了新的方法论支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

林杰论事
2026-11-22 03:12:35
它是“菜中人参”,小雪前后遇到别手软,买10斤囤起来,随吃随取,蒸一蒸炖一炖,软糯香甜,全家都爱吃!

它是“菜中人参”,小雪前后遇到别手软,买10斤囤起来,随吃随取,蒸一蒸炖一炖,软糯香甜,全家都爱吃!

江江食研社
2026-11-21 09:30:35
确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

极目新闻
2026-11-21 19:38:23
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

可达鸭面面观
2026-11-22 09:42:31
诈骗金额1.2亿!低保证金噱头让投资者深陷圈套

诈骗金额1.2亿!低保证金噱头让投资者深陷圈套

极目新闻
2026-11-22 08:24:25
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
破坏家庭,不正当交流!跑步被贴上负面标签

破坏家庭,不正当交流!跑步被贴上负面标签

跑者排球视角
2026-11-21 08:36:33
经济危机的盖子捂不住了,放水的时刻越来越近

经济危机的盖子捂不住了,放水的时刻越来越近

荆棘阿甘
2026-11-21 18:07:54
为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

大稻网络科技
2026-11-21 15:51:21
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
穆帅神换人主导逆转,贝林破门超级替补绝杀,皇马2-1塞尔塔9连胜

穆帅神换人主导逆转,贝林破门超级替补绝杀,皇马2-1塞尔塔9连胜

钉钉陌上花开
2026-11-22 06:02:34
出大事了!澳洲银行,突然大量关停中国人账户!

出大事了!澳洲银行,突然大量关停中国人账户!

澳洲财经见闻
2026-11-21 15:10:02
385米!胡塞打出超高战绩

385米!胡塞打出超高战绩

星火聊天下
2026-11-21 14:23:43
特朗普回应“普京是朋友”:他为美国提供助力!

特朗普回应“普京是朋友”:他为美国提供助力!

看看新闻Knews
2026-11-22 08:58:54
特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

大风新闻
2026-11-21 09:33:02
64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

山间听雨
2026-11-20 19:27:54
16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

大风新闻
2026-11-22 10:27:07
第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

大风新闻
2026-11-21 11:57:02
2026-11-22 11:20:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
游戏
艺术
数码
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

世界十大著名宫殿盘点:中国独占两席

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版