北京
分享至
Google DeepMind 在一篇新论文中，将模型路由问题形式化为“潘多拉之盒”问题。这一框架的核心，是在检查成本高昂时如何做出最优搜索决策。
从路由到最优搜索
论文提出，在高斯信号模型下，该策略存在闭式解。这意味着系统可以据此判断，对每个专家和输入，是否值得进行更细化的估计。这一数学基础，为后续的工程实现提供了明确依据。
Pandora's Router 的实际表现
研究团队在多个大语言模型（LLM）基准、检索增强专家以及可变推理时长的 LLM 上测试了该方法。结果显示，名为 Pandora's Router 的方案，能以远低于昂贵估计器的调用频率，达到与穷举估计相当的质量水平。
这一结果意味着，在推理成本敏感的部署场景中，路由策略有机会在保持输出质量的同时，显著降低计算开销。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
