北京
分享至
Google DeepMind 在一篇新论文中，将模型路由问题形式化为一个“潘多拉之盒”问题。这一视角的核心在于，当检查成本高昂时，如何寻找最优的搜索策略。
研究团队在高斯信号模型下推导出了该问题的策略闭式解。这一解能够判断每个专家和输入是否值得进行更细致的估计，从而为路由决策提供理论依据。
核心方法：Pandora's Router
基于上述理论，团队提出了 Pandora's Router 方法。实验覆盖了多个 LLM 基准、检索增强专家以及可变推理时长的 LLM 场景。
结果显示，与昂贵的估计器相比，Pandora's Router 能以远低于其调用频率的成本，达到与穷举估计相当的质量水平。这为降低大模型推理开销提供了一条新思路。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
