动态模型路由：AI时代的SD-WAN式演进

Stripe Inc.计划收购OpenRouter Inc.一事，让动态模型路由这一概念受到广泛关注。信息技术组织需要理解动态模型路由的运作原理，因为随着人工智能渗透到企业各个环节，它将对成本、质量和性能产生重大影响。

企业已经很快意识到，不应该在每一项任务中都依赖单一模型。不同模型在性能、延迟、成本、隐私和特定领域准确性方面各有所长。模型路由提供了一个智能决策层，根据当下的需求和条件，将任务导向最优模型或推理端点。

动态模型路由与多年前软件定义广域网（SD-WAN）领域出现的转变如出一辙。随着数字环境变得越来越分布式、动态化且事关业务核心，静态决策方式必须让位于能够评估上下文并实时调整以提供最佳体验的系统。

从可达性到上下文感知

随着应用程序从数据中心迁移到多云和软件即服务（SaaS）环境，网络的角色也从单纯建立连接演变为提供业务所需的体验。随着流量模式变得更加分散，SD-WAN也变得更加应用感知、策略驱动和自适应。现代广域网架构如今会利用应用类型、路径性能、安全策略、可用性和业务优先级等信号，通过正确的路径提供正确的体验，并施加正确的策略。

模型路由在技术栈的不同层面引入了类似的决策难题。问题不再是AI请求能否得到回应，而是根据任务、性能要求、成本、隐私限制和当前状况，判断哪个模型、端点或环境最适合处理该请求。

正如广域网路由因纳入更丰富的信号而变得更有价值，模型路由也需要类似的基础支撑。“最佳”模型无法由单一指标决定。最便宜的模型可能达不到准确性要求，最快的模型可能无法满足隐私需求。如果没有清晰的策略、可见性和控制手段，动态决策带来的可能是不可预测性，而非灵活性。

模型路由不应照搬广域网路由的做法，但仍需要以上下文、策略、可见性和控制为基础。SD-WAN网络架构持续收集路径性能、应用身份和安全态势方面的实时遥测数据，然后应用集中式策略引擎来引导流量。

应用感知的流量调度会实时评估延迟和丢包等状况，并自动将流量切换到更优路径。可观测性平台为IT团队提供跨分支机构、云和SaaS的统一视图，使他们能够持续验证路由决策，而不是设置一次就置之不理。

AI工作流有所不同

传统应用程序在用户、数据中心和应用之间遵循相对可预测的路径。AI改变了这一切。一次AI交互可能会启动一个横跨分支机构、多个云、SaaS应用、数据存储和多个AI模型的工作流。AI智能体会调用服务、检索数据、触发操作并动态生成新的请求。

每一步都可能带来不同的要求。某些数据可能需要留在特定环境中，某些请求可能要求低延迟，另一些则可能优先考虑成本效率。有些工作流可能需要更强的安全控制或更详细的可审计性。

其中许多依赖关系可能位于企业无法直接拥有或控制的环境之外。在分支机构和边缘侧，智能动态路由的需求尤为明显，因为许多由AI驱动的体验正是在此触达员工和客户。

边缘侧的紧迫性

大多数零售门店、银行、诊所、工厂、学校和公共部门场所已经依赖基于云的应用程序。随着客户互动、临床工作流、欺诈分析、库存核查和现场服务请求日益依赖分布在云、SaaS平台、私有环境和AI服务中的应用与数据，AI将带来更多复杂性。延迟、中断、策略缺口和有限的可见性都可能拖慢业务运转，并给IT团队增加运营负担。

在AI时代，分支机构不能再被视为静态端点。它需要网络、安全、自动化和可观测性协同运作，才能确保AI服务安全可靠地运行。

网络领域已经展示了这种演进的样貌。随着环境变得更加分散，路由也变得更加自适应、策略驱动，并由实时状况提供信息支撑。

AI基础设施正在进入类似的阶段。模型路由是网络行业多年来一直在解决的模式的最新体现。这也提醒人们，动态的、上下文感知的路由重要性只会与日俱增。

作者Peterson是Cisco Systems Inc.安全广域网产品管理副总裁。他为SiliconANGLE撰写了本文。

Q&A

Q1：什么是动态模型路由？

A：动态模型路由是一种智能决策层，能够根据任务需求、性能要求、成本、隐私限制和当前条件等因素，将AI任务自动导向最合适的模型或推理端点，而不是依赖单一模型处理所有任务。

Q2：动态模型路由和SD-WAN有什么关系？

A：动态模型路由借鉴了软件定义广域网（SD-WAN）的演进思路。SD-WAN通过实时遥测数据和集中策略引擎，根据应用类型、路径性能等信号动态调整流量路径；模型路由则在AI技术栈层面应用了类似的上下文感知和自适应决策机制。

Q3：为什么边缘和分支机构对动态模型路由的需求特别紧迫？

A：因为零售门店、银行、诊所、工厂等场所的客户互动、欺诈分析、库存核查等业务越来越依赖分布在多云、SaaS平台和AI服务中的应用与数据，延迟、中断和可见性不足都会拖慢业务，因此需要网络、安全和自动化协同工作。