清华大学翟季冬：从“算得出”到“送得到”，“智能路由”打开 AI 基础设施新赛道

来源：环球网

【环球网科技综合报道】人工智能基础设施（AI Infra）是支撑人工智能技术演进与产业落地的核心底座，其发展始终与行业需求同频共振。在人工智能大模型爆发初期，AI Infra通过高性能算子、优化训练框架、高效推理引擎等关键技术突破，集中支撑了“智能的生产”——助力大模型持续迭代升级、实现规模化推理部署，推动人工智能从理论走向实践。如今，随着大模型生态日益繁荣、智能体加速涌现，人工智能正从技术研发阶段迈向“赋能千行百业”的深度融合期，AI Infra的使命也随之升级，更需聚焦“智能的流通”，为人工智能技术精准触达最终业务场景、高效赋能实体经济扫清障碍。

“在未来，人工智能服务应当像水电气一样，能够自动流向有需要的地方。”清华大学计算机系教授翟季冬在接受记者采访时这样展望。日前召开的中央经济工作会议在重点任务中明确“深化拓展‘人工智能+’”，人工智能同产业发展、文化建设、民生保障、社会治理广泛深度融合，将全方位赋能千行百业，为经济社会发展增添新活力。在此背景下，如何打通大模型从技术研发到产业应用的“最后一公里”，让智能服务精准匹配场景需求，已成为行业亟待破解的核心课题。

对此，翟季冬团队提出：AI Infra的下一站，不再是单纯的“堆算力”，而是要着力“修管道”——通过“智能路由”技术，将合适的模型、优质的服务精准调度至千行百业的各类应用场景。

在翟季冬看来，智能路由的核心需攻克两大关键挑战：一是“模型路由”，即在层出不穷的差异化大模型中筛选出适配特定任务的最优模型；二是“服务路由”，即在同一模型的多元API服务提供者中，匹配到满足安全、效率、成本等需求的最佳服务。

从“造聪明”到“送聪明”：AI 基础设施进入流通时代

过去十年，国内 AI 产业重生产、轻流通：训练端，国产芯片、框架、算子持续突破，千卡、万卡集群接连投用；推理端，DeepSeek、Kimi、GLM 等国产大模型相继开源，参数规模屡创新高。

“当模型像商品一样极大丰富，‘选谁、用谁、怎么用最划算’反而成了卡脖子新问题。”翟季冬说。

今年1月，工信部等八部门联合印发的《“人工智能+制造”专项行动实施意见》中指出，到2027年，推动3至5个通用大模型在制造业深度应用，形成特色化、全覆盖的行业大模型，打造100个工业领域高质量数据集，推广500个典型应用场景。

实现路径之一，就是要把“算得出”的智能，通过高效、安全、低成本的“路由器”精准配送到工厂车间、医院诊室，赋能千行百业。

“模型路由”：让万亿、百亿参数模型各尽其才

“AGI 不是一个，而是一群。”翟季冬用一句话概括未来格局。不管从模型结构的发展还是算力形态的多样性来看，未来当我们拥有通用人工智能（AGI）时，不会出现单独一个AGI一统天下的情况，而是多个AGI和更多的弱AI共同为人类服务。

翟季冬以“万亿参数 A 模型”与“百亿参数 B 模型”举例：A 模型得分 99，但运行慢、成本高；B 模型得分 80，却快且省。如果由 AI 自己当“调度员”，把 B 模型能解决的 80 分任务全部留在“经济舱”，剩余难题再升舱到 A 模型，整体分数仍可保持 99，平均成本却下降八成，响应速度提升五倍。

“这就是‘用 AI 给 AI 派单’。模型路由将会给行业带来巨大的性价比提升空间，可以预见模型路由将是未来一段时期的重要研究课题。”翟季冬告诉记者。

“服务路由”：同样一个模型，API 服务也要“货比三家”

“模型只是‘面粉’，API 服务才是开发者需要的‘面包’。”即使是同一个模型，不同供应商提供的API服务在速度、价格、稳定性方面也是有所差异的。翟季冬给出另一组数据：根据智能服务聚合平台AI Ping发布的数据，中国境内提供deepseek-v3.2模型API服务的厂商有数十家，其API服务的吞吐相差10倍（15~200 token/s），支持的输入输出长度相差20倍（8k~160k），服务定价、流量限制、服务稳定性各异。

服务差异的底层原因是不同的算力设备、不同的系统软件、不同的商业策略等。对用户而言，在众多API服务中选择并非易事。用户最关心的是安全、能力、速度、稳定、价格五道关，但市场缺乏一把统一的“尺子”，在用户那里体现的就是短时间获得多个平台不同数据的需求。因此，完善可靠的测试系统是实现高质量服务路由的基础前提。

国产算力“换道超车”的新机遇

“避免算力卡脖子，把国产算力用起来，已经是中国AI行业的共识。”翟季冬说。 在他看来，“服务路由”恰好提供了新的商业化切口。受制于软件生态的成熟度，目前普通开发者直接使用国产算力设备仍有一定门槛。但大模型API服务具有标准的接口，可以规避直接使用国产算力设备面临的生态不兼容的问题。服务路由可以根据用户的要求调度至基于国产算力的服务，用户无需自行移植适配，甚至无需关心底层硬件是海光、昇腾还是寒武纪，只要接口符合行业标准，路由系统就能自动把任务调度到“性价比最高”的国产卡上，用户算力国产化需求即可轻松满足。

目前国产算力的硬件指标已经足够承载大部分场景的智能服务需求，只需进一步提升国产算力部署智能服务的性能，就能在部分条件下取得相比海外算力的性价比优势，形成国产算力的商业闭环。

提升国产算力部署智能服务的性能表现，根本在于面向国产算力架构原生设计实现并深度优化的推理引擎。国产算力与海外算力在硬件架构和软件生态上无法完全兼容，直接将海外算力上的推理引擎移植到国产算力上会面临水土不服的问题，其面向海外算力进行的深度优化也无法在国产算力上取得同样效果。

以清华团队开源的推理引擎“赤兔Chitu”为例，Chitu在海外算力平台上与vLLM等主流开源项目性能持平，而在国产平台上优势显著，这正是因为Chitu面向国产平台进行了大量原生开发与优化。出于对接上层模型的便利性考量，目前大多数国产算力厂商仍然采用移植海外推理引擎的方案，在快速兼容模型生态的同时，也制约了底层算力的发挥空间，未来随着国产算力生态的发展，将会更多采用国产算力原生的推理引擎。

“智能路由”引领AI Infra新方向

当前，我国正加快推进新型基础设施建设，人工智能作为数字经济的核心驱动力，其基础设施的完善程度直接关系到产业竞争力的提升。翟季冬教授称，智能路由的探索与实践，不仅是AI Infra技术边界的拓展，更是对“人工智能赋能千行百业”的有力支撑。它通过优化模型选择与服务配置，实现了智能服务的高效、廉价、稳定、安全流通，既契合国家“降本增效”的发展要求，也为算力国产化、数据要素价值释放提供了可行路径。

尽管智能路由在测评体系完善、调度算法优化等方面仍面临挑战，但随着人工智能技术的持续迭代和产业生态的不断成熟，这一关键环节的技术突破值得期待。在翟季冬看来，未来，随着智能路由成为AI Infra的标准配置，人工智能服务将更便捷地融入生产生活各领域，为数字中国建设注入更强劲的动力，推动我国人工智能产业在全球竞争中占据有利地位。（心月）