端侧优先，云端兜底：端云协同调度在 B 端应用的工程实践｜QCon 上海

作者 | QCon 全球软件开发大会

从「构建 AI」到「驾驭 AI」，100+ 实战案例拆解 AI Native 时代的工程新实践！

推理模型持续突破能力边界，Coding Agent 深度参与研发流程，Agent Runtime、Agent Framework 快速演进……AI 正在从回答问题的模型，演变为能够自主规划、调用工具、执行任务的软件系统。AI 不再只是软件中的一个能力，而开始成为软件系统的一部分。这意味着软件工程面对的挑战也发生了变化：团队需要思考的不再只是如何训练模型、模型、部署模型 或优化 Prompt，而不是如何让具备自主能力的 AI 稳定、可信、可控地运行。模型决定 AI 能做什么，系统决定 AI 能否真正创造价值。

在这一背景下，2026 年 QCon 全球软件开发大会大会 · 上海站正式启动。本次大会将于10 月 22 日—24 日举办，聚焦 Harness AI 时代的工程实践，围绕 AI Native 架构、Agent Runtime、AI Infra、Data Systems、Agent 安全与可观测、Loop Engineering、Vibe Coding、具身智能与世界模型、端云协同等前沿技术方向，邀请全球技术社区与产业一线的实践者，系统性分享前沿洞察与实战经验，共同探索 AI 从能力到系统、从实验到生产的真实路径。

快手电商 B 端商家前端负责人李东东已确认出席 “端云协同与 AI Native 终端生态：从端侧模型到智能体应用” 专题，并发表题为《端侧优先，云端兜底：端云协同调度在 B 端应用的工程实践》的主题分享。B 端应用在接入 AI 能力后，面临一个核心矛盾：纯云端推理延迟高、成本贵、数据出域合规风险大；纯端侧推理又受限于设备算力，无法处理复杂任务。如何找到端与云的最优分工？他们构建了一套端云协同调度系统，核心是三层决策机制：规则引擎短路→ 端侧推理→ 云端推理，并支持混合流水线。调度器实时评估任务复杂度、端侧模型就绪状态、设备性能、网络质量，动态决策执行路径，云端失败时自动降级。系统已在 B 端桌面端完成集成，规则引擎可覆盖 60%+ 高频场景，端侧推理延迟稳定在 100ms 以内。本演讲将分享调度器的设计思路、端侧模型选型、混合流水线的工程实现，以及“端侧优先”原则下的取舍与踩坑。

李东东，快手电商 B 端商家前端负责人，负责商家工作台、生意通等 B 端核心产品的技术架构与演进。2021 年加入快手，主导商家前端团队，推动 B 端业务的技术升级。长期专注于端智能在 B 端场景的工程落地，主导了端侧推理引擎选型、端云协同调度器设计、A2UI 智能界面生成等技术实践，推动商家桌面端从纯云端 AI 向端云协同架构演进。在端智能方向持有多项发明专利。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 为什么 B 端场景需要端云协同？

2. B 端 AI 化的现状与困境：B 端场景接入 AI 后普遍面临的“延迟高、成本贵、数据出域”三大痛点

• 行业正在形成共识：梳理行业端云协同进展，当前“端侧优先处理高频轻量任务”已成为行业技术共识

• 端侧不是万能的：指出端侧模型受限于设备算力和内存，复杂任务仍需云端处理，阐明“不是二选一，而是如何分工”的核心命题。

• 结论：不是二选一，而是如何分工2. 端云协同调度器的设计

设计目标与核心原则：明确调度器的设计目标是在成本、延迟、隐私、效果之间找到动态平衡，核心原则是“端侧优先，云端兜底，规则短路，混合增效”。

• 三层决策机制：详解规则引擎短路、端侧推理、云端推理的递进式决策链，以及各层的触发条件和切换逻辑。

• 调度决策的四个维度：说明调度器如何综合评估任务复杂度、端侧模型就绪状态、网络质量、隐私敏感度，实时做出最优执行路径决策。

• 混合流水线：端云协同的进阶形态：介绍端侧预处理 + 云端推理 + 端侧后处理的混合流水线模式，通过“查订单”案例展示端云协同的完整数据流。3. 端侧模型选型与性能优化

端侧模型选型对比：对比不同方案在推理性能、内存占用、框架兼容性等维度的差异，以及选型决策逻辑。

• 性能优化的三板斧：介绍量化、预加载等优化手段及其实际效果数据4. 落地效果与未来规划

当前进展：介绍 SDK 架构搭建、桌面版集成、配置平台开发等已完成工作，展示端智能体系的建设现状

• 预期收益：量化研发提效、成本降低、体验提升三大核心收益，明确方案的业务价值。

• 未来规划：说明 Agent Runtime 打磨、真实场景 AB 对比、配置平台上线等后续关键里程碑，展示持续演进路径。

实践痛点

1. 端侧模型能力上限 vs 业务复杂度：端侧算力有限，需在业务覆盖与效果之间做取舍，动态判断何时切换云端。

2. 设备碎片化与兼容性：不同设备存在差异，需在适配成本与兼容性覆盖之间权衡。

3. 调度决策的“信息不全”困境：决策时模型是否就绪、网络是否稳定均不确定，需兼顾速度与容错。

4. 端侧推理的“冷启动”问题：模型加载耗时数秒，预加载虽能优化，但对低端设备有额外资源压力。

5. 混合流水线的状态管理复杂度：端云跨环节执行，状态传递与异常恢复复杂，需解决格式一致与兼容问题

前沿亮点

1. 三层递进式调度决策体系

2. 调度器设计了规则引擎短路→端侧推理→云端推理的三层决策链，并支持混合流水线。调度器综合评估任务复杂度、设备性能、网络质量实时决策，云端失败时自动降级。

3. 端侧推理的“乐观路由 + 执行中重评估”策略

4. 设计了乐观路由 + 执行中重评估机制：先按最优路径执行，执行过程中持续监测状态，遇到问题实时降级，而非追求 100% 准确的预决策。这种“边执行边决策”的思路在端云协同场景中具有独创性。

听众收益

• 理解端云协同在 B 端场景的落地逻辑

• 掌握端云协同调度器的设计方法

• 获取端侧模型选型与性能优化的实战经验

• 了解端云协同的六大痛点与应对方案

• 理解“端侧优先”原则下的架构取舍

除此之外，本次大会还策划了 Loop Engineering、千行百业 Agent 创新实践、Agent 自主进化：从记忆到持续学习、Agent as a Service、Vibe Coding 时代的新质量债、理性驾驭 AI 的 SRE 可靠性工程、金融 AI Native 工程实践：从研发提效到业务破局、AI Infra：算力效率决定规模化落地、AI Native 架构 等 20 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 100+ 资深专家在现场带来前沿技术洞察和一线实践经验。

QCon 全球软件开发大会·2026（上海站）现已正式启动。本届大会聚焦 Harness AI 时代的工程实践，从「构建 AI」到「驾驭 AI」，围绕AI Native 架构、Agent Runtime、AI Infra、Agent 安全与可观测、Loop Engineering、具身智能与世界模型等热门技术方向，邀请全球技术社区与产业一线实践者，共同分享 AI Native 时代最具价值的工程经验。8 折倒计时进入最后一周，现在报名立减 1360，查看更多详情可扫码或联系票务经理 18514549229 进行咨询。