端侧AI落地路径：从算力下沉到场景闭环

21世纪经济报道记者雷晨 北京报道

2025年，人工智能正经历一场结构性迁移——大模型能力不再局限于云端数据中心，而是加速向终端设备下沉。这一趋势被AMD大中华区市场营销副总裁纪朝晖称为“AI智能体元年”的开端：AI正从对话式助手演变为具备任务执行能力的生产力工具。

而要支撑这种转变，端侧设备必须满足一系列严苛条件：运行百亿参数级基座模型、加载企业专有知识库、支持多智能体协作、处理超长上下文，并保障数据不出域。这些需求共同指向一个核心命题：端侧AI如何真正落地？

在近期由MINISFORUM铭凡与AMD联合举办的AI产品体验会上，多位与会业内人士认为，端侧AI要真正“落地”，不能仅靠算力堆砌，还需在硬件架构、应用场景和生态协同上形成完整闭环。

过去两年，尽管“端侧AI”概念火热，但实际部署仍面临三重障碍：算力不足、成本过高、生态割裂。传统消费级PC或笔记本受限于显存容量与内存带宽，难以承载主流开源大模型（如Llama 3 70B、DeepSeek-R1 70B等）。而企业若选择专用AI服务器，则需承担数十万元硬件投入、专用机房部署及持续运维成本。云服务虽提供弹性算力，却在数据隐私、响应延迟和长期使用费用上存在硬伤。尤其在医疗、金融、制造等强监管行业，“数据不能出院”成为不可逾越的红线。

在此背景下，端侧AI的落地路径逐渐清晰：必须通过硬件架构创新，在桌面级设备中实现“完整推理闭环”。

过去，运行百亿参数级别大模型被视为数据中心或高端AI服务器的专属能力。但随着AI应用场景向边缘延伸，中小企业、科研团队甚至个人用户也开始提出本地部署需求。问题在于，传统消费级PC受限于显存容量、内存带宽及功耗限制，难以支撑主流开源模型的推理任务。而专用AI一体机价格高昂、体积庞大、部署复杂，云服务又面临数据隐私与持续成本问题。

在此背景下，端侧AI的首要挑战是如何在有限物理空间内实现“算力下沉”。纪朝晖指出，关键突破在于统一内存架构（UMA）与异构计算单元的整合。

然而，算力并非唯一指标。铭凡高级产品经理谢火平强调，端侧AI设备必须兼顾兼容性与实用性。许多AI一体机基于Linux或封闭系统，与企业现有Windows办公环境割裂，导致软件适配困难、用户学习成本高。而符合主流AI PC规范的设备，可无缝运行Office、Photoshop、Premiere等主流生产力工具，同时支持AI加速，实现“日常工作+智能推理”一体化。这种设计使AI真正融入用户既有工作流，而非另起炉灶。

此外，稳定性与扩展性同样关键。端侧AI设备需支持ECC内存纠错、7×24小时高负载运行，并提供PCIe x16、USB4 V2等高速接口，以便未来接入光网卡、AI加速卡或存储扩展模块。部分产品采用模块化主板设计，支持快速拆装，便于维护升级。这些细节看似微小，却决定了设备能否在真实业务环境中长期可靠运行。

整体来看，端侧AI的算力下沉已从“能否跑模型”转向“能否跑得稳、用得起、扩得开”。硬件创新的核心，是在极致小型化前提下，重构计算、存储与互联资源的分配逻辑，使桌面级设备具备接近服务器级的推理能力，同时保留消费电子的易用性与灵活性。

拥有强大算力只是起点，端侧AI要产生实际价值，必须嵌入具体业务流程，形成“数据—模型—行动”的闭环。铭凡董事长姜瑞静指出，当前产品定义的核心逻辑是“从先锋用户需求出发，向大众市场下沉”。早期采用者多为技术极客、超级个体户或行业先锋，他们提出的问题往往超前于市场主流，如“能否在本地运行医生考试模型”“能否自动制作播客并模拟人声”等。这些真实场景反过来驱动软硬件协同优化。

医疗是典型例证。据现场披露，某三甲医院正在测试的AI辅助诊断系统，基于本地部署的GPT-OSS 120B模型，结合医学教材与历史病例进行微调。该系统在美国医师执照考试中得分89分，达到执业水平，并能实时辅助年轻医生判读影像。由于患者数据受《个人信息保护法》严格约束，“数据不能出院”成为硬性要求，唯有强本地算力设备才能满足合规前提下的智能升级

教育领域亦在发生类似变革。纪朝晖提到，高校正将“与AI协同工作”纳入通识教育体系。学生需在课程中使用本地大模型完成文献综述、代码生成或实验设计。若依赖云服务，不仅存在网络延迟、账号限制等问题，更难以开展定制化教学。而一台具备96GB共享显存的工作站，可同时运行多个教学实例，支持全班并发操作，且数据完全隔离。这种“一人一机一模型”的模式，正成为AI教育基础设施的新范式。

值得注意的是，这些场景的实现依赖于完整的软硬栈。铭凡工作站&NAS产品总监蒋学介绍，自研操作系统不仅提供企业级数据安全（如快照备份、全盘加密、RAID冗余），还内置AI相册、影视墙、P2P远程访问等功能，并支持Docker容器化。用户可自由部署开源大模型、私有文档中心或项目管理工具，使设备从“存储盒子”进化为“边缘智能服务器”。

AMD大中华区新兴业务部总监李明宇（Tim Li）总结称，当前产业链协作模式正在升级。芯片厂商不再仅提供硬件，而是与整机厂商共同定义AI Agent平台，双方围绕具体行业痛点反向推动技术迭代。这种深度协同缩短了从技术到应用的转化链路，使端侧AI真正从演示走向落地。

未来，端侧AI的规模化普及仍需突破模型压缩、量化效率与开源生态等瓶颈。但方向已然清晰：技术的价值不在于参数规模，而在于能否在真实世界中解决具体问题。当一台桌面设备既能守护数据主权，又能提升工作效率时，AI的普惠化才真正到来。