【金猿CIO展】联想集团CIO Art Hu：小模型为边缘计算应用而生

Art Hu

“【提示】2025第八届年度金猿颁奖典礼将在上海举行，此次榜单/奖项的评选依然会进行初审、公审、终审三轮严格评定，并会在国内外渠道大规模发布传播欢迎申报。

随着AI应用的浪潮从模型训练逐渐过渡到部署和实施，企业面临着诸多问题：如何优化战略投资以实现最大回报？其中一个核心问题是——那些在训练过程中消耗了大量资源的模型，究竟该选择大型语言模型（LLM）还是小型语言模型（SLM）？答案在于理解两者之间的权衡，并明确它们在四个关键方面的影响：硬件能力、安全性、延迟以及边缘计算。虽然行业内对此存在争论，但所谓的“LLM与SLM之争”其实并不是真正的争论。企业只需根据应用场景进行选择，答案自然清晰。

硬件成本与复杂性

将模型规模与硬件能力匹配至关重要，因为LLM对计算能力的需求远高于普通应用，包括高带宽内存（HBM）和多块GPU。大多数LLM依赖集中式云基础设施，因为在本地运行它们成本高昂，几乎不可能在受限设备上实现。

相比之下，SLM的参数更少（通常低于40亿），因此所需内存显著减少，并且不需要HBM。这使得它们能够在更广泛的硬件上高效运行，并显著降低基础设施成本和复杂性。在计算能力有限的环境中，如物联网设备、移动平台或AI PC，SLM往往是唯一可行的解决方案。

安全性与数据主权

SLM在数据隐私和安全方面也具有显著优势。数据泄露或泄密无论何时都代价高昂，但对于金融、医疗或交通等高度监管行业的企业来说，风险更大。这些企业无法将敏感数据跨网络长距离传输至云端API。虽然隔离或自托管的LLM可以缓解数据传输问题，但它们效率极低，因为需要大规模资源和复杂架构。

SLM可以完全在本地部署，甚至直接嵌入硬件，使企业能够保持严格的数据治理和合规性。当数据绝对不能离开数据中心或设备时，SLM不仅是一个选择，而是必需品。

延时与实时决策

选择语言模型时，延迟敏感性是另一个关键因素。随着行业从训练转向推理，这些模型被部署在分布式、去中心化的环境中。许多应用需要实时数据来支持决策，延迟往往无法容忍。对于响应至关重要的场景，如语音助手、客服机器人或边缘设备，延迟可能带来严重影响。如果延迟升级为停机，财务后果可能是灾难性的。

与驻留在数据中心或云端、引入2至10秒数据传输和处理时间的LLM不同，SLM专为速度而设计。它们可以实现亚秒级响应，非常适合需要即时反馈的应用。

底层模型对用户来说可能是“隐形”的，但其响应速度和准确性却至关重要。对于优先考虑无缝、快速用户体验的企业，SLM是最佳选择。

边缘应用

前面三个因素最终指向一个简单事实——SLM是为边缘计算应用而生的。无论是驱动远程医疗设备还是工业机器，SLM都可以独立于网络运行。它们能够在本地进行决策，确保隐私，例如医院在边缘部署AI患者监测，或在工厂车间进行实时异常检测，即使连接不稳定也能运行。

在各行业中，下一代边缘解决方案（如联想的TruScale for Edge and AI），旨在将实时智能带到数据生成的更近位置，体现了向敏捷、分布式AI转变的趋势，这种AI优先考虑速度和安全，而非规模。共同点是韧性，因为这些应用需要更精简的计算基础设施、更高的数据安全性和最低延迟才能运行。

当速度和效率是更重要的考量时，SLM是首选。即使在隔离环境中，LLM的规模和基础设施要求使其在边缘部署中不切实际。对于边缘AI，SLM不仅是更优选择——它们是必不可少的。

LLM的应用场景

然而，并非所有应用都运行在边缘。

虽然大多数企业在评估边缘应用以最大化生成式AI投资，但有些确实需要LLM的功能，这些功能存在于核心数据中心或云端。全面推理、深度上下文理解和跨领域知识都来自LLM。

这类应用更看重全面甚至详尽的分析，而非快速决策。因此，它们需要巨大的计算能力来运行LLM，以生成所需输出。在这种情况下，某些延迟是可以接受的。拥有支持云访问或本地化部署基础设施的企业能够从中受益。此外，这些应用通常不属于高度监管行业，因此数据隐私和安全标准相对宽松

成本与资源考量

评估LLM与SLM时，最后一个考量是所需资源。LLM的处理和分析能力远强于SLM，但代价也更高。除了访问云API的成本外，运行这些模型还需要持续投资于专用基础设施。它们的计算需求和数据消耗使其仅适用于预算充足、需要通用智能或特定领域深度的大型项目。

相反，SLM更具成本效益，所需计算资源相对较少，部署轻量化。它们适用于中小企业、初创公司和企业边缘部署。对于常规任务、模板化响应或延迟敏感操作，它们在不增加运营负担的情况下提供显著投资回报。

结论：基于需求，而非标签

选择LLM还是SLM应由应用场景决定，而非流行词汇——因为用户并不关心模型是“大”还是“小”，他们关心的是速度、准确性、隐私和成本。智能的AI战略应权衡这些实际因素，以部署最适合的模型。

随着企业不断扩展AI能力，许多企业会发现SLM能够在边缘实现新的可能性，而LLM在复杂、集中化任务中仍不可或缺。认识到两者的应用场景并在它们之间找到平衡，是企业释放AI全部潜力的关键。

换句话说，成功的AI并非“一刀切”，而是将合适的模型与业务需求、基础设施和风险状况匹配。无论企业需要在数据中心实施LLM，还是在边缘部署SLM，都必须选择具备混合AI方法和专业服务的合作伙伴，以满足其在AI旅程中的不同阶段。

·申报人“Art Hu”简介：

Art Hu，联想集团高级副总裁，首席信息官，方案服务业务集团首席技术和交付官

作为联想的全球首席信息官（Global CIO），Art Hu领导着覆盖整个企业的信息技术组织，负责提供信息服务、管理关键运营系统，并推动联想的技术驱动型转型。凭借他将IT视为业务战略合作伙伴的远见卓识，他推动了联想从一家以PC为主导的公司成长为全球领先的技术解决方案企业。

这场转型包括构建全球技术平台，支持联想快速发展的业务，包括电子商务和游戏业务，以及新的“即服务”（as a Service）业务模式，为客户提供更多选择和以结果为导向的交付方式。

除了担任全球CIO的角色外，Art于2023年2月被任命为联想方案服务业务集团（SSG）的首席技术与交付官（CTDO）。作为CTDO，Art领导一个新成立的组织，将全球IT、研发、服务支持和交付职能整合在一起，以提升联想向全球客户提供创新解决方案的能力。

2023年，Art被《福布斯》评为值得关注的CIO之一，并带领团队获得多个CIO100奖项，该奖项表彰通过技术推动创新、转型和业务价值的组织及其IT团队。2024年，在北京举办的企业智能转型峰会上的荣获“杰出CIO奖”。他的远见领导力和卓越战略能力还为他赢得了面向全球管理人群的媒体C-Suite Insider颁发的2025年全球“年度CIO”奖，2025福布斯中国科技创新人物奖，以及2025年HotTopics全球名人堂大奖，及2025年鼎革奖年度CIO。

★本文由联想集团CIO Art Hu撰写并投递参与“数据猿第八届年度金猿策划活动——2025中国大数据产业年度优秀CIO榜单及奖项”评选。