“轻量级”小模型如何发挥“重量级”作用？

广和通要闻

当大家都还在钻研参数规模达百亿甚至千亿级的大模型时，精巧且兼具性能的小模型已逐步应用于边缘智能终端与嵌入式系统，以“小身板”发挥大作用。相较于大模型，小模型更便于在计算能力和存储空间受限的智能终端运行，在边缘侧即完成计算。

端侧AI模型的趋势，变得“越来越小”。

大模型指的是参数量巨大的机器学习模型，参数数量通常在数百亿到数千亿之间，具有强大的计算能力和推理能力，获得更好的性能。“小模型”则是参数量在数亿到数十亿之间，存储和计算资源方面的需求相对较低，能够在端侧进行部署和推理。

为达到更好的训练效果，小模型的训练语料库可能比大模型更强大，使每一个参数更具价值。另一方面，以大模型为基础，通过知识蒸馏（Knowledge distillation）、量化、剪枝等模型压缩方法也是打造高质小模型的方式之一。今年4月，Meta发布了最新一代大模型Llama 3，其小参数模型效率高于Llama 2的大参数模型。如何让更小的模型具备更好的效果，已然是大模型公司的竞争焦点。

相比于不得不部署于云端的千亿参数大模型，小模型可在边缘侧实现快速部署和运行，提高终端边缘计算能力和效率。这种“瘦身型”AI算力部署，将提高智能终端的运算能力，实现更多自我学习、自我工作、自我决策的功能。

广和通基于高通QCM6490处理器的解决方案搭载了8核高性能处理器，其最高达13TOPS的算力可高效地进行数据计算与处理，运行各类0.5B/1.8B/3B/7B的开源大语言模型，为智能支付、自助服务机、工业检测、具身智能等终端提供了边缘计算的能力。此外，该解决方案还可运行精简小模型，帮助客户在成本、性能、存储、效率上达到平衡。

无论是大模型，还是小模型，应用的根本是打造离用户更近的模型，助力各类场景智能化。面向端侧AI部署需求，计算效率高、资源占用少、快速迭代的小模型更能定制化地实现边缘计算能力，充分发挥“高效率”的大作用。

广和通始创于1999年，是中国首家上市的无线通信模组企业（股票代码：300638）。作为全球领先的无线通信模组和解决方案提供商，广和通提供融合无线通信模组、物联网应用解决方案在内的一站式服务，致力于将可靠、便捷、安全、智能的无线通信方案普及至每一个物联网场景，为用户带来完美无线体验、丰富智慧生活。广和通产品种类覆盖蜂窝通信模组（5G/4G/3G/2G/LPWA）、车规级模组、智能模组、GNSS模组及天线产品，助力云办公、移动宽带、智慧交通、智慧零售、智能机器人、智慧安防、智慧能源、智慧工业、智慧家居、远程医疗、智慧农业、智慧城市等行业数字化转型。了解更多企业信息，请访问广和通官网 https://www.fibocom.com，关注广和通微信公众号“广和通FIBOCOM" ，或官方LinkedIn账号“Fibocom”。