小型AI模型在全球各地悄然崛起

AI

2019年的一个清晨，阿德巴约·阿隆格在开普敦的一间酒店房间里，准备向外界展示他的创业公司针对非洲医疗卫生领域一大顽疾所开发的AI解决方案——假冒药品问题。这一问题每年导致非洲大陆数千人死亡。

RxScanner是一款手持式光谱仪，能够用红外光扫描药片，并将其分子特征数据发送至配备药品数据库的AI模型。几秒钟之内，AI便可根据分子特征识别该药物的真伪。

这套系统当时已在加纳、肯尼亚、缅甸以及阿隆格的祖国尼日利亚等十多个国家的药房中投入使用。然而那天早上在南非，系统却出现了故障。"我当时非常震惊，"阿隆格说。

光谱仪虽然连上了AI模型，但数据中心远在14000公里之外，带宽极为有限。"我们的服务器在美国，仅仅获取一次扫描结果就要花费我超过5分钟的时间。"

于是，阿隆格立刻让工程师将AI模型压缩成一个更小巧、低功耗、无需网络连接的版本，使其能够完全在他的安卓手机上运行。工程师们仅用2小时便完成了这一任务，演示因此得以顺利进行。

更重要的是，这次经历催生了一个全新版本的设备——即便在没有宽带、没有电脑、甚至没有稳定供电的地区，它也能完成药品真伪的鉴别。这也让阿隆格成为了"小型AI"理念的坚定倡导者。

小型AI与富裕国家那些体量庞大的大语言模型、超大规模数据中心、数十亿美元的投资以及关于AI意识的种种讨论相去甚远。但对于全球数以百万计的人而言，唯一真正有用、也往往是唯一可及的AI，正是小型AI。（根据世界银行去年11月发布的一份报告，全球最贫困国家中仅有0.7%的互联网用户使用过ChatGPT，而在最发达国家，这一比例高达四分之一。）

"大多数人谈论AI，谈的都是大语言模型和生成式AI。但这需要大量计算能力、电力、海量数据以及专业人员来维护，"世界银行行长阿贾伊·班加去年1月在达沃斯世界经济论坛上表示，"在发达国家以外的地区，除了印度和中国，几乎没有哪个国家同时具备这些条件。"

班加表示，与之形成对比的是，小型AI能够在完全不具备上述条件的地区，为当地人提供有用甚至关乎生命的服务。在印度，政府的AI发展规划明确鼓励推进小型AI，许多此类系统已在为农民服务。

例如，印度维洛尔理工学院的巴拉·穆鲁甘与其团队开发了一套基于无人机的系统，可对腰果植株进行拍照，并快速识别出叶片上显示病害迹象的斑点。全部数据处理均在无人机上本地完成，无需现场配备电脑，也无需连接中央服务器。

借助针对特定问题训练的小型语言模型，并在廉价低功耗设备上运行，其他小型AI应用场景也相继涌现：识别乌拉圭某葡萄园中的蚂蚁侵害、在多个国家检测携带疟疾病毒的蚊虫，以及在巴西部分缺乏复杂医疗设备的地区，通过Arduino设备完成心电图检测。

"这是当今AI领域最重要的方向，"参与上述三个项目的巴西伊塔朱巴联邦大学工程与信息系统学院教授马塞洛·若塞·罗瓦伊表示，"它正在以非常快的速度发展。"

对于阿隆格、罗瓦伊以及其他倡导者而言，小型AI绝不仅仅是世界银行那份11月报告所称的"一种颇具前景的趋势"。从长远来看，它或许是能够惠及最多人口、并在部分大型模型因成本过高而难以为大多数用户所用之后，依然保持可持续发展的AI形态。

"我认为AI的未来不是一个置于中心的庞大模型，而是数以百万计的小型精准模型部署于边缘端，每个模型解决一个特定问题、服务于一个特定场景，"阿隆格说。这部分是因为全球很大一部分人——包括富裕国家某些地区的人口和发展中国家的民众——都无法使用前沿的大型模型。但他同时指出，那些大型模型本身也难以为继。

"如果没有补贴，大多数人根本负担不起那些模型的使用成本。所以我们这些所谓的小型AI开发者，才是真正需要为世界上大多数人构建解决方案的那批人，"阿隆格说。

"小型AI"目前没有严格定义，但人们通常将参数量不超过数十亿的语言模型归入此列。（相比之下，当前最先进的模型参数量可超过一万亿。）这样的体量已足够小，可以直接在手机或树莓派上运行，从而使相关应用能够在不连接数据中心的设备上运行，仅需几瓦电力，通常由电池或太阳能板供电。

罗瓦伊指出，尽管体量微小，这些模型在技术上与大型AI模型并无本质区别。许多小型语言模型的诞生方式，与阿隆格药品扫描仪手机版的开发方式如出一辙——通过"剪枝"大型模型来实现，即删除与任务无关的参数。其结果是一个通用能力有所下降、但在特定任务上依然表现出色的系统。

其他小型模型则通过"蒸馏"方式创建——训练小模型去模仿大模型，直至其性能接近"教师模型"的水平。还有一些情况下，大型模型的精度会被主动降低，例如将原本运行于32位架构的模型压缩为可在8位设计上运行的版本。在将机器学习用于数据分类或模式预测（如蚂蚁虫害识别）的场景中，模型从一开始就直接在小型设备上训练，并非从大型模型派生而来。

罗瓦伊表示，运行所有这些小型专用系统正变得越来越便捷，原因有两点。

其一是硬件性能持续提升，功耗不断降低。这意味着越来越多的手机能够运行小型AI——尤其是配备了神经处理单元的机型，这种专用芯片可处理人脸识别、图像亮度/阴影/对比度调整等AI任务。

据科技研究机构Counterpoint数据显示，2025年全球出货的智能手机中，略超三分之一具备运行生成式AI的能力，这一比例到今年年底将达到45%，而到明年年底，将有略超一半的智能手机能够运行小型AI模型。

其二是语言模型的体积在持续缩减。罗瓦伊表示，谷歌DeepMind今年4月发布的Gemma 4以及阿里巴巴的Qwen 3.5，都是"非常出色"的小型AI选择。两款模型均为"开放权重"模型，用户可根据自身需求调整参数之间的连接关系。这使得"用乳制品行业的大量数据对模型进行重新训练，使其专门服务于该行业"变得轻而易举。

为了说明这两点，罗瓦伊在一次Zoom通话中用他最近的一项实验加以演示。他举起一个设备说道："这是全新的Arduino UNO Q——一款售价50美元、搭载高通芯片组的设备。我正在上面运行一个语言模型，它从传感器采集数据，并对数据进行分析，以检测可能滋生蚊虫的小型积水。整个运行功耗仅为3瓦。"

世界银行坚信数以百万计的人已经从这类应用中受益，因此正积极推动小型AI发展，提供资助、导师计划、融资支持、技术咨询，以及对小型AI友好的政府政策范本。例如在卢旺达，世界银行正支持政府推行一项计划，帮助低收入家庭获得能够运行AI的设备。

尽管如此，没有人认为大语言模型会就此消失。罗瓦伊指出，要创建能在手机或其他小型设备上运行的生成式AI，仍然离不开大型模型提供的架构思路、数据处理能力和实验结果。"我们需要大型模型来创造这些小型模型。"

阿隆格表示，尽管小型AI能够惠及那些无法获得大型AI服务的人群，但这项技术无法解决发展不平衡和数字鸿沟等更深层的问题。推广小型AI，并不能使各国摆脱构建AI生态体系所面临的挑战：稳定的电力供应、运转正常的供应链，以及能够培养AI工具开发人才的教育体系。

"尽管他的药品扫描系统可以在断网的情况下依靠手机运行数天，'你仍然希望能够定期同步，以获取新药物分子特征的更新和数据分析，'"阿隆格说，"即便使用电池供电，稳定的电力也至关重要。手机电池终归不会永远用不完。"

他表示，在世界许多地方，小型AI的未来并无定论。"它确实有效，许多地方终将需要使用它。问题在于，政治决策者是否足够有远见，愿意持续投资于支撑其长期运行的基础设施。"

Q&A

Q1：RxScanner是什么？它是如何识别假冒药品的？

A：RxScanner是由RxAll公司开发的一款手持式光谱仪，通过红外光扫描药片，获取其分子特征数据，再将数据发送至配备药品数据库的AI模型进行比对。整个识别过程仅需数秒，便可判断药品真伪。新版本的RxScanner已将AI模型本地化部署至安卓手机，无需网络连接即可完成鉴别，适用于宽带、电力基础设施匮乏的地区。

Q2：小型AI模型和大语言模型有什么区别？

A：小型AI模型通常指参数量不超过数十亿的语言模型，而当前最先进的大语言模型参数量可超过一万亿。小型模型体积足够小，可直接在手机或树莓派等低功耗设备上运行，无需连接数据中心，仅需几瓦电力。在性能上，小型模型通用能力有所不足，但在特定任务上依然表现出色。小型模型通常由大型模型"剪枝"或"蒸馏"而来。

Q3：目前有哪些成熟的小型AI模型可以用于边缘设备开发？

A：目前较为成熟且适合小型AI应用的模型包括谷歌DeepMind发布的Gemma 4和阿里巴巴的Qwen 3.5。两款模型均为开放权重模型，用户可根据具体需求调整参数配置，便于针对特定行业或场景进行再训练。此外，随着搭载神经处理单元的智能手机普及率不断提升，到2026年底将有超过一半的智能手机支持运行小型AI模型。