断网就变“笨”？AI该减肥了

断网的AI如同废物，这种情况没有解决方法吗？

01

AI时代的隐疾

我们有多依赖网络？以前的出租车师傅要凭经验和脚力记住每一条行车路线、每一个站点特征；而现在，网约车司机们依赖的是手机、网络以及必备的导航软件，一旦网络被切断，世界又会变成什么样？

科幻电影《断网假期》给了一个“绝妙”的答案：搁浅的巨轮、不断从天坠落的客机、似乎被操控着的无人驾驶特斯拉以追尾的方式堵塞交通……或许失控才是AI时代断网的后果。

想象一下，未来某一天，你正在自动驾驶的车辆中打盹，本该按照既定路线行驶的汽车突然警示“网络中断”，车辆开始偏离路线；抑或是家庭服务机器人突然暴走舞动，扫地机器人横冲直撞……

这会是我们期待的AI吗？当然不是。那有没有不依赖云端网络就能就能即时反应的AI？

有啊，“边缘AI”概念就是为它而生。“边缘AI”和“边缘计算”有异曲同工之意。在企业、医院、学校内部的服务器、电脑、手机，都可以被视为“边缘节点”；当数据在这些边缘节点中处理、运算时，就称为“边缘计算”；那在这些边缘节点上运行的AI，就可称为“边缘AI”。

这个只是一个大概意思，其实节点的范围并不固定，业内还没有统一的定义，这里我们只是为了让大家更好理解“边缘AI”这一概念而做的解释。

总的来说，“边缘AI”意味着要把云端的计算能力，搬运到更靠近数据源头的地方。

02

延迟与居高不下的成本

大部分AI软件目前的运行都是将数据送上云端分析，再等待回传结果，但这样本身就有很多问题。

首先就是物理层面的限制：难以避免的延迟。

就算光速再快，你发出的信息从你附近的基站传到几百甚至几千公里外的云端服务器，再把分析结果反馈回来，中间有各种网络节点传来传去……就算把物理延迟控制在几十毫秒内，对于需要即时回应的AI系统来说也是个风险。

另外，就是基础设施建设的成本几乎无上限。要把海量的实时数据输送到云端处理，绕不开带宽的隐形限制。

根据香农定理，传输速率与信道带宽呈正相关。以我们更熟悉5G基站为例，当160MHz（兆赫兹，用于衡量网络带宽）频宽开启时，单用户峰值速率可达2Gbps；但每增加一倍频宽，设备射频模块成本就上升30%。

简单来说就像拓宽高速公路时，需要拆除更多建筑，因而边际成本会急剧攀升。AI应用时代，高解析影像与感测器所产生的数据就像一辆辆汽车，疯狂涌入这一高速公路，为了满足需求自然要不断修路，但这个成本是很吓人——现在全球物联网设备已经超过290亿台，如果全部依赖云端处理，每个月全球骨干网得扩容12%才能勉强应对。

而“边缘AI”不一样，它能把信息先在当地处理，再把“浓缩”后的信息传给云端，这不就能减轻频宽负担？

03

给AI大模型“瘦身”

AI的“边缘化”最重要的优势当然还是可靠性。

如前所述，现在依赖云端的系统都可以视为“看天吃饭”，一旦网络不稳甚至断线，那些公共安全系统和重要的预警设备就会形同虚设。而边缘处理会让任何系统都更独立，哪怕暂时断线，本地的AI还是会继续运作。

这么一个合理且实际的应用需求该怎么实现？业界目前是“两条腿走路”，一条是给AI大模型“瘦身”，另一条自然是要有强大的硬件平台。

后者更依赖硬件厂商，英伟达、ARM、富士康近年来都没闲着；前者则是“软功夫”。

硬件资源总是有限的，但是大模型却越来越庞大，不“瘦”不行啊。这其实跟图片压缩有点像：有些画面细节我们肉眼根本看不出来，删掉也不影响整体感觉，却能大幅减少档案大小。

在大模型上就是“量化”，意味着把模型中大量参数的精度降低。这就需要程序员们精密调整了，从而实现降低参数精度的同时，不影响到模型表现，“瘦身”但不会“降智”。

还有一个方法是把大模型本身给“修剪”一下。

AI大模型实际上就是一整套类神经网络的系统，训练类神经元中彼此关联的参数，但是那么多神经元并不是各个都有用，总会有一些神经元或连结参数是没有太大贡献的，那就把它去掉，让整个结构都精简。

其实现在更常见的是一开始就打造一个很小的模型，并让它去学习大模型的知识，这就是“蒸馏”。

授人以鱼不如授人以渔，小模型要用自己有限的“脑容量”学会大模型的思考过程，学到精髓，不必自己埋头训练就能轻松学到某种推理过程——现在很多小型语言模型就是这么练出来的，好处在于，能让资源有限的设备能部署愈来愈强大的AI模型。

软硬功夫缺一不可，这恐怕是AI时代一个必解的课题。

欢迎通过邮局渠道订阅2025年《电脑报》

邮发代号：77-19

单价：8元，年价：400元

编辑｜张毅

主编｜黎坤

总编辑｜吴新

爆料联系：cpcfan1874（微信）

壹零社：用图文、视频记录科技互联网新鲜事、电商生活、云计算、ICT领域、消费电子，商业故事。《中国知网》每周全文收录；中国科技报刊100强；2021年微博百万粉丝俱乐部成员；2022年抖音优质科技内容创作者