【人工智能】如何让 AI 和其他需求的计算更加节能？

人工智能的发展和影响受限于训练机器学习模型所需的功率和能量。那么，南加州大学高级计算学院和南加州大学维特比工程学院其他部门的研究人员如何努力提高计算效率，以支持日益增长的人工智能需求及其所需的计算能力呢？

据电力工程系 Lloyd F. Hunt 主席、电气与计算机工程和计算机科学教授Murali Annavaram介绍，当我们教计算机学习时，有三个因素会影响学习所需的时间和精力：模型有多大；数据集有多大或计算机需要处理多少信息；以及执行这些任务的计算机的效率。

南加州大学高级计算学院的研究人员采取了不同的方法来提高人工智能计算的效率。有些研究人员试图降低耗能巨大的人工智能算法的功耗。另一些研究人员则试图改变处理信息的计算机芯片的设计和功能，包括改变制造芯片的材料。

深度神经网络和生成人工智能概念图/图片来源：Dragon Claws for iStock

改变人工智能的学习方式：

当我们在婴儿时期学习一个新词，比如“狗”这个词时，我们一开始可能会过度概括，把所有四足动物都称为狗。但我们不需要看到世界上所有的狗才能认出一只狗。我们的大脑会根据有限的经验形成模式，并随着时间的推移不断完善它们。

另一方面，机器通过神经网络进行学习，识别数据中的模式并得出结论。神经网络的灵感来源于人类大脑等生物神经元网络，它们如同一张庞大互联的网络，循环处理数十亿个训练样本，学习其中的关系并从新信息中提取意义。例如，现代人工智能训练模型可能会循环处理数百万张明确标记的不同动物图像，以便根据先前训练过的信息，学会识别未标记的四足动物。同样，像 ChatGPT 这样的模型会循环处理互联网上数十亿页文本，从而熟练掌握文本补全任务。

但这种机器驱动的寻宝游戏需要耗费大量的能量。电气与计算机工程及计算机科学系查尔斯·李·鲍威尔讲席教授、电气与计算机工程教授马苏德·佩德拉姆提出了一个关键问题：我们能否教会人工智能使用更少的步骤或示例来更有效地学习？

Pedram 实验室采用的一种方法就是简化机器学习模型。他的团队使用诸如修剪之类的方法，“修剪”掉神经网络中不必要的部分，就像剪掉植物的枯枝一样。这种方法通过缩小参数和可能性的范围来缩短所需的步骤，从而提高 AI 学习速度和能效。

他的团队还开发了量化方法，使用更少的位来表示数据和模型参数。

此外，他的团队利用预先训练的知识，并将相关任务的学习成果迁移到现有任务中，从而在有限的数据下实现高效学习。Pedram 指出，这种方法“可以缩短训练时间，降低硬件资源需求，提高能源效率，并增强泛化能力，最终确保以更低的计算成本在新的相关任务上获得更佳性能。”

显卡GPU计算芯片渲染图/图片来源：Mesh Cube for istock

改变硬件类型：在 AI 和大型语言模型中使用 CPU 与 GPU 的情况：

Annavaram 教授表示，长期以来，业界高度重视机器学习模型和数据集的规模。这是因为数据集越大，拥有的信息和示例就越多，人工智能得出的结论就越有可能准确。这种向越来越大模型迈进的趋势，催生了机器学习模型的新时代——大型语言模型 (LLM)。如今，LLM 可以完成诸如汇总特定餐厅的所有用户评论，并根据从评论中提取的“情感”自动为该餐厅生成星级评分等任务。

但“如果只关注模型性能而不考虑效率，成本将难以持续攀升，”Annavaram 说道。

目前，人工智能通常依赖于专用硬件：称为图形处理单元（简称“GPU”）的设备。这些设备最初是为图形处理而开发的，但已被证明在人工智能领域表现出色。然而，Annavaram 表示，它们价格极其昂贵，而且耗能巨大。

Annavaram 的团队并没有单纯使用 GPU 来构建大型语言模型，而是依靠价格更低的 CPU（中央处理器）来帮助进行一些数据“预处理”。更具体地说，他的实验室提倡使用价格更低、容量更大的 CPU 内存，以降低使用昂贵 GPU 内存的成本。他建议结合 CPU 和 GPU 的优势：使用 CPU 内存存储模型信息，同时使用 GPU 进行计算。Annavaram 表示，这种方法可以提高系统整体效率。

Pedram 实验室的另一种方法是定制硬件优化，针对特定硬件平台（例如专用芯片、图形处理单元 (GPU) 和现场可编程门阵列 (FPGA) 设备）优化机器学习模型，并针对特定任务微调预先训练好的机器学习模型。Pedram 表示，这可以显著提高能效。这就像针对不同的切菜任务使用不同的刀，或针对不同的地形使用不同类型的自行车轮胎一样。

Pedram 还优化了数据（为 AI/ML 模型训练和推理提供数据）如何与数据存储一起输入到设备中，他指出这会耗费时间和精力。

自动驾驶汽车的空驾驶舱、HUD（平视显示器）和数字速度计。自动驾驶汽车/图片来源：Stock。

计算处理的地方：边缘生活

十多年前，纽约的投资银行投资数据中心，以便比同行快几分之一秒地获取信息，并从高频交易中获取更多利润。边缘计算有着类似的前提——允许信息处理更接近数据接收点，而不是集中式数据中心。

佩德拉姆说：“‘在边缘’处理信息可以显著降低能耗。” 边缘计算技术尤其适用于无人驾驶汽车，因为无人驾驶汽车需要立即处理路况信息，以便做出即时决策。

Pedram 表示：“这项新兴技术可以在边缘执行大部分 AI/ML 工作负载处理，从而实现更快的响应速度、节省带宽、增强数据隐私并提高可扩展性。”

“电池”信息

计算机科学副教授巴拉斯·拉加万（Barath Raghavan）正在思考，更小的措施能否带来显著的节能效果。巴拉斯说，想象一下，如果计算机用户能够在能源需求不高的时候为人工智能进行高能耗的预计算，从而减少电网的电力需求。这就是他提出的“信息电池”概念背后的理念，即计算可以提前完成，而不是一次性完成。

“信息电池既可以节省能源，又可以作为一种储能手段帮助电网，”Raghavan 说。

“现在，一年中有些时候太阳能过剩，如果不使用，这些能源实际上会被浪费掉。时移推测计算可以有效地利用这些能源。通过存储计算的输出，这种方法将能源以有用的计算结果的形式存储起来，使我们能够在电网过剩时吸收电力，在电网不足时利用电力。”他补充道。

改变计算机设计方式（第一部分）：超导电子学

电气与计算机工程教授 Peter Beerel 表示：“在过去十年中，由于配电成本以及保持计算机芯片冷却的成本不断增加，功率和能量预算已成为互补金属氧化物半导体（即 CMOS）芯片的限制因素。 ”

Beerel 表示：“解决这个问题的一个根本方法是所谓的超导电子技术，它的性能相同甚至更高，但功耗比 CMOS 低 100 到 1,000 倍。”

“它需要一种新的范式来重建和设计计算机，”Beerel 说。

目前，计算机依赖于硅制成的半导体或芯片，其中包含称为晶体管的开关。这些晶体管由半导体制成，半导体利用其特性，仅在适当刺激时才传导电荷。这种部分导电性使得二进制代码 0（“关闭”开关）和 1（“打开”开关）成为所有 CMOS 计算机芯片的基础。但这种来回切换会消耗和浪费能量。因此，在过去十年中，Beerel 的实验室一直在尝试通过超导体以不同的方式使计算机工作——这种方法使用一种新的导电材料铌，它既没有电阻，也没有类似开关的晶体管，而是一种称为约瑟夫森结的环路。

为了生成 0 或“关闭”按钮，电荷沿循环的一个方向流动；为了生成“打开”按钮，电荷沿同一循环的另一个方向流动。

具体来说，Beerel 的实验室最近开发了通过芯片的不同部分控制或“计时”数据的算法，以帮助以超低能耗提供高性能。

Beerel 与 Massoud Pedram 教授及其团队合作，开始了第三个项目，以扩展他的研究范围，涵盖他所说的“有望在更高的设计密度下实现类似的低功耗优势”的研究。

随着这项新技术的发展，他的团队希望“继续开发新的软件工具，帮助实现设计自动化并使超导技术实现规模化。”

新型材料

菲利普和凯利·麦克唐纳基金会早期职业讲座教授、化学工程与材料科学及电气与计算机工程教授杰伊·拉维钱德兰(Jay Ravichandran) 正在合成用于节能计算的新材料。与贝雷尔一样，他也注意到了现有半导体材料的低效性。

他说道：“我们工作的主要主题是实现突变开关材料（如氧化物和硫族化物）和设备，这些设备需要微小的外部脉冲（如电压偏置或温度升高）来产生电气特性的显著变化。”

Ravichandran 表示：“除了节能计算的潜力之外，这些材料对于神经形态计算也具有重要意义，神经形态计算旨在模仿生物系统（特别是大脑）处理信息的方式。”

人工神经网络和数据传输（图片来源/iStock）

复制人脑

虽然计算机处理事情的速度可能比人类快，但它们的效率却不如人类。“人脑效率很高，”佩德拉姆说。

他补充道：“它每天大约消耗0.3千瓦时的电能，主要通过代谢过程。相比之下，普通的图形处理单元（GPU）每天消耗大约10到15千瓦时的电能。”

“这种巨大的差异凸显了神经形态计算的潜力：开发能够模拟大脑高效运作的模型和硬件，”佩德拉姆教授说道。他的实验室一直在“探索神经形态计算的新方法，包括受生物启发的神经元和突触模型，以及结合振荡器和脉冲神经元的混合网络。”

在南加州大学，神经形态计算的真正发端是名誉电子与计算机工程教授、神经形态计算先驱爱丽丝·帕克 (Alice Parker)，她于 1980 年来到南加州大学。当帕克试图模仿大脑的回路来应对心理健康挑战时，其他学者继续她的遗志，确保计算更加节能。

现在，该研究被亚瑟·B·弗里曼电气与计算机工程系讲座教授Joshua Yang提升到了一个新的水平，他领导着一个基于神经形态计算研究的美国空军卓越中心。

极端环境下神经形态计算中心汇聚了来自不同大学的学者。杨教授作为首席学者，积极推动创新，并开展了一系列研究，为该中心的思想领导力做出了贡献，其中包括开发与传统计算机不同工作原理的设备。

传统计算机将存储和处理分离，而杨氏开发了金属氧化物忆阻器，这种电子器件尺寸仅为十亿分之一米（纳米级），其作用类似于大脑中的突触，将数据存储和处理功能集中于同一位置。除了在同一位置进行处理和存储外，数据还以模拟格式存储，这与数字数据存储中的0和1格式相比，更符合现实世界的数据规范。杨氏的下一代“模拟内存”计算芯片无需将现实世界数据转换为数字格式，从而大幅降低功耗，同时提升处理速度。

在保持能源效率和处理速度的同时，杨教授近期的研究重点在于解决模拟计算的主要缺陷——相对较低的精度。他的团队实现了单存储单元的最高精度，并通过集成这些器件的创新设计，在芯片级实现了精度。他指出：“这些创新显著提高了存储精度和效率，这对人工智能和神经形态计算而言至关重要。”

这项工作不仅仅是概念性的，它正在现实中发生；杨致远还拥有自己的初创公司 Tetramem，该公司正在开发这项技术，以用于新型电子设备。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。 如有侵权，请与我们联系。 所有信息仅供参考和分享，不构成任何投资建议。投资者应基于自身判断和谨慎评估做出决策。 投资有风险，入市需谨慎。

关注我们，一起探索AWM！

2025-04-25

2025-04-24

2025-04-24