山东
IT之家6月16日消息，微软昨日（6月15日）发布博文，援引《Joule》研究指出，AI 在大规模部署下的能耗与用水量显著低于外界早前估计。
该研究认为在大规模推理场景下，外界对 AI 大语言模型的关注点，不应该只放在单个模型的训练 / 推理规模，更应该注重用户典型调用下的“每次查询”。
该研究指出一次常规典型 AI 调用，耗电0.16至0.60瓦时（watt-hours），约等于一台40瓦电脑运行15至60秒，或1000瓦微波炉工作0.6至2秒。相比此前文献和媒体报道，新研究的数据低至1/4到1/20。
水资源方面，保守估计下，典型查询的冷却用水为0.0至0.067毫升，中位数约相当于1/100茶匙，甚至少于1滴。微软还提到，随着零用水数据中心设计推广，这一数字还有继续下降的空间。IT之家附上相关截图如下：
微软发布博文
微软指出规模越大，单位查询效率通常越高。大系统可同时处理更多请求，并在模型、调度、硬件多个层面叠加优化。就像大型航空公司更容易通过统一调度节省燃料，云平台也能把效率改进扩散到每一次推理。
在10亿次日查询场景下，基础耗电约0.7吉瓦时；若加入效率优化，可降至约0.3吉瓦时。即使10% 请求属于代码生成、多步推理等长任务，整体能耗仍可比基线下降一半以上。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
