公众号记得加星标⭐️,第一时间看推送不会错过。
![]()
未来,光而非硅或许将定义人工智能存储和调用知识的方式。约翰·卡马克(John Carmack)——这位因参与《毁灭战士》(Doom)和Meta虚拟现实项目而闻名的工程师——最近提出了这一想法,他建议使用光纤环路作为人工智能模型的高速数据缓存。他在X论坛上的简短帖子引发了一场激烈的技术讨论,研究人员和技术专家们对经典计算机理论与现代光网络技术的融合充满兴趣。
这个思想实验始于一个数字。单模光纤现在可以以每秒 256 太比特的速度传输 200 公里的数据。基于这一容量,卡马克估计,在任何给定时刻,电缆中大约存储着 32 GB 的信息。
卡马克建议不要将此视为单纯的数据管道,而是将循环本身用作存储。这种“二级”缓存可以以光速持续循环存储模型权重。其原理类似于内存(RAM)在硬盘和处理器之间缓冲数据,但延迟几乎为零,带宽却高得多。
这种方法背后的物理原理并不新鲜。评论者很快将卡马克的推测与延迟线存储器联系起来,这是一种20世纪中期的技术,它将信息以脉冲的形式存储在水银管中。甚至艾伦·图灵也曾开玩笑说要用杜松子酒作为介质进行实验。
尽管早期的系统由于稳定性差和实际应用受限而被弃用,但光纤技术以现代精度重新赋予了这一概念新的生命。与易失性DRAM相比,光具有可预测性、低功耗和巨大的带宽潜力。
潜在的效率优势是该方案吸引人的原因之一。动态随机存取存储器(DRAM)需要不断进行电信号刷新以保持比特状态,这在大规模人工智能服务器中会消耗大量能源。相比之下,光纤只需极少的功率即可维持光信号。
正如卡马克所观察到的,光纤传输的增长曲线可能比DRAM更有利,尤其是在元件小型化速度放缓的情况下。但他承认存在一个主要障碍——200公里长的高品质光纤成本高昂,而且维持传输所需的放大器和数字信号处理器可能会抵消任何节能效果。
这场辩论甚至转向了推测。埃隆·马斯克设想了基于真空的光数据传输——本质上是在自由空间中进行激光存储——尽管这个想法目前更像是科幻小说,而非工程方案。
对卡马克而言,更实际的下一步似乎更脚踏实地:通过直接接口将闪存芯片与人工智能加速器紧密耦合,使模型权重能够在计算单元之间快速移动,而无需依赖DRAM。这种集成需要半导体制造商和加速器设计者之间的合作,但考虑到人工智能基础设施领域的巨额投资,没有人认为这是不可能实现的。
研究团队已经开始探索使用固态存储的类似架构。例如,2021 年的 Behemoth 和 FlashNeuron 项目,以及 FlashGNN 项目,都研究了使用 NAND 闪存作为神经网络的近内存缓存。
最近,增强型内存网格(Augmented Memory Grid)计划提出了一个开源框架,旨在优化大型模型的键值缓存效率。虽然这些系统仍处于实验阶段,但它们表明存储和内存之间的界限已经开始模糊。
https://www.techspot.com/news/111298-john-carmack-proposes-fiber-optic-loops-high-speed.html
(来源:编译自techspot)
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4317期内容,欢迎关注。
加星标⭐️第一时间看推送
求推荐
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.