公众号记得加星标⭐️,第一时间看推送不会错过。
硅光子学正在成为高性能计算系统中GPU和CPU之间海量数据传输的一种方式,但如果完全依靠光和光子学进行计算呢?这正是Lumai公司开发的光学计算技术的核心所在。该公司今天发布了其首款服务器,名为Iris。
Lumai公司源自牛津大学,该大学率先提出了一种利用光进行数据处理的新方法。该公司的三维光学技术结合了激光和薄膜,将数据编码为光,然后对其进行一系列计算。
Lumai产品负责人菲尔·伯尔表示:“人工智能的核心在于向量-矩阵或矩阵-矩阵的乘法。我们所做的就是将输入的向量编码到光中。通过透镜将向量传递进来,我们实际上是在光中免费复制向量。然后,我们将该向量复制到矩阵上。因此,我们将矩阵值编码到薄膜的透射率中。”
他表示,这项光学技术使用户能够进行与TPU和GPU相同的计算。Lumai技术的优势之一(除了节能之外)是能够计算高达2048×2048的超大型矩阵。
“这意味着它非常高效,速度非常快,”伯尔说。“如果用硬件来实现,你无法处理这么大的矩阵。你必须把它分割成更小的矩阵。然后你还得移动这些数据来重新构建矩阵,这非常浪费资源。所以这就是(Lumai 的方法)真正高效的原因。”
Lumai发布了三款Iris系列服务器,分别是Nova、Aura和Tetra。Nova服务器现已面向超大规模数据中心、新型云服务商、企业和研究机构开放评估。它采用混合处理器,可运行Llama 8B和70B架构。Lumai的量产产品Aura计划于2028年上市,Tetra则暂定于2029年推出。
Lumai公司表示,其技术在执行相同的AI推理工作负载矩阵乘法运算时,与基于GPU的系统相比,能耗降低90%。这得益于3D光学计算独特的扩展特性。
“从数字信号到光信号的转换是有成本的,”伯尔说。“这种转换的功耗与信号向量的宽度成正比,而性能则与宽度的平方成正比。所以本质上,随着矩阵尺寸的增大,效率也会提高。”
Lumai的光计算机利用了许多目前数据中心可用的商用现成技术,包括激光器。Burr表示,用于硅光子学的激光器类型与Lumai技术的计算所需的激光器类型相同。
“所以基本上已经实现了量产,”他说。“我们不需要研发任何新材料。因此,实际上,批量生产的成本会比英伟达的GPU更低。”
同样,用于编程和运行 Lumai 服务器的软件栈并不像光学计算那样复杂。Lumai 可以接入现有的数据流,并且可以使用 PyTorch 等框架开发应用程序。他表示,Lumai 开发了特定于硬件的内核,使开发人员能够使用 PyTorch 对 Iris 服务器进行编程。
人工智能巨大的能源需求正威胁着它尚未完全发展起来就可能夭折。据彭博社报道,今年美国近一半的数据中心项目将被推迟或取消,电力和电气元件(例如变压器)的供应不足被认为是主要原因。
“人们如此关注这个问题的部分原因是,他们意识到硅芯片的微缩技术已经基本停滞了,”伯尔说。“没错,你可以缩小制程节点,但收益已经大大降低,而且本质上,为了获得更高的性能,你需要付出更高的功耗和更复杂的工艺。封装尺寸会越来越大,发热量也会越来越高。因此,他们审视了传统数字系统的发展路线图和他们自身的软件需求路线图,发现两者并不匹配。所以他们意识到需要寻找新的技术。”
Lumai 将其技术定位为在不超出能源预算的情况下,为新一代智能体人工智能提供动力。具体而言,它瞄准的是人工智能推理的预填充阶段,该阶段通常受计算资源限制,需要使用能够快速处理大量数据的强大处理器,例如 GPU 和 TPU。相比之下,解码阶段通常受内存限制。
“随着行业向推理时代转型,我们也同时迈入了后硅时代,”Lumai科技首席执行官兼联合创始人郭先新博士表示,“通过将计算范式从电子转移到光子,Lumai科技能够在显著节能的同时,实现性能数量级的提升。”
(来源:编译自HPCWIRED)
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4391内容,欢迎关注。
加星标⭐️第一时间看推送
求推荐
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.