8月7日晚,清华大学方璐教授、戴琼海院士为论文联合通讯作者在全球顶级科研期刊《Nature》发表题为“Fullyforward mode trainingfor optical neuralnetworks”的研究论文。清华大学为本文的第一完成单位,清华大学电子系博士生薛智威、博士后周天贶为共同第一作者。
科研团队另辟蹊径,首创全前向智能光计算训练架构,研制了“太极-II”光训练芯片,实现了光计算系统大规模神经网络的高校精准训练,为人工智能(AI)大模型探索了光训练的新路径。
据介绍,“太极-Ⅱ”的面世,填补了智能光计算在大规模神经网络训练这一核心领域的空白。除了加速AI模型训练外,其还在高性能智能成像、高效解析拓扑光子系统等方面表现出卓越性能,为人工智能大模型、通用人工智能、复杂智能系统的高效精准训练开辟了新路径。
Nature审稿人在审稿评述中指出“本文中提出的想法非常新颖,此类光学神经网络(ONN)的训练过程是前所未有的。所提出的方法不仅有效,而且容易实现。因此,它有望成为训练光学神经网络和其他光学计算系统的广泛采用的工具。”
该研究利用光子传播对称性,将神经网络训练中的前向与反向传播都等效为光的前向传播。在太极-II架构下,梯度下降的反向传播转化为光学系统的前向传播,训练过程仅需两次前向传播,具有天然对齐特性,确保了物理梯度的精确计算。这种训练方法精度高,支持大规模网络训练,且不再依赖电计算进行离线建模与训练。
太极-II光训练芯片以光为计算媒介,利用光的全前向传播实现训练,大幅提升了光网络训练的速度与能效。研究表明,太极-II能够对多种不同光学系统进行训练,并在各种任务下表现出卓越性能。在大规模学习领域,太极-II将数百万参数的光网络训练速度提升了1个数量级,智能分类任务的准确率提升了40%。在复杂场景智能成像方面,太极-II在弱光环境下实现了5.40×10^6 TOPS/W的全光处理,系统级能效提升了6个数量级。在非视域场景下,实现了千赫兹帧率的智能成像,效率提升了2个数量级。在拓扑光子学领域,太极-II能够自动搜索非厄米奇异点,为解析复杂拓扑系统提供了新思路。
太极-II的问世,进一步揭示了智能光计算的巨大潜力。太极I和II分别实现了高能效AI推理与训练,共同构成了大规模智能计算的完整生命周期。方璐表示,太极系列将为未来AI大模型注入算力发展的新动力,构建光算力的新基座。
目前,研究团队正积极推进智能光芯片产业化,在多种端侧智能系统上进行了应用部署。预计智能光计算平台将以更低的资源消耗和更小的边际成本,为人工智能大模型、通用人工智能、复杂智能系统的高速高能效计算开辟新路径。
编辑、审核:大可
版权声明:本文由“TOP大学来了”综合自“清华大学、Nature”,文章转载只为学术传播,如涉及侵权问题,请联系我们,我们将及时修改或删除。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.