日本的Fugaku超级计算机在很长时间里,一直都位居Top500榜首,即便现在已经不是世界上最快的计算机器,但是仍然是一个强大的系统。其搭载了富士通开发的A64FX,是首款使用SVE指令集的Arm架构处理器,具备多功能特性,支持FP64、FP32、FP16和INT8格式,允许用于各种工作负载,也包括人工智能(AI)。
据TomsHardware报道,富士通在本周发布了Fugaku-LLM,是一个具有高级日语处理能力的大型语言模型(LLM),专为研究和商业应用而设计,其中使用了Fugaku超级计算机来进行训练。Fugaku-LLM计划是由日本多家企业和科研院校合作推动的,包括了东京工业大学、东北大学、富士通、RIKEN、名古屋大学、CyberAgent和Kotoba Technologies等。
Fugaku-LLM具有130亿个参数,与 GPT-4的1750亿个参数相比显得要小得多。富士通表示,Fugaku-LLM的130亿个参数不需要大量的计算资源来推理,对日本的企业和研究人员来说是最佳选择,其中大约60%的训练数据是日语,40%的数据是英语、数学和代码数据。Fugaku-LLM有着不错的日语水平,在日语MT-Bench上获得了5.5的平均分,另外在人文和社会科学方面尤其出色,取得了令人印象深刻的9.18分的基准成绩。
A64FX采用台积电7nm FinFET工艺制造,拥有87.86亿个晶体管,596个信号针脚,集成了52个核心,包括48个计算核心和4个一样结构的管理核心。所有的52个核心分为四组,每组13个,共享8MB二级缓存。每组之间的互联使用的是富士通第二代TOFU,也就是6D mesh/torus片上互联网络。同时配置了配的32GB HBM2内存,16条PCIe Gen3通道,拥有1024 GB/s的存储带宽。可以提供2.7 TFLOPS@64bit,21.6 TFLOPS@8bit的性能。
富士通下一代针对AI和HPC应用的Arm处理器正在开发中,代号为“MONAKA”,以取代现有的A64FX。其配备了大约150个增强型Armv9核心,并拥有使用加速器的能力,将提供强大的性能。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.