富士通发布了Fugaku-LLM，使用Fugaku超算进行训练

日本的Fugaku超级计算机在很长时间里，一直都位居Top500榜首，即便现在已经不是世界上最快的计算机器，但是仍然是一个强大的系统。其搭载了富士通开发的A64FX，是首款使用SVE指令集的Arm架构处理器，具备多功能特性，支持FP64、FP32、FP16和INT8格式，允许用于各种工作负载，也包括人工智能（AI）。

据TomsHardware报道，富士通在本周发布了Fugaku-LLM，是一个具有高级日语处理能力的大型语言模型（LLM），专为研究和商业应用而设计，其中使用了Fugaku超级计算机来进行训练。Fugaku-LLM计划是由日本多家企业和科研院校合作推动的，包括了东京工业大学、东北大学、富士通、RIKEN、名古屋大学、CyberAgent和Kotoba Technologies等。

Fugaku-LLM具有130亿个参数，与 GPT-4的1750亿个参数相比显得要小得多。富士通表示，Fugaku-LLM的130亿个参数不需要大量的计算资源来推理，对日本的企业和研究人员来说是最佳选择，其中大约60%的训练数据是日语，40%的数据是英语、数学和代码数据。Fugaku-LLM有着不错的日语水平，在日语MT-Bench上获得了5.5的平均分，另外在人文和社会科学方面尤其出色，取得了令人印象深刻的9.18分的基准成绩。

A64FX采用台积电7nm FinFET工艺制造，拥有87.86亿个晶体管，596个信号针脚，集成了52个核心，包括48个计算核心和4个一样结构的管理核心。所有的52个核心分为四组，每组13个，共享8MB二级缓存。每组之间的互联使用的是富士通第二代TOFU，也就是6D mesh/torus片上互联网络。同时配置了配的32GB HBM2内存，16条PCIe Gen3通道，拥有1024 GB/s的存储带宽。可以提供2.7 TFLOPS@64bit，21.6 TFLOPS@8bit的性能。

富士通下一代针对AI和HPC应用的Arm处理器正在开发中，代号为“MONAKA”，以取代现有的A64FX。其配备了大约150个增强型Armv9核心，并拥有使用加速器的能力，将提供强大的性能。