Aligned是人工智能基础设施和可扩展机器学习解决方案的领先创新者,近日宣布与AMD和南加州大学信息科学研究所(USC ISI)进行战略合作,以加快MEGALODON的开发和训练,MEGALOTON是一种尖端的大语言模型(LLM)。此次合作的核心是利用强大的AMD Instinct MI300 GPU和Aligned在人工智能操作方面的专业知识,在非NVIDIA架构上高效训练模型。
MEGALODON是USC ISI在大规模语言建模方面的旗舰项目,探索了一种新的MEGA架构,旨在提高长上下文保留率,同时降低计算复杂性。由于模型训练需要大量的GPU资源和复杂的系统编排,AMD和Aligned之间的合作旨在提升性能甚至超越传统的基于CUDA的环境。
Viterbi工程学院研究副教授Jonathan May表示:“随着研究人员突破模型大小和功能的限制,MEGALODON代表了架构和可扩展性的飞跃。这种合作带来了实现其全部潜力所需的计算能力和基础设施专业知识。”
利用AMD硬件和ROCm开放软件大规模解决人工智能问题
Aligned将在优化MEGALODON在AMD Instinct MI325X GPU上的训练方面发挥关键作用,利用AMD的ROCm平台作为CUDA替代品。Aligned正在提供工具和工程支持,以帮助USC ISI的研究人员利用最新的AMD GPU计算基础设施。
Aligned首席执行官Chris Ensey表示:“我们很高兴能与AMD和南加州大学ISI合作,帮助在大规模人工智能培训方面进行创新。”“我们的使命是在任何硬件上实现强大的人工智能——这种合作关系体现了这一愿景。”
世界级基础设施与世界级研究相遇
该项目还与ISI更广泛的公共和私人伙伴关系生态系统相交,包括DARPA(美国国防高级研究计划局)、NSF(美国国家科学基金会)、洛克希德·马丁和雪佛龙,展示了基础人工智能研究的现实影响。MEGALODON正在使用高性能计算集群和先进的存储技术进行开发和测试,未来计划使用更先进的AMD GPU(如MI355x)进行扩展。
主要合作亮点:
新颖的LLM架构:MEGALODON集成了MEGA注意力机制,提供了改进的可扩展性和长上下文性能。
跨平台人工智能支持:首次通过ROCmTM开放软件生态系统在AMD MI325X上训练大规模模型。
先进的基础设施:联合访问超级计算集群、高通量存储和MOSIS等定制芯片原型实验室。
资金和机构支持:由美国国家科学基金会资助和南加州大学致力于推进开放、可互操作的人工智能研究。
NVIDIA DLI 与 Ai 时代前沿合作,将大门向更多普通用户敞开!无论你是对新技术充满好奇心的爱好者,还是希望提升自己技能的职场人士,这里都有适合你的课程和资源。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.