网易首页 > 网易号 > 正文 申请入驻

挑战英伟达:首个纯AMD硬件训练的AI大模型ZAYA1登场

0
分享至

IT之家 11 月 25 日消息,AMD 公司昨日(11 月 24 日)发布公告,宣布携手 IBM 和 AI 初创公司 Zyphra,历时 1 年多时间,成功使用 AMD 硬件训练出首个大型混合专家(MoE)基础模型 ZAYA1。

IT之家援引博文介绍,该模型是首个完全基于 AMD 硬件生态系统构建的大型混合专家(MoE)模型,其训练过程完全在 IBM 云上进行,使用了 AMD Instinct MI300X GPU、Pensando 网络技术和 ROCm 软件平台,其详细技术报告已在 arXiv 上发布。

三方为训练 ZAYA1 模型,共同搭建了一个大规模、高可靠性的专用训练集群。该集群由 128 个节点组成,每个节点配备 8 块 AMD MI300X GPU,总计 1024 块 GPU,通过 AMD InfinityFabric 高速互联。

整个集群的实际训练性能超过 750 PFLOPs(每秒 75 亿亿次浮点运算),同时 Zyphra 为确保了训练过程的稳定与高效,还开发了一套针对 AMD 平台高度优化的训练框架。

ZAYA1 基础模型在预训练阶段使用了高达 14 万亿(14T)tokens 的数据,并采用了分阶段的课程学习策略:从初期的非结构化网络数据,逐步过渡到结构更清晰、信息密度更高的数学、代码和推理数据。

基准测试结果显示,ZAYA1 的综合性能与业界领先的 Qwen3 系列模型不相上下,同时优于 SmolLM3、Phi4 等主流开源模型。特别是在未经特定指令微调的情况下,其推理版本在数学和 STEM 等复杂推理任务上已接近 Qwen3 的专业版本。

ZAYA1 的优异性能还得益于其在模型架构上的两项关键创新。首先,它采用了新颖的 CCA 注意力机制(Compressive Convolutional Attention),通过在注意力模块内部引入卷积操作,显著降低了计算量和显存占用。

其次,该模型改进了混合专家模型(MoE)中常用的线性路由(linear router),设计了新的路由结构,提升了模型的表达能力和专家模块的专业化程度。这些创新共同解决了 Transformer 架构中的计算与内存瓶颈。

Zyphra 表示,ZAYA1 的成功发布只是第一步。目前公布的仅为基础模型预览,未来团队将发布经过完整后训练(post-trained)的模型版本,并提供更详尽的性能评测和训练经验分享。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

醉卧浮生
2026-11-22 10:56:08
中国灵活就业人数达3.2亿人!占就业人口的44%,太恐惧了!

中国灵活就业人数达3.2亿人!占就业人口的44%,太恐惧了!

廖保平
2026-11-22 09:20:01
破坏家庭,不正当交流!跑步被贴上负面标签

破坏家庭,不正当交流!跑步被贴上负面标签

跑者排球视角
2026-11-21 08:36:33
一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

互联鱼
2026-11-22 00:10:10
逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

火山詩话
2026-11-20 12:08:28
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

咸鱼金脑袋
2026-11-22 11:58:01
《GTA6》大尺度截图别乱发!玩家被封30天

《GTA6》大尺度截图别乱发!玩家被封30天

游民星空
2026-11-21 22:12:22
四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

农民日报
2026-11-21 19:13:51
曾经的“最快女护士”张水华黄石马拉松破个人纪录夺冠,6周连跑6场获5冠1亚,赛后最新发声

曾经的“最快女护士”张水华黄石马拉松破个人纪录夺冠,6周连跑6场获5冠1亚,赛后最新发声

上观新闻
2026-11-22 11:14:24
恭喜!39岁颜妮大婚,市长莅临现场,丈夫显成熟,郎平送祝福

恭喜!39岁颜妮大婚,市长莅临现场,丈夫显成熟,郎平送祝福

跑者排球视角
2026-11-22 12:22:54
亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

新浪财经
2026-11-22 11:35:43
越南通过新《刑法》,已经判处死刑、但尚未执行的相关案件,由越南最高人民法院院长将刑罚改为无期徒刑

越南通过新《刑法》,已经判处死刑、但尚未执行的相关案件,由越南最高人民法院院长将刑罚改为无期徒刑

法律学堂
2026-11-22 00:08:21
特朗普称普京是朋友当天,就怒批欧盟援乌,泽连斯基一个动作回应

特朗普称普京是朋友当天,就怒批欧盟援乌,泽连斯基一个动作回应

闻识
2026-11-22 00:55:38
撒谎,又被老百姓逮到了!

撒谎,又被老百姓逮到了!

走读新生
2026-11-21 23:58:51
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
炒股冠军的陨落!上半年1425.62%,如今-97.36%,千万账户已不足百万

炒股冠军的陨落!上半年1425.62%,如今-97.36%,千万账户已不足百万

金石随笔
2026-11-22 07:18:36
离谱!APEC会议都结束了,外国记者集体赖着不走,真相太圈粉

离谱!APEC会议都结束了,外国记者集体赖着不走,真相太圈粉

吃货的分享
2026-11-22 08:31:40
2026-11-22 15:48:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380756文章数 607745关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

教育
家居
亲子
手机
公开课

教育要闻

@北京高考生,这些多元升学通道到底有多"香”?

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

杂技团?特种兵?山东有家“硬核”幼儿园

手机要闻

终抵千万里程碑:曝华为Mate 80系列手机终端销量破1000万台,标准版占比近58%

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版