网易首页 > 网易号 > 正文 申请入驻

亚马逊强势推出Trainium3芯片,AI训练推理增添新选项!

0
分享至

当地时间 12 月 2 日,亚马逊云计算服务(AWS)在美国拉斯维加斯举办的年度云计算盛会“AWS re:Invent 2025”上发布了全新的自研Trainium3 芯片,以及采用 Trainium3 芯片的 Trainium3 UltraServer 服务器。

根据首席执行官Matt Garman的介绍,新款 Trainium3 芯片的性能是前代产品的 4 倍,并采用台积电 3 纳米工艺制造。每个芯片都配备了 144 GB 的 HBM3E 内存,内存带宽为 4.9 TB/s,提供 2.52FP8 PFLOPs的算力。

Trainium3UltraServer 单机最多集成144Trainium3 芯片,总共配备 20.7 TB HBM3E、706 TB/s 内存带宽,可提供最高 362 FP8 PFLOPS 的算力,时延降低 4 倍,可更快训练超大模型,并大规模支撑推理服务。

其计算性能比 Trainium2 UltraServer 高出 4.4 倍,能源效率高出 4 倍,内存带宽也高出近 4 倍。在使用 OpenAI 的开源大模型 GPT-OSS 进行测试时,Trainium3UltraServer 的单芯片吞吐量可提升 3 倍,推理响应速度提升 4 倍。这意味着企业可以在更小的基础设施规模下应对峰值需求,显著优化用户体验,同时降低每次推理请求的成本。

AWS 以垂直整合方式打造Trainium3UltraServer,从芯片架构到软件栈全链路协同。核心之一是新一代网络基础设施,用于消除传统分布式 AI 计算的通信瓶颈:NeuronSwitch-v1 提供 2 倍 的 UltraServer 内部带宽;增强型Neuron Fabric将芯片间通信延迟降低至 10 微秒以内。

这种强大的配置使得它非常适合处理下一代最前沿的 AI 工作负载,例如:训练大规模AI模型,可以将复杂模型的训练时间从数月缩短至数周;处理高并发的 AI 推理请求,以低延迟实时处理数百万用户的请求,例如智能对话、视频生成等;运行特定复杂任务,如智能体系统、专家混合模型和大规模强化学习等。

包括 Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh、Splash Music 等客户,已经借助 Trainium将训练和推理成本降低最多 50%。其中,Decart 在实时生成式视频方面实现了 4 倍推理速度提升,成本仅为 GPU 的一半;而 Amazon Bedrock 已经在生产环境中使用 Trainium3 提供服务。

对于需要更大规模的客户,EC2 UltraCluster 3.0 可连接数千台 UltraServer,构成拥有多达 100 万颗 Trainium 芯片的集群——是上一代的 10 倍。这使得此前完全不可能的任务成为现实:从在万亿级 token 数据集上训练多模态模型,到为数百万并发用户提供实时推理服务。

自研芯片是亚马逊的重要战略项目之一,目标是避免过度依赖昂贵的英伟达硬件。而对于 Trainium3 来说,一个关键问题在于:有多少大型外部客户会愿意采用这套硬件。尤其是在谷歌旗下的 TPU 持续抢占 AI 芯片市场的背景下。

另一个重要变量是 AI 初创公司 Anthropic 的芯片采购分配。今年 10 月,Anthropic 宣布与谷歌达成合作,将使用多达 100 万颗谷歌 TPU 芯片,以实现除亚马逊和英伟达之外的供应多元化。

Anthropic 表示,亚马逊仍是其主要训练合作伙伴与云服务提供商。该公司预计,到今年年底,将使用超过 100 万颗 Trainium 2 芯片,其中包括运行在拥有近 50 万颗 Trainium 处理器的 Project Rainier 超级计算机之上。

此外,AWS 也预告了下一代 AI 训练芯片Trainium4的研发进展。其在各方面都将实现大幅性能跃升,包括处理性能(FP4)至少提升 6 倍、FP8 性能提升 3 倍、内存带宽提升 4 倍。结合持续的软硬件优化,其实际性能提升将远超基准数值。


其中,FP8 提升 3 倍是一次基础性飞跃。模型训练至少快 3 倍,推理吞吐量也至少提升 3 倍,并且随着软件优化将获得进一步加成。FP8 已成为现代 AI 工作负载在精度与效率之间的行业标准格式。

为进一步提升单机扩展性能,Trainium4 将支持NVIDIA NVLink Fusion高速互联技术。该能力将使 Trainium4、AWS Graviton 处理器及 Elastic Fabric Adapter(EFA)能在统一MGX机架内协同工作,为客户提供支持 GPU 与 Trainium 的成本更优、性能更强的机架级 AI 基础设施。

这一整合将构建一个灵活、高性能的平台,优化应对未来对训练与推理都极其苛刻的 AI 工作负载。

https://www.aboutamazon.com/news/aws/trainium-3-ultraserver-faster-ai-training-lower-cost

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
苏牙:我和梅西当年劝内马尔别走,梅西曾说他留下就能拿金球

苏牙:我和梅西当年劝内马尔别走,梅西曾说他留下就能拿金球

懂球帝
2026-11-18 08:26:04
想念夏天的味道,还有大海的味道

想念夏天的味道,还有大海的味道

疾跑的小蜗牛
2026-11-15 19:27:04
再见,森保一!日本足球划时代:12场不败终结!新任主帅正式接班

再见,森保一!日本足球划时代:12场不败终结!新任主帅正式接班

徐罘老表哥
2026-11-18 03:01:48
56国收到邀请,唯独排除中国?美国本以为阴谋得逞,哪料中方反超

56国收到邀请,唯独排除中国?美国本以为阴谋得逞,哪料中方反超

关权教授聊经济
2026-11-14 22:16:53
说实话,俄罗斯对中国最关键的贡献,就是使整个西方对中国产生了误判——由此带来的战略误判和格局变化,值得深入思考

说实话,俄罗斯对中国最关键的贡献,就是使整个西方对中国产生了误判——由此带来的战略误判和格局变化,值得深入思考

z千年历史老号
2026-11-10 19:00:35
广东队惨败32分!得分点少+失误多+命中率太低,本场产生3个不争的事实

广东队惨败32分!得分点少+失误多+命中率太低,本场产生3个不争的事实

老吴说体育
2026-11-17 21:35:05
“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

蝴蝶花雨话教育
2026-11-18 00:05:17
乌戈措手不及!

乌戈措手不及!

体育哲人
2026-11-18 16:27:02
恭喜!王楠女儿打进全国八强,郭斌豪横奖励8888元,打脸所有质疑

恭喜!王楠女儿打进全国八强,郭斌豪横奖励8888元,打脸所有质疑

木鱼l
2026-11-18 21:20:16
王力宏同款羽绒服仅售16件,网友吐槽海报上的穿搭造型

王力宏同款羽绒服仅售16件,网友吐槽海报上的穿搭造型

韩小娱
2026-11-17 07:08:03
央视翻车?感动全网的老人拆墙让路竟然是多年违规占地?

央视翻车?感动全网的老人拆墙让路竟然是多年违规占地?

魔都囡
2026-11-18 03:15:27
汪东兴回忆:教员深入虎穴,挫败林彪惊天暗杀阴谋,过程太惊险了

汪东兴回忆:教员深入虎穴,挫败林彪惊天暗杀阴谋,过程太惊险了

南冥那只猫
2025-04-19 12:06:43
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

流苏晚晴
2026-09-01 18:39:03
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
俄罗斯军用运输机坠毁西伯利亚!机上19人全部遇难

俄罗斯军用运输机坠毁西伯利亚!机上19人全部遇难

项鹏飞
2026-11-18 20:27:45
汪希玥被宠成京圈公主,爷爷罕见露面送宠物,被富养的她变化太大

汪希玥被宠成京圈公主,爷爷罕见露面送宠物,被富养的她变化太大

子芫伴你成长
2025-04-25 21:20:38
西班牙U17主帅:中国队很危险,他们在亚洲取得了很好的成绩

西班牙U17主帅:中国队很危险,他们在亚洲取得了很好的成绩

懂球帝
2026-11-18 13:23:42
比亚迪新车官宣:11月24日,正式上市!

比亚迪新车官宣:11月24日,正式上市!

科技堡垒
2026-11-17 08:00:40
雷军在深圳发言,被调侃“有点社恐”,小米回应:这么大的国际场合,紧张太正常啦

雷军在深圳发言,被调侃“有点社恐”,小米回应:这么大的国际场合,紧张太正常啦

大风新闻
2026-11-18 08:30:03
2026-11-18 22:19:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515373关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
旅游
游戏
艺术
公开课

房产要闻

周大生出手!海棠湾又一大商业体来了

旅游要闻

昆明这个老码头好在!让你在家门口体验海滨度假

《GTA6》全新截图公开!男主开战斗机 女主瑜伽裤

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版