亚马逊强势推出Trainium3芯片，AI训练推理增添新选项！

当地时间 12 月 2 日，亚马逊云计算服务（AWS）在美国拉斯维加斯举办的年度云计算盛会“AWS re:Invent 2025”上发布了全新的自研Trainium3 芯片，以及采用 Trainium3 芯片的 Trainium3 UltraServer 服务器。

根据首席执行官Matt Garman的介绍，新款 Trainium3 芯片的性能是前代产品的 4 倍，并采用台积电 3 纳米工艺制造。每个芯片都配备了 144 GB 的 HBM3E 内存，内存带宽为 4.9 TB/s，提供 2.52FP8 PFLOPs的算力。

Trainium3UltraServer 单机最多集成144Trainium3 芯片，总共配备 20.7 TB HBM3E、706 TB/s 内存带宽，可提供最高 362 FP8 PFLOPS 的算力，时延降低 4 倍，可更快训练超大模型，并大规模支撑推理服务。

其计算性能比 Trainium2 UltraServer 高出 4.4 倍，能源效率高出 4 倍，内存带宽也高出近 4 倍。在使用 OpenAI 的开源大模型 GPT-OSS 进行测试时，Trainium3UltraServer 的单芯片吞吐量可提升 3 倍，推理响应速度提升 4 倍。这意味着企业可以在更小的基础设施规模下应对峰值需求，显著优化用户体验，同时降低每次推理请求的成本。

AWS 以垂直整合方式打造Trainium3UltraServer，从芯片架构到软件栈全链路协同。核心之一是新一代网络基础设施，用于消除传统分布式 AI 计算的通信瓶颈：NeuronSwitch-v1 提供 2 倍 的 UltraServer 内部带宽；增强型Neuron Fabric将芯片间通信延迟降低至 10 微秒以内。

这种强大的配置使得它非常适合处理下一代最前沿的 AI 工作负载，例如：训练大规模AI模型，可以将复杂模型的训练时间从数月缩短至数周；处理高并发的 AI 推理请求，以低延迟实时处理数百万用户的请求，例如智能对话、视频生成等；运行特定复杂任务，如智能体系统、专家混合模型和大规模强化学习等。

包括 Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh、Splash Music 等客户，已经借助 Trainium将训练和推理成本降低最多 50%。其中，Decart 在实时生成式视频方面实现了 4 倍推理速度提升，成本仅为 GPU 的一半；而 Amazon Bedrock 已经在生产环境中使用 Trainium3 提供服务。

对于需要更大规模的客户，EC2 UltraCluster 3.0 可连接数千台 UltraServer，构成拥有多达 100 万颗 Trainium 芯片的集群——是上一代的 10 倍。这使得此前完全不可能的任务成为现实：从在万亿级 token 数据集上训练多模态模型，到为数百万并发用户提供实时推理服务。

自研芯片是亚马逊的重要战略项目之一，目标是避免过度依赖昂贵的英伟达硬件。而对于 Trainium3 来说，一个关键问题在于：有多少大型外部客户会愿意采用这套硬件。尤其是在谷歌旗下的 TPU 持续抢占 AI 芯片市场的背景下。

另一个重要变量是 AI 初创公司 Anthropic 的芯片采购分配。今年 10 月，Anthropic 宣布与谷歌达成合作，将使用多达 100 万颗谷歌 TPU 芯片，以实现除亚马逊和英伟达之外的供应多元化。

Anthropic 表示，亚马逊仍是其主要训练合作伙伴与云服务提供商。该公司预计，到今年年底，将使用超过 100 万颗 Trainium 2 芯片，其中包括运行在拥有近 50 万颗 Trainium 处理器的 Project Rainier 超级计算机之上。

此外，AWS 也预告了下一代 AI 训练芯片Trainium4的研发进展。其在各方面都将实现大幅性能跃升，包括处理性能（FP4）至少提升 6 倍、FP8 性能提升 3 倍、内存带宽提升 4 倍。结合持续的软硬件优化，其实际性能提升将远超基准数值。

其中，FP8 提升 3 倍是一次基础性飞跃。模型训练至少快 3 倍，推理吞吐量也至少提升 3 倍，并且随着软件优化将获得进一步加成。FP8 已成为现代 AI 工作负载在精度与效率之间的行业标准格式。

为进一步提升单机扩展性能，Trainium4 将支持NVIDIA NVLink Fusion高速互联技术。该能力将使 Trainium4、AWS Graviton 处理器及 Elastic Fabric Adapter（EFA）能在统一MGX机架内协同工作，为客户提供支持 GPU 与 Trainium 的成本更优、性能更强的机架级 AI 基础设施。

这一整合将构建一个灵活、高性能的平台，优化应对未来对训练与推理都极其苛刻的 AI 工作负载。

https://www.aboutamazon.com/news/aws/trainium-3-ultraserver-faster-ai-training-lower-cost