定制AI芯片正在崛起

AI热潮在很大程度上由标准化硬件驱动——强大的GPU、通用CPU，以及尽可能多拿到的HBM（高带宽存储器）和DRAM（动态随机存取存储器）。但最近一系列事件——包括AMD收购Talaas、Etched完成7亿美元融资，以及那些前沿AI实验室自研芯片——表明，定制硬件在AI未来中扮演的角色可能比最初预期的更为重要。

硬件设计中始终存在性能与灵活性之间的权衡，这种权衡未来也依旧持续存在。例如，通用CPU可以运行各种工作负载，且效率尚可。但如果你想并行运行数学密集型或图形密集型工作负载，那么使用更专用的芯片——比如GPU——会是更好的选择。

即使在GPU内部，芯片制造商也会对其将运行的工作负载类型做出抉择。AMD认为双精度64位计算对其HPC（高性能计算）客户至关重要，因此在其即将推出的Instinct MI430X GPU中塞入了大量FP64核心。Nvidia则预见到更多AI工作负载将以4位到32位精度运行，其最新数据中心级GPU就是据此设计的。

随着AI重心从训练转向推理，芯片设计的根本原则再次被撼动，迫使大型芯片制造商重新思考其优先级。这也推动大型AI实验室和云公司加倍投入自研定制芯片。

Nvidia的战略转向

例如，Nvidia并未交付其近一年前宣布的旗舰AI推理芯片——DRAM为主的Rubin CPX GPU，而是在2025年12月转向，斥资200亿美元收购了Groq的资产。Groq开发了一种以静态随机存取存储器（SRAM） 为主的高速芯片，称为语言处理单元（LPU）。

在今年3月的发布会上，Nvidia宣布了Groq 3 LPU，该芯片针对极低延迟token生成进行了优化，速率可达每秒数千token，同时悄悄将Rubin CPX从产品路线图中移除。

AMD收购Talaas

AMD现在正采取类似的举措——其计划收购Talaas（两周前宣布）。与Groq类似，Talaas的ASIC就是为一件事而设计：尽可能快地生成token。

今年2月走出隐身模式时，Talaas展示了其演示芯片HC1，能够以每秒16,000 token的速度生成，比该特定AI模型上一个最快芯片快近10倍。

但有一个关键限制：HC1仅适用于Meta的Llama 3.1-8B模型。这家总部位于多伦多的芯片制造商之所以能实现这一惊人的token生成速度，本质上是将Llama 3.1-8B的权重直接硬连线到硅片上。这使芯片能以惊人速度生成token，但也几乎放弃了所有可编程性。

它还迫使Talaas必须调整硬件以适应新的或变化的软件，这拖慢了对市场变化的响应速度。这种灵活性的降低，正是换取速度的代价。

目前尚不清楚AMD对Talaas芯片的具体规划。这笔交易（条款未披露）尚未完成。但我们知道的是，AMD计划将Talaas ASIC与其他芯片——包括其Epyc CPU和Instinct GPU——整合到上个月发布的新型Helios机架中。或许AMD将通过新发布的ROCm.ai中的AI能力，更轻松地将Talaas整合进其ROCm软件栈。

Etched：7亿美元融资，210亿美元估值

与此同时，初创公司Etched正在采取类似方法开发定制硬件。该公司的旗舰芯片Sohu是一款专为运行Transformer模型而设计的ASIC。Sohu可以运行多个Transformer模型，因此不像Talaas的芯片那样仅限于运行Llama。但它也无法运行其他类型的AI模型，包括卷积神经网络（CNN） 、长短期记忆模型（LSTM） 和循环神经网络（RNN） 。

通过将硬件专门针对特定工作负载并剔除所有无关功能，Etched得以从ASIC中榨取巨大的性能提升。该公司声称，其Sohu芯片在Llama 70B上可生成每秒500,000个token，称这是8 GPU H100系统吞吐量的20倍。

"我们对芯片、机架、软件和制造方法进行协同设计，使前沿模型能够以业界领先的吞吐量、延迟成本和能效运行预填充和解码工作负载。"公司表示。

今天，Etched宣布以210亿美元估值完成7亿美元融资。本轮由Jane Street领投，其他投资方参与。Jane Street不仅是投资者，也是客户，正在生产环境中运行Etched集群。Etched表示，其在公共和私有前沿AI公司及云厂商之间共有10亿美元的订单。

Etched还宣布将在技术栈上进一步创新。该公司开发了低压推理（Low Voltage Inference, LVI） 技术，通过在AI推理期间降低数学核心的运行来提升集群整体效率和密度。它还推出了集群级内存（Cluster Scale Memory, CSM） ，这是一种"混合内存子系统，在整个集群而非单个芯片上创建大规模共享内存池"。

"我们的推理系统旨在推动前沿模型整个帕累托曲线的提升，包括数万亿参数的MoE、长上下文和自主智能体工作负载，"公司在其网站上表示。"这需要密集的协同设计，从新芯片、封装、PCB、冷板、互连等方面全面创新。"

前沿AI实验室自研芯片

可以肯定的是，AI技术栈上下仍有尚未解决的技术挑战。例如，我们仍在等待Nvidia开始出货BlueField4 DPU——这是其CMX架构中最后一个也是关键的组件，旨在解决KV缓存瓶颈。你可以拥有世界上最快的处理器，但如果无法使数据进出，它们也毫无用处。

与此同时，领先的AI实验室也在进军定制处理器领域。首先是OpenAI宣布首款定制AI推理处理器——名为Jalapeno，由OpenAI与Broadcom联合开发，Celestica提供协助。公司承诺将在未来数月提供性能细节。

不甘示弱的Anthropic也在布局定制芯片。据报道，该公司正与三星洽谈，利用其先进的2nm制程节点和封装技术开发用于AI训练的定制芯片。虽然Claude的开发商仍将依赖Nvidia、Google和Amazon的芯片，但它也看到了定制硬件的未来。

三大云巨头也都拥有自己的定制硬件：谷歌（Google Cloud）有TPU，亚马逊（Amazon Web Services）有Trainium，微软（Microsoft Cloud）有Maia。当你承担着全球相当大比例的计算工作负载时，规模经济会对你有利——足以开发一款完全契合自身需求的芯片，正如云巨头们所做的那样。

定制芯片的经济逻辑

随着AI热潮演进，公司要求看到AI投资的回报，从硬件中榨取尽可能多的性能将变得更加重要。

AI推理工作负载的两个阶段——预填充（prefill）和解码（decode） ——与其他AI和HPC工作负载有足够大的差异，以至于不仅开发定制硅片的成本合理，而且为此放弃灵活性（无法用它做任何其他事情）的牺牲也是值得的。