定制AI芯片，太热了

公众号记得加星标⭐️，第一时间看推送不会错过。

人工智能的蓬勃发展主要得益于标准化硬件，包括高性能GPU、通用CPU以及尽可能多的HBM和DRAM。但近期的一些事件——例如AMD收购Taalas、Etched完成7亿美元融资，以及前沿人工智能实验室开发自主芯片——表明定制硬件在人工智能的未来发展中可能扮演比最初预想的更为重要的角色。

硬件设计中性能和灵活性之间一直存在权衡，而且这种权衡可能永远都会存在。例如，通用CPU可以运行各种工作负载，并且效率也相当不错。但是，如果你想并行运行数学运算或图形密集型工作负载，最好还是使用更专业的芯片，例如GPU。

即使在GPU内部，芯片制造商也会根据GPU的运行工作负载类型做出决策。AMD认为双精度64位计算对其高性能计算（HPC）客户至关重要，因此在其即将推出的Instinct MI430X GPU中配备了大量的FP64核心。另一方面，英伟达则预见到对4位到32位精度的人工智能（AI）工作负载的需求将会增加，因此其最新的数据中心级GPU正是以此为设计目标。

随着人工智能的重心从训练转向推理，芯片设计理念再次受到冲击，迫使大型芯片制造商重新审视其既有思路。这也促使大型人工智能实验室和云公司加大力度开发自主定制芯片。

例如，英伟达并没有像近一年前宣布的那样，推出其旗舰级AI推理芯片——占用大量DRAM内存的Rubin CPX GPU，而是在2025年12月改变了策略，斥资200亿美元收购了Groq公司的资产。Groq公司开发了一种名为语言处理单元（LPU）的高速芯片，该芯片大量使用静态随机存取存储器（SRAM）。在3月份的开发者大会上，英伟达发布了Groq 3 LPU，该芯片针对极低延迟的token生成进行了优化，生成速度可达每秒数千个token，同时悄然将Rubin CPX从其产品路线图中移除。

AMD 也采取了类似的策略，计划收购 Taalas，该公司两周前宣布了这一消息。与 Groq 一样，Talaas 的 ASIC 芯片设计目标只有一个：尽可能快地生成代币。今年 2 月，Talaas 结束了隐秘运营，并推出了一款名为 HC1 的演示芯片，该芯片每秒可生成 16,000 个代币，速度几乎是当时同款 AI 模型下第二快芯片的 10 倍。

但有一个限制：HC1 仅适用于 Meta 的 Llama 3.1-8B 型号芯片。这家位于多伦多的芯片制造商之所以能实现如此惊人的代币生成速度，本质上是通过将 Llama 3.1-8B 的权重直接硬编码到硅芯片上实现的。这使得芯片能够以惊人的速度生成代币，但也几乎完全丧失了可编程性。此外，这也迫使 Talaas 不断调整硬件以适应新的或不断变化的软件，从而降低了其对市场变化的响应速度。这种灵活性的降低是速度提升的代价。

目前尚不清楚AMD对Talaas芯片的具体规划。这笔交易——具体条款尚未披露——尚未完成。不过，我们知道AMD计划将Talaas ASIC芯片与其他芯片（包括Epyc CPU和Instinct GPU）集成到其上个月发布的全新Helios机架中。或许，借助ROCm.ai中新发布的AI功能， AMD能够更轻松地将Talaas芯片整合到其ROCm软件栈中。

与此同时，初创公司Etched也采取了类似的方法来开发定制硬件。该公司旗舰产品搜狐芯片是一款专用于运行 Transformer 模型的 ASIC 芯片。搜狐芯片可以运行多个 Transformer 模型，因此不像 Talaas 的芯片那样只能运行 Llama 模型。但它也无法运行其他类型的 AI 模型，包括并发神经网络 (CNN)、长短期记忆网络 (LSTM) 和循环神经网络 (RNN)。（还有人记得这些吗？）

Etched 通过针对特定工作负载定制硬件并去除所有无关组件，从而大幅提升了 ASIC 的性能。该公司声称，其搜狐芯片在 Llama 70B 平台上每秒可生成 50 万个token，是配备八个 GPU 的 H100 系统吞吐量的 20 倍。

该公司声称：“我们共同设计芯片、机架、软件和制造方法，使前沿型号能够在预填充和解码工作负载方面实现一流的吞吐量、延迟成本和电源效率。”

今天，Etched宣布完成7亿美元融资，估值达到210亿美元。本轮融资由Jane Street领投，其他投资者也参与了投资。Jane Street不仅是Etched的投资者，也是其客户，目前正在生产环境中运行Etched集群。Etched表示，其已收到来自公共和私营前沿人工智能公司及云平台的10亿美元订单。

Etched 还宣布，他们正寻求在技术栈的更上层进行创新。该公司开发了一种名为低电压推理 (LVI) 的技术，该技术通过在 AI 推理期间降低数学核心的频率来提高集群的整体效率和密度。此外，他们还大力推广集群规模内存 (CSM) 技术，这是一种“混合内存子系统，它在整个集群而非单个芯片上创建一个庞大的共享内存池”。

该公司在其网站上表示：“我们的推理系统旨在推动前沿模型的整个帕累托曲线发展，包括数万亿参数的模态弹性模型、长上下文和智能体工作负载。这需要大量的协同设计，涵盖从新型芯片、封装、PCB、冷板、互连等各个方面。”

诚然，人工智能技术栈的各个层面都存在尚未解决的技术挑战。例如，我们仍在等待英伟达开始交付BlueField4 DPU，这是其CMX架构的最后一个也是至关重要的组件，英伟达希望它能解决KV缓存瓶颈问题。即使拥有世界上最快的处理器，如果无法进行数据存取，它们也毫无用处。

与此同时，领先的人工智能实验室也纷纷进军定制处理器领域。首先是OpenAI发布了首款定制人工智能推理处理器。这款名为Jalapeno的芯片由OpenAI和博通公司联合开发，Celestica公司也提供了协助。该公司承诺将在未来几个月内公布其性能细节。

为了不甘示弱，Anthropic也正寻求在定制芯片领域有所作为。据报道，该公司正在与三星洽谈，希望利用其先进的 2nm 制程工艺和封装技术，开发用于人工智能训练的定制芯片。尽管 Claude 的制造商 Anthropic 仍将继续依赖英伟达、谷歌和亚马逊的芯片，但它也看到了定制硬件的未来。

三大云巨头也都拥有各自的定制硬件：谷歌云的TPU、亚马逊云服务的Trainium以及微软云的Maia。当你的计算工作负载占据全球计算总量的一定比例时，规模经济效应就能帮助你开发出满足自身特定需求的芯片，正如这些云巨头所做的那样。

随着人工智能热潮的持续发展，企业对人工智能投资回报的需求日益增长，因此，最大限度地提升硬件性能将变得至关重要。人工智能推理工作负载的两个阶段——预填充和解码——与其他人工智能和高性能计算工作负载截然不同，因此，开发定制芯片的成本（不仅包括开发成本，还包括放弃其他用途的灵活性）非常高昂，从经济角度来看，这样做是合理的。

至少目前是这样。

（来源：编译自hpcwired ）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4504内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐