Groq创始人深度洞察 ：推理越快=模型越聪明？

本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。

在人工智能基础设施的演进历程中，推理速度长期被业界视为一项单纯的工程优化指标，其价值主要被限定在改善用户体验与降低服务成本的范畴内，而非决定模型智能上限的核心变量。然而随着智能体应用的爆发式增长与实时交互需求的急剧攀升，这一传统认知正在经历深刻修正。

Groq 创始人兼 Google TPU 发明者 Jonathan Ross 指出，推理延迟的降低并非仅仅让响应变快，而是直接扩展了模型的搜索深度与反思能力。他进一步阐明 GPU 与 LPU 的互补关系如何提升推理速度，并揭示了少约束、高置信与去政治化的领导力体系怎样帮助组织找准方向并赢得竞争？

目录

01. GPU+LPU 如何提升 LLM 的智能水平？

推理速度如何影响大模型智能水平？GPU 与 LPU 如何实现架构互补?...

02. 什么样的领导力才能帮助组织找准方向并赢得竞争？

什么是「现实商数」与「制造不满」？

03. AI 时代正在经历怎样的范式转移？

代码配给制终结将如何重构工程生产关系？...

GPU+LPU 如何提升 LLM 的智能水平？

1、Groq 创始人兼 Google TPU 发明者 Jonathan Ross 近期接受访谈，围绕过去十年从创立 Groq 到最终并入英伟达的创业历程，系统阐述了其决策逻辑、领导力蜕变、债务危机、招聘标准以及与英伟达 200 亿美元交易的全程。

①Groq 由前 Google TPU 团队工程师 Jonathan Ross 于 2016 年创立，率先推出专为 AI 推理设计的 LPU（Language Processing Unit）架构，与依赖高带宽存储、擅长训练与通用计算的 GPU 形成对比。

② 2025 年 12 月 英伟达以 200 亿美元向 Groq 支付费用，获得其 IP 授权并聘请了大部分团队成员，后在 2026 年 3 月 NVIDIA GTC 2026 现场发布了搭载 Groq LPU 的 NVIDIA Vera Rubin 平台。

2、外界常将 Groq 视为 NVIDIA 的挑战者，而 Jonathan Ross 在访谈中明确 GPU 与 LPU 实为互补关系。他以美国物流网络的建立作比，若只能选择 18 轮重卡或最后一公里配送货车中的一种，答案显然是都要。

① 在 LLM 推理过程中，不同计算环节面临不同的瓶颈，注意力机制（Attention）受限于算力，而权重应用（Weight Application）则受限于内存带宽。

② Jonathan Ross 在访谈中分享了其团队的测试结果，将计算密集型任务分配给 GPU、内存吞吐密集型任务交给 LPU，可在全性能曲线上实现更优表现，而这一整合方案最初由 Groq COO Sunny Madra 提出，经由团队验证。

③ 当他们向黄仁勋展示成果并表达采购 10 万块 GPU 的意向时，黄仁勋当即判断该技术应面向所有客户开放。从首次沟通到 200 亿美元交易完成、资金到账，全程仅耗时三周。

3、基于 GPU 与 LPU 的互补的基础，Jonathan Ross 在对话中提出了」模型越快越聪明「这一观点，推理速度的提升，不仅解决了工程效率问题，同时提升了模型智能水平。他以「快思考与慢思考」的理论作为类比，表示推理速度的提升直接扩展了模型的反思与探索能力，从而具体局面下能找到全局更好的路径。

① Jonathan Ross 以 AlphaGo 为例， AI 面对棋盘上 270 种可能走法时，会对它们进行排名并虚拟演练。更快的硬件允许它在相同时间内搜索更深的决策链，从而发现原本因计算深度不足而被忽略的最优解。

② AlphaGo 模型在 GPU 上 ELO 评分约 3200，迁移至 TPU 后跃升至 3900 以上。

③ 在 AlphaGo 与李世石的对局中，著名的「Move 37」在训练数据中曾出现（万分之一概率），但在 GPU 上运行时未被找到，因为它在搜索链中太深了。当 TPU 提供了足够的推理速度，这一步创造性的走法才被「思考」出来。

4、由速度带来的智能提升，也能提升多智能体的协作效率。Jonathan Ross 认为当 AI 调用其他 AI 时，人类可容忍的 1 至 2 秒延迟对机器而言是一种浪费，而 LPU 带来的极速响应可使 Agent 能以接近自身思维节奏运行。

① 他以个人实践为例。他的 AI 助理会在主任务执行期间自动启动子 Agent 调研备选工具，进而形成自我强化的工作流。

什么样的领导力才能帮助组织找准方向并赢得竞争？

在企业发展与策略制定话题中，Jonathan Ross从组织、决策与人才维度分享AI企业商业化观点与实操教训。他提出量化核心目标、意向性领导与信息透明机制，并以现实商数和制造不满为标准筛选适配长周期竞争的人才...

关注「机器之心PRO会员」，前往「收件箱」查看完整解读