Agent Infra，巨头都在布局的隐秘战场｜对话百度王雁鹏，聊模型、智能体与 AI 基建的新动向

我们正经历从模型到 Agent 时代的过渡。

模型能力的边界，是最关键的制约。

对于做工程的人来说，

这是一个值得兴奋的时代。

我们正经历从模型时代到 Agent 时代的过渡。

底层技术正在发生怎样的演变，有哪些硅谷与国内的重要 AI 趋势？为什么这是工程师最好的时代？

我邀请了百度智能云 AI 计算首席科学家王雁鹏，深入探讨 Agent Infra 这个重要的「隐秘战场」。

以下是访谈整理，经编辑后发布。

（️原版访谈的视频版可前往微博、B 站、视频号等平台观看；播客版可前往小宇宙等平台搜索同名账号《卫诗婕_漫谈Light the Star》）

嘉宾 | 王雁鹏（百度智能云 AI计算首席科学家）

漫谈Light the Star

PART ONE

Agent 做 demo 很好，

大规模进入生产环节还不行，

模型能力的边界，是关键的制约

卫诗婕： Agent 到来了，Infra 发生了哪些根本性的改变？

王雁鹏：可以这么理解， Infra 其实是一个很古老的工作。泛化一点来讲，其实就是抽象一个层次，让这个层次有足够的通用性。狭义一点的，互联网讲的 Infra ，最早大家更关注的是操作系统。但这一次 AI Infra 确实也是一个很大的变化。原来它是一个纯软件的概念——因为 CPU 的时代，芯片已经固定好了。 CPU 本质上就是一个能够跑任何应用的芯片，不需要为每个应用做深度优化。但这一代 AI Infra 是以 GPU 为核心构建的， GPU 极大地释放了算力，却牺牲了通用性。所以就把原来偏软件的 Infra 推向了软硬一体的 Infra 。

卫诗婕：作为一个 Infra 人，过去半年在想些什么？

王雁鹏：今年大家看到一个最大的进步，就是 agent 这个概念真正的火起来了。 从 ChatGPT 出来到今天的小龙虾，大家可以看到它真正的进入完成任务的环节，对 Infra 来说意味着从原来只做 API 模型的推理调用，到完成一个真实的任务。意味着得有一个完整的环境。这个时候基建怎么做？各种工具怎么搭建，更适合 agent 去使用？我觉得这是下一阶段最重要的事情。

卫诗婕：我感觉整个科技生态里，虽然出现了一些还不错的应用，但还没有到真正让人特别 aha 的状态。我前几期刚好跟 agent 创业者聊，大家都有一个共识——现在的 agent 可用，但还没有到 “好用” 和 “安全放心的用” 的阶段。所以这个阶段其实是充满机遇和挑战，过去的成功者特别怕跌下神坛，新的创业者特别怕自己做晚了，或做早了，或者自己做的东西被巨头颠覆掉了。你有观察到这种趋势吗？

王雁鹏：对，我刚才说了第一阶段，就是 Chat 阶段，大家已经感受到很多了。第二个阶段就是 agent ，它确实可以帮助完成真实世界的任务。但是现在大家有个感受，拿现在的 agent 去做一个 demo 很容易，但是要做一个能够稳定运行的，能够 cover 各种边界条件的线上系统还比较少。

另外一个逻辑就是大家会发现要完成某一部分工作相对容易。但是要做某一方面的岗位，这件事情还不行。这就反映了生产环境还不够，或者说大家摸索到的范式还不足快速开发。比如说开发一个替代后端研发的工程师的角色。

所以我认为 agent 它一定要进入生产环节，严肃的任务环节。

卫诗婕：但是业内大家的共识是， agent 替代岗位，形成一个新的组织工作流，这件事一定会发生。你觉得是什么制约了我们现在卡在这个还不够好用、安全、放心用的阶段？

王雁鹏：我认为是模型的能力的边界。这件事情是一直在探索。你刚才提到了，现在有很多 agent 的创企心里都很忐忑。其实这个东西已经发生了几轮了。 ChatGPT 刚出来的时候，当时比较有名的创企给你很多 prompt 模板，帮你做各种广告片、海报，那是第一波。

后来模型能力提升一下， prompt 不那么重要了。接下来大家说我要做 context engineering 。一个复杂任务，需要把它拆到不同的上下文里，得有不同的角色，不同的工作流来解决它。所以说模型能力的边界在哪里就决定了最终的基建。 infra 就是抽象一层，让这一层能够很好的服务上面一层的概念，它要对下面有很好的抽象，对上面要有很好的支撑。基于你这个层次，我可以做各种不同的应用。但是现在这一层在哪里其实是不确定的，因为模型一直在变化。

卫诗婕：那怎么办呢？

王雁鹏：还有很多不变的东西。百度云一直坚持的理念是芯模一体，四层架构协同的发展。大家说现在模型的智力等于算力，算力等于电力。那就是说，要想有更好的模型，就必须要有更好的算力，更好的 Infra ，要让单位 token 的成本更加的低。这就是新时代定义的偏算力的 AI Infra 。

但是光有这个东西可能还不够，还得有一套运行时的 Runtime ，能够在生产环境大规模的用。那我的 agent 得可控、可信任。现在大家从 demo 到生产的时候，还遇到一个问题，就是每一次执行的结果是否都是不变的、可重复的。所以在基础设施的层面，需要构建一套能够快速部署开发的、大规模运行的系统。

漫谈Light the Star

PART TWO

OpenClaw 之所以振奋人心，

是它把 Agent 泛化到了更通用的场景

卫诗婕：今年年初 OpenClaw 大火，紧接着 Hermes 出现了，一连串的 agent 爆火，你是怎么理解的？

王雁鹏：OpenClaw 当时出来的时候，第一感觉是好像没有什么特别的，因为在程序员的世界里面，已经被震撼过一波了——早几个月的时候大家可以看到 Opus 4.5 推出来，包括配套的 Claude code，真的可以完成很多原来程序员的工作了。OpenClaw 整体的运行框架其实还是那一套系统，或者 Harness 搭建出来的东西。一个是它的主循环，一个是它所调用的工具，再一个是 memory 系统。这一套东西的范式是相对通用的。

然后还有一个范式就是它用了非常底层的工具文件系统。原来大家会想 memory 到底存在哪里，最早兴起的是用 rag 去做召回，但是那个东西相对不通用。现在的 agent 设计里面，大家是基于文件系统的。

卫诗婕：为什么 RAG 不通用，但基于文件系统就通用？

王雁鹏：因为文件系统可以存更多、更丰富的信息。RAG 它本质上还是一个数据库，把相关的数据片段给召回来。你给它关键词，它给你抽取跟这个关键词相关的片段给你。

但是文件系统就是一个笔记本，是非常底层的工作的范式，是一个通用的系统。这一套东西在 Claude Code 的视角里面只为 Coding 服务。所以我的第二反应是， Open Claw 它确实是一个很震撼人心的东西，因为它把这一套东西泛化到了一个更大的通用的场景上面。大家用 OpenAI 就可以感受到，有记忆，还可以给你提供情绪价值。它的价值在于，真的让人感觉到了 AI 是可以像一个人一样完成你所有的任务，把 agent 推向了全场景。

卫诗婕： Hermes 是不是在 OpenClaw 的范式上又更进一步？

王雁鹏：我个人觉得好像没有那么大的变化，但确实做了一件非常好的事情，可以自动净化你的 Skills 。这确实是个痛点，越用越聪明这件事情到底能不能做成？在这一点上面应该是做了很好的加强。

卫诗婕：越用越聪明，在技术层面是怎么做到的？

王雁鹏：定期的反思。假设今天可以定期抽取，完成哪些任务。这个任务第一次哪里不好？反馈是什么？有没有把它做得更好？把这些东西整理起来，就会形成一个更好的明天你可以用的 skill 。

卫诗婕：但我们在跟 Claude 和 Codex 交互的时候，也可以试图让它越用越聪明。

王雁鹏：这就是刚才我们聊的，它没有帮你做一个更拟人化的 memory ，没有自动化收集你的 skill ，帮你整理知识，帮你做成 general 的组件。所以你刚才说的是对的， Hermes 和 OpenClaw 是在产品化的某一方面帮你解决了一个比较重大的问题，让你觉得它更加的好用了。

漫谈Light the Star

PART THREE

从模型到 Agent 时代，

系统的变化会非常深刻

卫诗婕：未来的一个窗口期内， agent 会越来越多，会有个井喷。但我自己会好奇， agent 到底是会永恒的越来越多呢？还是说可能会边际递减，到一个范式收敛的阶段之后， agent 又会约束，控制它的「人口」，让它在一个最高效的数量里面协作？

王雁鹏：我个人觉得会是 agent 越来越多。现在大家看到的这种无序，更多的是大家在探讨摸索 agent 的边界，那就有不同的开发的范式。但是如果我们往后看，如果 agent 能力的边界相对的 OK 了，现在的大模型，包括 agent 这一套，以后应该是一个类似今天操作系统的东西，它给你提供了一个很好的 agent 开发的平台，但是在这个上面会长出各种不同的场景和应用。这个效率可能是数量级的提升，所以这个判断是取决于，今天大模型到底是不是一个模型就能完成所有的工作？

我认为模型以后会是 OS ，它是一个很聪明的大脑。但是你想要完成一个任务，就得有每一个任务的上下文、记忆、工作流。大模型吸收的是思考的方式、方法、范式等等，但是每一项具体的工作的 knowhow 、workflow 、记忆的能力，积累下来的数据，都会是不一样的。基于这个判断，我认为会有很多的 agent 出现，替代各种不同的工作，最终到生产力真正的井喷。

卫诗婕：如果过去一个阶段，整个 Infra 的主力任务是如何更好地调用模型，从这个任务要跃迁到「如何更好的支持更多 agent 的工作」，这个进化到底是在原来的 Infra 系统上面打补丁就可以，还是要彻底重构一个 Infra ？

王雁鹏：我觉得是两个方面，原来的 AI Infra 就是为训练和推理去解决的。产品界面就是一个训练、推理的集群。在 agent 时代，从 AI infra 的角度，肯定需要一个更强的推理集群。更重要的是， agent 时代之后，上下文特别长，现在最先进的模型已经支持 1 兆的上下文了。

卫诗婕：过去如果你用 chat 的形式跟模型交互，但再怎么聊，它本质上还是一个聊天窗口的量。但是你要让 agent 帮你执行任务的话，过程中会浏览大量的网页、外挂信息，它自己要调用各种各样的工具。这个消耗的 token 比你跟它聊天多。

王雁鹏：对，执行完了之后，我会把所有的上下文再拿回来给你，意味着它的输入会非常长。所以现在它其实是小步快跑，完成一个任务要迭代很多轮。大模型来看你反馈是啥，再决定你下一步往哪里走。所以它对 AI infra 的第一个冲击就是上下文扩充特别的长。对系统的冲击其实还是很大的，因为做一个系统其实就是在平衡算力、网络、存储，怎么设计系统，能够支撑更长的上下文，更多的模型、芯片等等。这些方面会有一个主线，降低单位 Token 的成本，复杂性高了很多。另外一层， Agent Infra 本质，我认为给大家提供一个完成各种任务的环境。 Agent 能够适应多轮的迭代，要足够的安全、稳定、结果可复现。

卫诗婕：您刚刚提到了三个关键词——算力、网络、存储，是 infra 的三大支柱。算力肯定是要消耗更多的，网络是更加复杂的，存储的记忆上下文是会爆炸的。这三个挑战怎么去攻破呢？

王雁鹏：对于我们来说，需要去支持更多元化的芯片。怎么样让国产的芯片能用起来？芯片的设计其实是一个非常系统化的工程，里面有很多细节的取舍。其他家构建的芯片在模型的调用、推理的这些表现上面会有差别。面临更多的芯片，更多的地域，更多的异构环境，这是要解决的问题。

卫诗婕：存储方面有什么挑战吗？

王雁鹏：现在 AI 的从 GPU 开始，其实就用了大量存储的芯片。需要存更多的上下文，就要用更多的内存。高端的存储，比如说搭配 GPU 用的 HBM ，这些东西其实都是比较短缺的。存储又是一个非常周期性的行业，它要扩产其实是不太容易的。要投一个存储的产线，到能生产出来，可能至少两年的时间过去了，而且投一个存储的产线，消耗的钱非常多。

卫诗婕：这也是为什么现在存储涨价的原因。因为现在的产能是几年前备好的，但是这一波 AI 井喷，对于存储、算力需求都爆炸。

王雁鹏：前面好些年存储的需求、价格一直是往下走的。因为原来存储最大的驱动其实是消费电子，就手机电脑这些东西，曲线已经比较平稳了。所以说整个存储的产能其实是一直供过于求的，大家没有预料到这一轮 AI 会这么的强劲。

回到 agent 这个话题，今年大家看到的一个更大的变局，就是如果 agent 真的能够蓬勃发展的话， CPU 的消耗应该也会变。因为原来 CPU 搭的系统是给人用的，现在 agent 的调用会比原来人更频繁，这个基础上，原来给人用的工具，现在要改造成给 agent 用。 agent 如果真的蓬勃了，就会去调很多的工具。刚才我们说了，要完成一个任务，先用 GPU 思考一下，思考完交给 CPU 去做。之后再把结果告诉你，你再交给它去做。而且 multi agent 可以并发做 1000 个人。每一个都要去调工具，调我们原来搜索的 API ，这些东西都是 CPU 的消耗，所以这是一个重要的指标。接下来如果 CPU 的消耗量大量的增加，就证明 agent 在生产环境有了更高速的落地。

卫诗婕：这是一个很好的信号， CPU 的消耗量你可以窥见 agent 到底有没有在做好他的工作。调用工具的指标是跟 CPU 相挂钩的。但存储这一块的挑战会是什么？

王雁鹏：我们要把存储的视角稍微放大一点，它应该是一下子到芯片级别，不光是咱们现在看到 SSD 、内存，大家也会为推理设计新的芯片，它是一整个推理系统的变化，这个系统的变化会非常的深刻，从芯片设计本身，到系统设计，到软件设计。

卫诗婕：第三个就是网络。我们现在都说 multi agent 要让海量的 agent 高效协作，在这么一个语境下，对于网络的挑战是什么？

王雁鹏：我觉得反而 agent 这个东西对网络没有太大的变化。因为网络现在核心追求的，你看我们会做超节点， NV 也会推它的超节点。超节点就是说原来一台服务器基本上就是 8 块 CPU ，里面会有快速的、高速的互联，把 GPU 给连起来。但是现在会发现 8 块就不够了，所以我希望有一个高速的总线，扩展到一个更大的规模，那就是现在的超节点，从物理上，可能扩展到一个机柜，甚至一个机房，都有超高速的互联。它的核心是把原来片内的总线扩展到一个集群的总线上面，达到的效果就是通信的带宽提升了 10 倍或者几十倍的数量级的变化。

漫谈Light the Star

PART FOUR

以模型为核心，Agent 和 Infra 会形成一个 OS

OS 是巨头争夺的焦点

卫诗婕：回到我最初的问题，我们现在肯定是需要一套全新的 Agent Infra 。它跟上个时代 AI Infra 的关系是怎么样的？

王雁鹏：我觉得是个扩展，上一个时代 AI infra 的工作，其实在现在变成了一个基座。目的就是提供更便宜的 token 。在这个基础上，我刚才说的这一套运行时的环境，我认为这是为 agent 去设计的一个可运行的系统。

卫诗婕：巨头都在打造全新的 AI 和 Agent Infra，这好像是一个特别吸睛又特别决定未来的一个赛道，是这样吗？

王雁鹏：我觉得是，为什么这一轮 AI 里 infra 变这么重要？我们原来说的 IT ，其实更多的是服务互联网的，是一个成本项，服务 1 万个用户和 1 亿个用户成本消耗不大，其实没有什么边际成本。但是在 AI 的时代，算力的突破让我发现了一个通用的算法，所以它天然就是跟算力绑定的，智能其实是等于算力的，那它天然就变成了一个你的生产资料了。说中美的差距的时候，大家一推演发现，中国的电力好像比美国要强。因为大家会发现做软件是相对容易的，所以做软件的人更多，做模型好像也没那么难，但芯片相对难一点。流片更难一点，再往下电力就更难了，所以你会发现从软件到硬件世界，更加的困难的不光是人才。要投入的资源，不是一天两天能够弄起来的，越往下走越重资产。所以这是大家都在重力的投 Infra ，或者对 Infra 有足够的关注的一个本质的原因。

卫诗婕：硅谷现在最炙手可热的几个巨头，像英伟达、Google ，还有大家最关注的 OpenAI 和 Anthropic ，他们应该都有不同的做法。

王雁鹏：对，巨头一定会往下做。我们说芯云模一体，垂直的整合，这是所有巨头都会走的路。可以从上往下看，我认为以模型为核心的，包括 agent 、 infra 加在一起，它会形成一个 OS 层，这个操作系统其实就足够的庞大，会形成一个新的生态。在这个生态下面，我就有机会往下去做整合，所以今天大家第一目标就会抢这个入口， OS 是大家要争夺的焦点。入口就是大家要基于我这个东西去开发应用，而且开发完了能在我的系统上面高效的跑。

卫诗婕：所以实际上能够争夺入口的还是大厂。

王雁鹏：我认为往后看可能还是这样，但是每一家的做法不一样，这是因为软件世界和硬件世界是有 gap 的。一个软件公司，想去做好芯片，说实话挑战还挺大。它的工作模式还是不一样的，你投入的点，关注的点，周期也不一样。大家谈到垂直整合的时候，都会说今天我知道模型往哪里走，就能定义一颗更好的芯片。从逻辑上来说是很对的事，但实际操作里面有非常大的不确定性。今天模型定义了这个芯片，两年半出来以后，还是不是这个模型的需求？很大程度上是不是的。所以我认为大家都会想走垂直整合的这条路，但是实际上怎么能保证成功？

为什么大家觉得今天的 Google 做的比较好呢，尤其 Gemini 3 出来之后重回王座。很大的一个因素就是因为 Google TPU 已经做了快 10 年了。它的软件栈、模型，是通过 JAX 去做的，也没有复用 PyTorch 这一套东西，整个 Infra 、模型的这一套也是它自己的，所以芯、云、模真的是一体化的。它自研了芯片，所以理论上成本也会更低一些。那大家就觉得它很强大了，变成了在 AI 的竞争里面基石性的东西。它有这个能力去做垂直整合，天然就会在这几层持续的去发力。所以你就会看到它内功比较深厚，每一层好像都没有短板，你就没有理由怀疑它模型一定做不好。

卫诗婕：但是现在最近这两个月， Codex 也追上来了， OpenAI 好像聚焦了之后又行了。大家就开始说「谷歌又不行了，它已经是一个老厂了」。你怎么看？

王雁鹏：我个人觉得这就跟原来 Gemini 3 出来之前是一样的。它有这么深厚的全栈的能力积累，没有能力做不好。就好比 Anthropic 它成功很大的程度上是因为两年前确定了就做这一件事。但是对于 Google ，我既然有这么强的积累和底座能力，我可能会同时支持做好几个，可以稍微比你慢一点。

卫诗婕：英伟达也在做这一整层的布局，对吧？

王雁鹏：我觉得 NV 确实是一个非常值得敬佩的公司，因为它是一个从芯片行业做起来的。 CPU 的时代其实是被英特尔这一套东西锁死了的。摩尔定律背后就是在 CPU 这一层做了一个非常良好的切分，只用把 CPU 的晶体管越堆越多， CPU 的性能就能提升，上面所有的应用是不用改的。但是 NV 第一天就在不断的试图去打破这个边界，当然它也赌对了 AI 这一条路，所以你就会发现 NV 今天它已经不是一个芯片公司，它是一个系统公司。你会发现它做了一个庞大的系统，包括 CUDA 、算子、针对各种模型的优化，你要知道这些东西都是很难做的。它打破了原来软件和硬件的边界。现在换每一代 GPU ，上面的软件都大改了。我们刚才在聊垂直整合，它就是一个很好的例子，从芯片做到系统，做到了互联、存储、CPU 、软件，这是 NV 今天这么强大的原因，最先进的模型是在他给你提供的最先进的系统上面做出来的，由不得你去定义系统。

卫诗婕：但这也是NV现在面对一些隐形挑战的原因，大量的需求现在只能被迫接受 NV 给我的产品，实际上并不一定是最优解。所以现在也有很多创业公司在围绕着缝隙做一些新的方向和产品。

王雁鹏：我个人觉得还是挺难的，你是在他给你做的这一套系统上面做出来的最先进的模型。这个最先进的模型还在不断的迭代，你怎么能保证你做出来的东西比他的还要好呢？这是个有鸡有蛋的问题，今天最先进的模型是最先进的硬件，这个系统去催生出来的，我觉得这是 NV 今天如此强大的原因。

但是你说这个事情有没有缝隙？我认为有的，一个大的点就在于推理系统，模型训练出来了，可能就不完全用他那一套东西了，有时间做一个 for 推理的芯片。包括 NV 自己，收购了 Groq 也是希望在推理上去做更大的变革的，我再推出一套推理的系统，今天来看他还是最强大的，但是我认为有机会做出来不一样的玩家，或者不一样的巨头。

卫诗婕：英伟达作为一个芯片厂商去做 infra ，和 Google 全栈地去做一个 infra ，本质的区别是什么？

王雁鹏：Google 它相当于有自己的一套东西为自己服务。如果今天是一个创业者去用 TPU 的话，我相信是不那么好用的，因为它缺乏刚才我们说的软件生态，算力可能有至少 50% 被浪费了。如果你算子写的不好，系统做的不好，可能 80% 的算力都发挥不出来。但是 NV 今天所有最先进的模型都是基于他做的，自然这一套东西是相对完备的。就可以组合很多创新的模式，这也回应了我刚才为什么觉得训练系统比较难打破生态的逻辑，即使 Google 今天做这么好，把 TPU 给别人去做训练，还是一件很困难的事。

卫诗婕：那 OpenAI 跟 Anthropic 这两家明星公司呢？他们在 infra 的层面的思路是什么？

王雁鹏：我个人看到的不一定全面，对 Anthropic 来说，现在的重心其实更多在想把模型 OS 系统给做好，所以现在 Claude code 这一套东西确实是领先的。大家都在追赶他。他在这一块发力是比较明显的，希望把这个入口做得更加的强大。Coding 就是高价值任务的底层的能力，所以你看之前 OpenAI 追求的也是 DAU （DAU 是一个偏用户侧产品的指标），但他们现在也转向追求 token 消耗，其实本质上也是为了往价值结果去转。

Anthropic 现在的策略还聚焦在这个方向上：AI 帮你完成高价值的任务，给你建设一套 Infra，包括模型以及模型上面的 Harness ，然后你在上面去开发高价值的任务。至于下面，他也知道生产资料很重要，所以采取的策略就是跟各大厂商签订协议，来保证算力的供给是安全的。当然这里面他自然也会有把各种芯片用起来的能力。

卫诗婕：Anthropic 是所有的我刚才提到的这些公司里面，相对来讲比较轻资产的。因为它也没有投资建厂，而是通过一种相对轻资产合作的方式建立一个生态。

王雁鹏：对。市面上还有几家云的公司可以供给算力，短期内算力对它来说也不是生死攸关的。现阶段就更聚焦做现在更想做的事。

卫诗婕：同样是训最强大的 SOTA 基座模型，为什么 OpenAI 好像把 算力这个事情看成是生死攸关的事？

王雁鹏：OpenAI 一上来还是生态平台型的打法。或者说他更想成为 Google ——之前推出了 GPT Store ，当时他想对标 APP Store ，希望这一套生态把所有人先拉进来，形成粘性了之后，自然生态的力量就发挥出来了。在这个逻辑上，你就可以理解他一方面跟博通合作做芯片；另外一方面生产资料得把握在自己手里。当年 OpenAI 可能是希望占据了入口，大家越用越好用，把生态做起来。

卫诗婕：形成生态是靠某一种长板特别好用，人民用脚投票呢？还是一套生态打法 work ？

王雁鹏：我觉得两方面都有，搜索确实是一个用户产品，大家用了觉得好，自然就粘性会强。 Google 为什么今天你会发现它四层的技术都很强？因为它做搜索的时候，也是在这些方面发力。对外呈现的产品形态其实是比较简单的，一个搜索框，但它背后是一个非常庞大的系统。

卫诗婕：今年 3 月英伟达 GTC 有什么样重要的风向吗？

王雁鹏：推理系统，你会发现今年 NV 讲的最多，推出了一个 GPU 和收购 Groq 的 LPU 的混合推理方案。另外一个重点就是 agent 时代真的要到来的话， CPU 也会更多，所以说他今年也推了他自己设计的 CPU 。

卫诗婕：您有没有关注到有哪些明星独角兽，在做哪些方面的创新？

王雁鹏：从趋势上来讲，大家第一个关注点就是推理芯片，以 Groq 为为代表。在这一个技术方向上面有各种不同的尝试。

再就是从 infra 本身，也有做的比较好的像 Fireworks ，怎么样让 infra 的效率去提升，把每一滴算力的性能都发挥出来，能够降低 token 成本，有很多功夫在里面的。

agent infra 大概可以分成一些部分：

1. Agent 运行时的环境，怎么搭沙箱这些东西，要能够快速的启停，要有更好的安全边界。还有一个就是我怎么去编排它。有记忆系统，有沙箱的执行系统，还有大模型的思考系统，这个东西怎么样部署到环境上面去？能够让它稳定、高效、可复现的运行。

2. 记忆系统肯定也是一个关键，记什么东西？怎么样抽取我要的东西回来？但是这一块现在开发范式还没有定。今天的 Memory 系统是不是上一个时代的数据库？我认为至少今天我们还没看到（答案）。要做成什么样的 Memory 能够承担这个职责？这一层到底存不存在？大家还在一个探索期。

漫谈Light the Star

PART FIVE

衡量 token 的效率变得重要

对于做工程的人来说，这是一个值得兴奋的时代

卫诗婕： Infra 其实是一个技术支撑系统，但是当底层技术还在变化且没有到天花板的时候，所有支持系统的人都是要非常灵活，每个阶段都得 review 一下自己的战略是否正确。

王雁鹏：对。做应用的人应该是找到一个痛点，然后快速的做产品，让这个产品能够满足一部分人的需要。但是做 infra 的人，你更应该想，这一层抽象是不是相应的能涵盖更多的需求，支撑他们开发。尤其在我们今天的时代，已经变了好几轮了。最早就是 LangChain ，不知道你听说过没有？做 workflow 编排的，那时候听起来也比较 make sense 。但最后大家用那个解决不了复杂任务问题，就变成 agent loop 了。你完成 loop ，不需要那种很精细的 workflow 的。

卫诗婕：我听下来，今天巨头确实是挺捏一把汗的，因为所有人都在看天走路。

王雁鹏：以后的格局是什么，我觉得还不好说，但大家现在笃定的就是这一轮 AI 确实是一个生产力的革命。但是最后的局势，到底是一家把东西全干了？还是剩下几个寡头？这还看不清。

卫诗婕：国内的 infra 环境，跟海外是很不一样的，是这样吗？

王雁鹏：一方面是芯片环境不一样，在国外绝大多数还是在 NV 的生态上面更统一。在国内呢，天然的我就要考虑国产的芯片啊，要做多芯适配，天然是有差别的。好的方面，现在中国的开源是远远领先于美国的。大家是真的能够去共同进步的。你看现在领先的、反响最好那几个模型其实都是开源的。所以我就知道它的架构往哪里走。

卫诗婕：所以中国 Infra 一定会有自己的路径吗？

王雁鹏：我认为在有更多的芯片，更开放的模型开源的情况下，是会走出来自己的路径的。意味着我们跟他的芯片选择可能不完全一样，做出来的东西也能完成这个目标，也能实现更好的 token 成本。

卫诗婕：如果中国 Infra 有可能完全是一条自己的路径的话，会不会也影响中国的 AI 路径，有一些确定性的轨迹可以遵循？

王雁鹏：确定性的轨迹可能现在没有，我觉得大家都在这里面找平衡点。国产的芯片到底行不行呢？华为前几天不是公布了它那个韬定律吗？就是在芯片制程受到制约的时候，通过芯片的架构其他方面的设计去做一个更强的系统出来。这个情况下，我相信中国的 AI 的市场和人才是足够的，大家在这个形势下会走出自己的路，或者会想出方法。正好到 AI 时代里面，自然就发挥了更大的价值。包括百度自己的昆仑芯应该是 09 年还 10 年就开始做了。从那个时候，我们的思路就是一下子深入到底层，做硬件。当时去优化的是搜索的 workload 。只是说今天从搜索的 workload 变成了 AI 的 workload ，相对其他的一些公司来说，可能在（Infra）这个方面就有更多的能够发挥的空间了。

卫诗婕：但你需要一些突破口，上一个时代拥有超大应用的公司，本质上都会往 infra 做。大家都在提供类似的服务，今天所有人也都在喊，「要给 agent 打造环境」，你们押注要做出的特色是什么？

王雁鹏：第一点，提供更高效的算力效率， token 效率。第二点现在云是我们一个很重要的业务出口，希望我们这一套有更多的客户帮我们一起把这一套生态做得更好，做下一代真正爆款的应用。现在的 agent 也好，具身智能的客户也好，我们希望在他们比较小的时候就跟我们合作了，如果在我们的云上面长出来，那我觉得这一套东西可能就更有竞争力。我们可以讲的远一点，台积电当年也是个小公司，它就是因为某一单，做了一款产品之后，发展到今天的。

卫诗婕：硅谷很多公司都在重新定义 Infra 的指标。前阵子百度的大会， Robin（李彦宏） 也提出了一个新的指标，叫 Daily Active Agents，就是 DAA 。 Infra 的指标你们现在是怎么定义的？

王雁鹏：特别明确的就是 Token 的效率指标，不特别明确的其实就是要用 DAA 帮我们牵引的。底层的话，我们那个效率指标是一个很明确的，牵引了我们往下走的冰山下面那一大坨。前一段时间大家都在用 token 衡量，会发现 token 很快就被玩坏了，我拿 token 干一些没用的事，那这个 token 消耗没有没有价值。所以 DAA 这个指标我认为是帮我们指引它真实完成的任务，以及任务产生的价值的指标。能够长时间运行这个任务，代表任务价值是多的，乘以数量，就是你最终创造的价值总量。

再往下走，怎么样能让更多的 agent 开发出来呢？第一步得让人家开发的足够快，第二步得让它运行的比较顺利，出错了也可以自动的恢复，这个结果也可以 check 。再一方面就是从任务价值的角度，我们也会分任务难易，价值高低。价值高的我就能花更多的功夫去做它，得把高价值的东西做到 DAA 里面来，变成 daily active 的 agent 。模型的调用是一方面，另外一方面我能够用各种不同的模型。第一步先从高价值的任务能跑的可用。如果可用了，再想办法让他用更多低成本的模型，这也是一条路径。

卫诗婕：这些云厂商也好，超级大厂也好，在过去相当长的一段时间，肯定是希望你消耗越多的 Token 越好。但是现在你们更衡量的是 token 到底有没有被用好。这是一个转变吗？

王雁鹏：我觉得，首先如果无脑的大家都用 token ，那我们肯定很开心。但是这只是一个梦想，大家都发现你的 token 用的不好，谁还会来真的持续的用这个 token ？

卫诗婕：为什么现在要强调 harness ，是因为你要是不去界定它的话，可能一下子给你烧（超）了。那个账单太可怕了。

王雁鹏：对，所以说不能利用大家的恐慌心理，就都来烧 token ，这个东西肯定是不可持续的，还是要想办法去让大家真正地创造价值。其实这个东西已经变了好几轮了，如果我们回顾一下之前，大模型刚出来的时候，咱们当时说要赋能千行百业的做法，其实是做模型微调。那个时候其实百度云就投入了大量的精力去帮人做专家模型。因为当时觉得大模型的能力不够，所以必须要有各个行业自己的知识往里面训。今天看其实那个路已经行不通了。但我想表达的是，我们希望提供一个平台，一个东西能够帮助大家更蓬勃的把应用给做起来。至于这个东西产品功能在哪里？这还在变化的过程中。

卫诗婕：个人层面，过去半年、一年有什么真的让你特别兴奋，觉得特别好玩的事情吗？

王雁鹏：看到了 Infra 变化，有很多可选项，其实就很兴奋了。比如说 CPU 的时代，其实你是不会在芯片层面去想什么工作的。做到 AI 时代，你就会发现，我可以做很多系统层面的东西。 Agent 时代，我要做更不一样的系统。刚才说了 Agent OS 的这么一层抽象概念，我觉得对于做系统的人来说都是值得兴奋。能做的探索的空间变得比原来大很多了，而且影响更加大了。我觉得这也是贯穿我们今天的话题的， agent infra 之后， infra 的范围其实又变得更多了，往上往下其实都会走得更深入。

往大了一点讲的话，现在整个研究范式都在工程化，即使做一个算法，也是用工程化的方式在做。在这个时代，大家都是 transform 架构，拼的不是灵光一闪的逻辑了。把算法、Infra 、agent 做好，你都要搭建一套工程架构，有一套体系来驱动工作更好的完成。

我觉得对于做工程的人来说，这是一个值得兴奋的时代。

同期播客已经上线，欢迎前往小宇宙等平台收听