创业公司如何在AI Infra的巨头生意中，博得一席之地｜对话首席

随着深度学习和复杂模型的不断涌现，对算力的需求持 续上涨。企业正加大对高性能计算资源的投入，特别是GPU和TPU等专用硬件的使用。而如何降低模型部署成本是各家公司一直考虑的关键点。

今天特邀AI基础设施领域专家、趋境科技CEO艾智远，一起围绕AI Infra市场的商业创新与竞争机遇，进行深度对话。

内容已做精简，如需获取专家完整版视频，请扫码领取。

01

创业二三事

趋境科技创立刚满一年时间，您也从大厂研发负责人转变为创业公司CEO，如果用三个关键词总结2024年，会是哪三个关键词？

艾智远：那应该是从零开始、多重打工人、成长突破。

第一个从零开始是因为之前的团队经过五年的时间形成了规模，各个方面都趋近于成熟化，对于新公司 来说首要问题是怎么找到合适的伙伴一起创业。大厂背景下会有伙伴慕名而来，但对于创业公司来说还需要摸索和探讨，一切都是从零开始。

第二点是体会了多重打工人的 身份，公司刚成立的时候，我主要是寻找大方向，做技术决策。再到后来财务管理、 场地租赁、融资情况、企业文化、保洁安排等都需要处理，感觉自己在各种忙碌的角色中进行切换，像管家一样服务公司。

第三个关键词是成长突破，我在之前的公司做到研发主管层面，很多流程都比较熟悉。但是现在要面临公司如何实现商业化的问题，以及如何选择商业路径， 尤其目前市场上还没有展现出非常精通大模 型商业逻辑的公司，大家都在摸着石头过河。我在这个过程中不断的突破自我，学到了很多东西，从财务本身到融资，再到产品研发，方方面面都要重新学习。总体而言，这个过程辛苦，但做着 自己喜欢的事，我认为是一个很让人兴奋的过程。

艾总的回答很符合初次创业者的心态，您所在的AI Infra和大模型领域中，清华系公司很多，而且大多数是清华师生共同创业，趋境科技略有差别，是知名投资人+清华系技术的组合创业，为什么是这样的组合？

艾智远：每次融资也会有人提这个问题，创业的过程往往是遇到什么 机会就抓住什么机会，所以创业的过程中有必然和偶然的推动。

起初我们的天使投资方真知资本和清华实验室有较多合作，并且当时也探讨过大模型时代要做什么事情。 当初我们赌了两件事情：

第一是大模型的预训练，最后开源社区跟闭源的差别缩小，并且 开源的生态发展比较好。

第二件事是‌Post-training（后训练）的算力布局比Pre-train（预训练）的算力布局会更长 。在这个假设背景下，真知资本和清华实验室一拍即合，共同 创立了趋境科技，专注于AI Infra赛道，降低私有化大模型落地的准入门槛。刚开始我们对真知资本的模式了解甚少，但是经过2024年全年运营，我们发现“投资人+技术的组合创业”是一个适合我们且对公司良性发展非常有利的模式。

真知资本的风格是深度孵化，投资人亲自下场帮助公司发展，替我们解决了很多不擅长领域的工作，免于被公司创立初期的杂事所干扰。我们是第一次创业，之前更多专注 于技术本身。真知资本具有丰富的公司运营经验，从前期公司的创立、商业化路径的选择、人才的引进、资源的引进，财务的建立、融资等各个方面给与了很多专业化的经验，帮助我们少走了很多弯路。一方面让我们更加聚焦在业务本身，另一方面让公司的运转也更加有条理。所以我们在整个商业化的过程中没有发生任何变故，可谓麻雀虽小，五脏俱全。

“投资人+技术创业”这种组合在过往几年也存在，万一真的发生了分歧，最后是谁去拍板做决策呢？

艾智远：目前还没有遇到过分歧，大家的想法比较一致。我们内部是研发层面占比更大。也就是 说研发的事情由我们自己做决策。投资人更多是在辅助我们把公司创立起来，最终还是要交到我们自己手里。

02‍

行业竞争格局与市场机遇

2024年AI Infra比较火热，也是经历了从算力紧缺到算力过剩，您怎么看待算力过剩这个问题，是不是真的有“泡沫”？哪些环节存在算力泡沫呢？

艾智远：目前大家认为的算力过剩更多是在数据中心，算力中心在目前的运营中可能存在供需割裂的问题。我们调研并反推出两个原因：‍‍

1）最开始算 力的建设以大模型训练为初衷，而模型训练算力的需求降低比大家想象中要快，这可以从部分大模型公司开始放弃预训练的行为中看出。实际上，目前大模型落地过程中，微调不算是大家的首要方案，主要还是通过通用模型RAG的方式来解决。

2）第二点是应用问题，应用 跟模型是息息相关的，大模型应用还在探索的路上，落地的速度还没有达到预期，从而造成应用对算力的消耗量没有爆发起来。

我认为目前给出泡沫的结论还太早。2025年初，一些头部公司已经开始转向推理算力平台建设了。随着这两年的不断试错，2025年会面临更多大模型应用的落地，我们在客户侧也见到了不少跟业务结合不错的应用落地案例，甚至有大型企业2025年预计有数十、数百个AI应用的落地规划，应用场景遍布多个业务环节。

此外，在企业私有化的场景中，很多企业和单位还没有算力的建设，大家是基于应用来构建算力，这部分的需求也不少，企业都在着手部署推理算力的建设。

李喆：了解，这个问题我们内部也有探讨，可能觉得现在AI Infra还是有一些“泡 沫”存在的，但我们更多是思考哪里存在泡沫。

第一是市场炒N卡价格，这会是一个关键的泡沫。2023年，NVIDIA DGX B200系统的价格是250万左右，当时有国内 的集成商会把八张卡做合成去卖，价格大概是100万+。后面国内厂商集成系统的价格逐渐趋近于原版，所以类似的哄抬市价的行为必然存在泡沫。供不应求时抬价“囤卡”，出现泡沫后市场需求就会减少，价格也会下降，但这是一个正常的市场行为。

第二是兴建智算中心，这的确有一部分价值，但是也有通过新能源骗政府补贴和保险的现象，这种泡沫是应该戳破的，减少不必要的资源浪费。

第三是AI 芯片，这部分我认为谈不上泡沫，目前国内可供给的芯片较少，国产芯片仍然需要扶持。

我们能看到Infra是很大的市场机会，但是对比原来的云市场，可以发现早期虽然有小厂商占据一定的市场份额，但是后来阿里、腾讯、华为大厂入局，打下了云市场，再到第三波国资进场，移动、天翼和联通三家进来瓜分，可见基础设施市场也是一门巨头生意。而对创业公司来说，一般是要找“非共识”机会，AI Infra属于大家都能看得到的机会，这对创业公司来说，该如何看待呢？

艾智远：首先大家认可AI Infra的市场机会，证明方向是没错的，创业公司最怕选错方向。其次创业公司要找到适合自己体量以及技术的客群和场景，我们选择的赛道和大厂不一样。对于AI Infra，目前主流的AI Infra厂商主要做两个事情：

第一件事情是做 Model as a Service（ MaaS），第二件事情是算力租赁。

在共识的机会面前找到合适的切入口，用自己独到的技术把这个切入口吃透，创业公司就可以构建自己的一席之地。

我们的选择不同，瞄准企业私有化模型落地的场景，因此我们需要把成本在私有化层面降下来，比如最近很火的DeepSeek发布的6710亿模型，它能否在私有化场景中，以成本可控的情况下部署落地？这是需要面临的考验和挑战。

当前市场中的项目交付时，仍热衷于推荐7B或13B以内的模型，但是我们遇到的客户认为模型不够大，认为如果是AI Coding的千亿模型效果会更好，这时我们要怎样控制成本呢？这其中最大的问题是应用价值和应用价格达不到很高的附加值，如果项目部署下去，应用带来额外的业务增长能不能支撑百万量级的成本？这也是我们在AI Infra赛道里看到并想要去做的方向。

那您认为AI Infra市场未来会是什么格局？它会走Auth市场的老路吗，还是会有自己新的格局发展？

艾智远：可能会有一些不一样的点，但目 前整体发展的逻辑态势比较类似，都分公有市场和私有市场，但是公有市场比私有市场发展的更快。但市场中存在两个变数：

第一个变数是来源于硬件本身，目前硬件是不确定的。国产和进口硬件有很多系列，他们怎么搭配是不确定的。另外可能会有 外来厂商介入市场格局，这也使得市场存在很大变数。

第二个变数是应用，目前应用 逻辑没有完全验证通过，也许会出现应用厂商主导的 AI Infra 市场。

另外在AI Infra市场中，似乎各家重心都放在“囤卡”上，但初创公司资源有限，竞争力也有限，您怎么看待这个问题？

艾智远：“囤卡”背后可能是这两种考虑：一是Model as a Service（MaaS），另一个是租赁。所以我认为创业有两种逻辑，一种逻辑是为公司拉更多投资来储备资金，再去做卡的重资 产。第二个逻辑也是我们正在遵循的，聚焦在私有化大模型的落地场景上。这样的选择会紧贴客户的业务需求进行算力的建设，因此是有的放矢的进行GPU卡的采购，并不算是重资产的业务。而且从2023年开始，趋境科技就直接瞄准了推理算力的建设，而不是训练算力。推理卡相比于训练卡还是要便宜的多，因此我们在现金流上的压力并不大 。

“囤卡”的逻辑业务，我认为在租赁市场中会存在投资周期长、用户集群忠诚度低的问题，风险较大。我们更关注大模型推理技术本身的核心竞争力的构建，也是业界第一个提出“以存换 算”的概念，通过廉价的存储来置换高昂的GPU算力成本，避免大量的重复计算，从而带来10倍的GPU成本降低。

同时，我们也提出基于异构协同的推理架构，通过对MOE模型的计算任务拆分，联合CPU和GPU的算力，在一张4090D的显卡上就可以运行千亿大模型。此 外，还有2024年AI Infra层面比较火热讨论的Mooncake PD分离架构，以及目前我们也参与推动的Mooncake开源版等等。

我们没有大厂那么丰富的资源，所以想利用自己擅长的体系结构和存储上的技术积累，来努力推动大模型推理技术的 发展。每一个客户都希望私有化落地的大模型具有更大的参数量，同时花费更少的成本，这也是我们技术 研发一直以来的目标。试想一下，千亿大模型能够以更低的成本落地，那应用效果也许就能达到业务的预期。

OpenAI今年也发布了o1和o3，这对AI Infra市场会带来哪些影响？

艾智远：之前行业内已经有一些论断，o系列最突出的点在于它增加了深层次的推理，我们认为o1实际是推理从system 1到system 2的转变 ，也就是从直觉型推理到深层次推理的转变。推理的成本会大幅度增高，在这个背景下我们要去构建自己的推理集群才能够在未来做到更大的推理市场。这背后也反映了另一件事情：训练阶段模型的提升比较缓慢，推理层面对模型的提升更高效，所以行业内会更聚焦于推理层面。

李喆：是的，包括我们看到近两年大部分AI应用还是生成类应用，真正的决 策类应用是非常少的，或者说决策是非常依赖企业自身内部的知识积累，因为它的实现逻辑是RAG或者Graph RAG的方式，是基于过往案例辅助工作流从而达到决策效果。这也就是为什么大家觉得行业内没有新场景，甚至我们遇到的很多企业用户表示大模型 的能力到了一定的天花板。但我认为推理模型对于整个AI Infra市场带来了两个机会：

第一，推理模型代表了大模型能力的增强，会带来新场景的创新，会有更多的决策类应用，这是很有价值的点。

第二，决策类应用对于算力的要求会比生成类应用提高很多，会带来算力端的需求增加，所以我还是比较看好o系列。

艾智远：目前业内都在分析o系列模型的底层原理，相信它会有亮眼的关键点。

李喆：也非常建议大家持续关注这个机会点。

03‍

业务发展与商业化方向

从业务角度出发，目前海外市场Together AI、CoreWeave都拿了巨额融资，在您看来，国内外在技术、商业模式等方向有哪些异同？是否会借鉴海外厂商的经验？

艾智远：国内外技术层面差别不大，明显的是商业模式认知的差别。国外更相信SaaS化的应用及Model as a Service的逻辑布局，但这个商业模式抛到国内会存在两个问题。

第一 个问题是如果纯粹做Model as a Service逻辑，竞争会更加元化，一方面来自 大模型公司，一方面来自阿里云、华为之类的科技大厂。在资本的布局下，中小厂商的生存空间很小。

第二个问题是国内大量的客户会选择私有化，选择自建，而且更期望符合他们个性化 场景的端到端的解决方案，这个对于B2B行业的落地有较大的挑战。

所以没有办法将国外的商业模式带到国内，还是要结合我们国情特色形成合理的生意逻辑，从To B侧的生态开始做起，因为To B侧有现金流，能够形成闭环。

您怎么看待出海的呢？因为看到一种说法是“AI Infra公司出海已经成为必答题”，您是否有考虑过这个问题？

艾智远：目前我们看到的国内需 求不少，所以还没有着急考虑出海的业务。我们现在遇到不少私有化大模型落地的场景，目前国内 的业务也有不少机会。很多客户对大模型都有很浓厚的兴趣，期望大模型真的能够提高效率，降低大家的工作负担。当然，并不是为了取代人的工作，而是让大家不要被一些繁琐的、重复 性工作束缚，让大家有更饱满的情绪，处理工作上的事宜。

所以我们目前主要深耕国内业务，先尽力服务好国内客户，等公司发展起来或者资源更加丰富后，会再逐步考虑出海业务。

另外关于商业化视角，咱们应该是刚刚商业化不久，从业务视角来看，您觉得2025年有哪些关键问题要解决？

艾智远：第一个问题就是 缺少人才，我们希望有擅长商业化的伙伴加入团队，一起把生意做起来。(如果有对趋境科技感兴趣、对AI Infra市场感兴趣、对大模型推理感兴趣的同学可以联系爱分析帮忙推荐。或者关注趋境科技微信公众号，了解趋境科技的更多信息和岗位JD。)

第二我们在2025年 面临最大的问题是商业路径的试错与固化，目前市场中各家都在试错，会选择几条路线并行。 我们团队资产不重 ，现金流良好，所以在2025年我们想逐步的验证商业化路径，从而试错和固化PMF获得更好 的商业模型。

我们现有产品是软硬一体交付的“大模型推理一体机”，搭载自研的推理引擎，推理性能提 升超过10倍，为客户提供私有化大模型推理平台：支持高达千亿参数的主流大模型，内置AI搜索、智能问答、AI创作等基础应用，开箱即用；另外提供多样化的API接口，能够高效对接现有业务。

所以2025年我们整体的商业化大方向是To B端的私有化模型落地，帮助客户解决大模型最后一公里的问题。

最后请您可以展望一下2025年AI市场的合并机会吧。

艾智远：实际合并已经在发生了，基座模 型的能力差异逐渐凸显，目前几个模型的定位也很清晰。大家可以发现，年初的模型在年底时看 它的更新时间，基本就能判断出来哪一家还在前进，哪一家已经停滞了。这是一个必然的态 势，训练模型是一件投入成本很大的工程，最终可能只有两三家能杀出重围。

而且 本身基座模型现在的能力差异也逐步凸显出来，定位也相对清晰，有做端侧的、也有做To B端 的，也有纯To C的，目前也有正在构建影响力过程中的公司。

李喆：就像李开复老师讲到的，国内做To C市场的付费能力非常有限，个人买软件的付费能力是有限的，一个纯软的产品每年付五、六百已经很高了，相当于每个月五六十元。所以目前我觉得单纯的To C业务比较危险，也许未来会有其他转机。

艾智远：关键现在还有很多免费的大模型服务的，所以当前C端市场能发现，谁开始收费，谁的用户量就会有可能开始有一些下降。

而且本身基座模型现在的能力差异 也逐步凸显出来，定位也相对清晰，有做短的、也有做To B端的，也有纯To C的，通用化的，目 前也有正在构建影响力过程中的公司，整体来说，模型公司的热度正在逐步下降。

李喆：好的，感谢艾总的观点分享，期待AI Infra市场商业化成熟后，再做更多的交流与探讨。

「爱分析·对话首席」栏目介绍：

为了深入数智化转型，洞察企业创新机遇，爱分析搭建了一个高层次的交流网络，全新推出“对话首席”栏目。 每期邀请一位科技公司高管，围绕数智化相关的前沿技术、行业趋势、竞争格局、公司内部经营以及落地进展等维度进行深度对话。通过与行业从业者的交流，我们希望能够揭示各个领域数智化应用的现状与趋势，探讨未来技术与行业发展方向。