QPS提升近10倍！百度文心一言关键数据曝光

近日，一份《飞桨针对文心一言定制优化例会》的会议纪要在网络上流传。该文件显示，百度文心一言自3月16日发布以来，已经悄然进行了四次版本迭代，本周（4月19日）迭代的新版本，将QPS（模型推理效率）提升了近10倍！

推理效率即服务器每秒处理的并发数据量，是量化大模型性能的关键指标之一。很显然，这一个多月来，业界此起彼伏发布大模型产品的同时，文心一言并没有停下脚步，仍然保持着高强度的产品开发，以把握先发优势。据悉，文心一言最新版本被命名为3.5版本。

从版本代号猜测，经过四次迭代，文心一言进化出了百度公司满意的性能进展。

多项性能显著提升

曝光的纪要显示，一个多月来，随着文心一言的用户规模、同时在线人数快速增长，对模型层和框架层联合优化协同有了更高要求。文心一言在开启邀测后不断迭代，以QPS为例，最新一次迭代提升了123%，相比3月16日发布版本则提升了近10倍。

还有多个大模型的关键指标也出现更新。其中，模型推理性能提升50%，意味着文心一言学习的速度更快；模型算力利用率提升1倍左右，算力就是金钱，意味着模型的竞争力显著提升。

上述性能提升对于文心一言的商用意义非凡。大模型堪称“吞金兽”，前端简洁的对话窗口背后，是高强度的AI技术创新、海量的训练数据以及大规模的算力基础设施，只有实力雄厚的玩家才能不断投入开发，在商业应用层面取得竞争优势。

文心一言3.5版本的各项性能提升，对应的是使用成本下降，无疑向业界释放了一个重要信号。交互式AI尽管面世不到半年，但绝非虚无缥缈的技术炒作，很快就要兑现商业应用的巨大潜力。

飞桨撑起半边天

从纪要来看，文心一言能够快速迭代、各项关键性能显著提升，百度自主研发的深度学习平台飞桨在优化协同方面发挥了重要作用。相比之下，很多新发布的大模型产品，采用的是TensorFlow和PyTorch这样的国外框架。

原因在于，新IT四层架构——芯片、框架、模型、应用中，每一层都传递反馈，紧密协同。例如模型和框架之间，首先是框架对模型的训练、推理提供了基础设施服务，特别是大模型，框架需要分布式计算、分布式并行训练、分布式调度资源等能力提供支撑。通俗的解释，大模型好比汽车的发动机，深度学习框架则是生产发动机和变速箱的，将发动机的账面数字兑现为真正的速度。

例如有媒体在近日报道称，原美团联合创始人王慧文创立的大模型公司已投资AI框架创业公司一流科技（其核心产品为OneFlow深度学习框架），成为第一大股东，意在补齐框架层面的短板。文心一言无疑具备了先天优势。

事实上，国内首家发布大模型产品，在于百度公司对新IT四层架构的全栈布局，能够迅速调配资源全力投入。飞桨可以定制优化文心一言的能力，而文心一言的快速迭代，也是对框架层和芯片层，甚至应用层的发展的刺激和反哺。

全栈布局避免后顾之忧

文心一言发布一个月来，已有十多个大模型产品陆续亮相，“快进”到“百模大战”的前奏。文心一言首月的快速迭代，后发的大模型们必然能够感受到压力。

尤其是在新IT四层架构中能力缺失的玩家，要么通过加强自研补齐短板，要么通过并购完善布局，要么就干脆采用供应商的框架、芯片。最后一种方式隐含了不少风险。尤其是在中美科技竞争日趋白热化的大背景下，大模型拥有变革经济社会的巨大潜力，很可能在不久的将来成为遏制、防范的对象，国内玩家采用国外供应商的框架、芯片，在供应链安全、产品安全方面都存在后顾之忧。

只有通过各种手段完善全栈布局，才能更好地挖掘大模型性能，在各行业进行商业化落地。相信更多玩家将认识到这一点——如果不是跟风玩票，真正想在大模型领域赢得一席之地。