百度智能云黄锋：从企业视角如何运用大模型应用开发平台

周一笑 | 硅星人分析师
黄锋 | 百度智能云应用平台部总经理

摘要：大模型应用时代为企业提供了更多场景，但技术本身还是服务于最终创造出来的应用价值。如何在控制成本的基础上获得最好的效果性能是企业需要解决的核心问题。

在大语言模型蓬勃发展的今天，AI应用落地已成为产业界关注的重点。在硅星人首届AI创造者大会（ACC 2024）“重构基础设施：更开放的架构与更聪明的Token”环节中，硅星人分析师周一笑与百度智能云应用平台部总经理黄锋就大模型应用开发平台、企业落地实践等话题展开深入对话。作为百度智能云千帆AppBuilder的负责人，黄锋分享了平台建设经验与企业应用观察。

以下为对话实录整理：

周一笑：我刚才在下面查两个数据，在百度指数和Google Trends上，我查了两组关键字，第一组是AI或者大模型相关的关键词，第二组是AI应用或者是大模型应用相关的关键词，过去十二月的走势，会发现第一组基本是持平的情况，第二组从今年开始会看到有一个明显在往上走的趋势，这其实也说明大家越来越关注AI应用落地相关的话题了。百度一直在号召大家卷应用，不要卷模型，我们今天也邀请到百度智能云应用平台部总经理黄锋总来跟大家一起聊一聊，关于落地应用的话题。

第一个问题，千帆AppBuilder 企业级大模型应用开发平台的核心功能是什么？和其他AI应用开发平台的差异点在哪里？

黄锋：百度智能云整个大模型To B、To G是通过千帆平台对外输出的，千帆平台里有两个工具，千帆ModelBuilder和千帆AppBuilder。千帆ModelBuilder是做大模型开发的，千帆AppBuilder是做大模型应用开发的，我自己在百度主要负责AppBuilder这个产品。今年做大模型应用开发、Agent开发的平台雨后春笋特别多。对于百度而言，从六七月份之后，我们对外讲都是讲企业级的定位。企业级和大家拿工具去学习去玩一玩是有天壤之别的。百度智能云过去十年，服务了许多互联网客户，还有传统政企的客户，我们更了解企业客户对于平台的要求，比方说效果、效率、性能、稳定可靠、开放性、动态扩缩容、可调可配等等问题。我觉得如果没有这些点，平台开发出来的Agent是很难真正落地使用的。所以我们产品定位是企业级大模型应用开发平台。

周一笑：百度从最早搜索到后来AI，经历了AI的几波浪潮，这种穿越周期的经验，对于你们做平台型的产品有帮助是什么？能不能用一些具体的产品决策和细节来讲一讲？

黄锋：百度做这样的平台跟别的公司还是不一样。我觉得在百度而言，最大的优势在于整个公司都是在AI战略上是非常坚决的。我们有文心系列各种尺寸的模型，有做大模型开发的千帆ModelBuilder这样的平台。包括算力纳管上面我们有百舸平台。有很多客户需要的是完整的方案，在工具链层面上是可以借力的。

第二点是在百度内部，去年厂长就要求我们所有的产品都要重构，包括网盘、文库、搜索、文小言等等很多产品，其实在基于大模型做重构，它们天然也需要工具上的支持。我们除了对外输出之外，支持内部的业务，也在很大程度上帮我们更快的打磨了产品的工具链的效果、性能、吞吐等等能力。这样的能力再对外输出，减少了中间打磨的时间。内部业务线的要求是非常高的，对于大模型的理解，以及大模型到底在应用层面如何落地，他们的认知是跑得比较快的。

周一笑：内部用好了，再拿出去服务客户。

黄锋：是这个逻辑。

周一笑：刚才聊了一些思路上的问题，回到应用开发这件事情上。传统的AI应用开发和现在的大模型应用开发，两者的区别是什么？这对于做平台的挑战是什么？

黄锋：我14年加入百度，从16年开始做AI商业化，但是那个时候是小模型时代AI的商业化，其实一直到大模型爆发之前，我自己的感受是不管CV语言，还是传统的小模型，它是有价值的。它也能解决客户的很多业务问题，但它最大的问题在于泛化能力不够。所以你的定制成本就会很高，比方说前几年，我做过工业能源行业一些CV应用的场景。

例如面向安全生产，训一个安全帽识别的模型，想达到非常高的准确率是很难的，其中有环境、角度等等因素。因此要想落地，投入到交付上定开调优的成本非常高，总体来说要么只能服务有钱的大客户，规模起不来。要么你铺开了，成本降不下去，利润就起不来。

这个时代其实都是这样的，其他的这些友商你去看它的利润率，在小模型时代都是不太好过。我觉得大模型来了之后，最大的改变就是它的通用性，泛化能力比小模型时代强太多了。

但是在大模型时代，如何让做应用开发门槛能够降得更低，效果能够做得更好，能够让真正的价值交付最后的交付环节成本降得更低，还是在尝试的过程中。今天而言，还没有明确的答案。但这已经是一个清晰可见的发展趋势。

周一笑：从现有接触到的企业客户当中有什么观察可以和大家分享的？

黄锋：前些年我们有一些大的项目的交付，应用的定开由伙伴来交付。但是有很多客户的项目，伙伴搞不定，还需要原厂的人去调优。但过去一年多商业化过程中，伙伴能搞定的项目比例大幅度增加，只要我们把调优的经验方法论去输出给伙伴，他们基本都能搞定。这一迹象已与过去小模型时代有所不同。

周一笑：问一个相关的问题，也是大家都关注的一个点。你们接触的客户在大模型预算占IT总预算的比例上有什么变化吗？能反映这个趋势吗？

黄锋：还是非常明显的。从去年3月16日百度发布文心一言之后，我天天就跟各界客户、合作伙伴、政府领导、媒体在交流。去年我的感触，大家都只是聊，并没有真正立项花钱去做，但是从去年Q4开始，这个势头明显发生了变化。一直到今年出现明显的爆发。市面上也有一些分析，今年上半年整个市场上面立项金额和数量远超去年的，今年还有两个月，我自己感受到真正企业愿意花钱立项去做，这是非常明显的。

周一笑：其实预算反映了企业的重视程度，最后想问企业实际落地相关的问题，从你们观察来看，这一波企业实际应用当中，大模型更多是替代上一波AI的场景，比如说客服，还是新的场景多一点？

黄锋：我觉得两者都有，像客服、内搜，小模型时代也都有，只是大模型来了之后，它的意图理解能力，归纳总结的能力会更强，我觉得这是一波技术升级带来的旧市场的替换。更多爆发出来的是新场景，原来压根儿做不了，现在能做了。比方说我们看到的试题解析、法律咨询助手，像现在AI手机特别火等等，因为我们做平台，所以看到各行各业新的场景还是很多的。我们也经常会遇到一些，压根儿想不到的客户会拿大模型来干这个事儿。

周一笑：有没有比较有意思的案例可以跟大家分享一下。

黄锋：有一个群体叫ASD，他可能很难理解常人对话，但是大脑的想象力很丰富，这样的孩子对于图片的理解，包括他自己画画的能力很强，但是表达的能力比较弱。所以有一个开发者用我们的平台搭了一个工作流，比如说小孩画了一张图，大人很难理解他想表达什么，可以拍照让大模型理解背后的意思。大人再说一句话，通过大模型文生图，再把图片给孩子看。这样就把图作为一种信息交互的媒介去跟小孩沟通。

这样的场景我自己肯定想不到，但是我们的开发者有一个公益组织，专门去帮助这样的孩子，他们就有这样的创意。他们也不是学计算机相关专业的，借助我们的平台很容易把这个产品搭出来，并且确实是有用的。我们用这样的平台能够把开发门槛降低，让更多人发挥他们的创意，创造不同的Agent出来，我觉得这个事儿蛮有意义。

周一笑：确实挺有意思的，它相当于跟孩子用图像来交流。最后也是和落地相关的问题，现在企业落地有两个路径，第一种是在垂直行业，可能自己有数据做一些垂直的模型。第二种是基于基础大模型来做二次开发。从你们视角来看，如果企业要选择的话，会给一些什么建议呢？

黄锋：首先一条路是直接用通用的基模去做，第二是在通用的基模上加上自己的数据做一个模型，这两条路不冲突。做一个行业大模型这件事情，不是每个场景都是必须的，并且门槛还是相当高的。首先你得有相应的语料，并且你得有人真的懂，真的能训一个模式出来，这里的调优经验，对人的能力要求还是很高的。我们也在帮助大型国内头部的国央企在做类似的事。

有些行业的知识是很垂的，比如法律、医疗等等，它是有必要做自己的行业模型。但是有一些行业专有的知识没有那么多，没有必要非要去做行业大模型，直接从基模就可以取得比较好的效果。能训行业大模型，在今天而言还是门槛相对比较高的事儿。

周一笑：所以更多的是需要依靠咱们这样的平台去做模型应用，可以这么理解吗？

黄锋：对，我们总结过一些应用落地的范式。最简单的是自己写Prompt，调Prompt会更好的发挥模型的能力。如果这样效果不理想，可以在某些场景下尝试RAG或Agent，再不行的话，可以做一些SFT作为进阶方法。这些选择与具体场景高度相关，关键是明确应用目标，选择最高效的方式来解决问题，而不必一味追求所有高精尖的技术。

技术本身还是服务于最终创造出来的应用价值。包括模型的选择也不是都用最好的模型，够用就行，解决问题就好，毕竟成本和效率都是要考虑的问题。

周一笑：这其实也是百度智能云包括做ModelBuilder、AppBuilder，不同场景服务针对不同的企业。非常感谢黄锋总针对企业落地的分享。

黄锋：欢迎大家多多试用我们的千帆AppBuilder的平台，谢谢大家！