百度沈抖：企业级AI应用正在爆发，亟需新型AI基础设施

11月12日，以“应用来了"为主题的百度世界2024在上海召开。会上，百度集团执行副总裁、百度智能云事业群总裁沈抖分享了百度智能云在大模型产业落地方面的最新进展，并在企业级AI原生应用开发、大模型开发调优等方面发布一系列全新功能。

目前，百度智能云拥有中国最大的大模型产业落地规模。超过六成的央企和大量的民营企业，正在联合百度智能云进行AI创新。百度智能云千帆大模型平台已经帮助客户精调了3.3万个模型、开发了77万个企业应用、文心大模型日均调用量超过15亿次。

沈抖表示，AI应用正率先在B端爆发。由企业级大模型工程平台、异构算力平台组成的新型AI基础设施，将替代传统云计算，为大模型应用在企业生产力场景中的规模落地提供关键支撑。

（百度集团执行副总裁、百度智能云事业群总裁沈抖）

AI应用率先在B端爆发

60%央企使用百度云AI服务

2024年，大模型产业落地显著提速，在行业场景覆盖广度、落地深度等方面都有显著提升。目前，百度智能云已经在能源、电力、制造、金融、交通、政务、互联网、教育、电商等数十个行业、几百个场景中落地大模型应用。

在能源电力行业，国家电网正在围绕文心大模型、千帆平台，结合电力行业高质量数据，联合百度共创电力行业大模型基础底座，并在调度、设备、营销等六大专业领域深入探索。目前，已经在电力设备运检、供电服务等电力行业核心场景成功完成应用落地。

在餐饮行业，中国最大的餐饮公司百胜中国，基于文心大模型打造了AI智能客服系统，为旗下包括肯德基在内的多个品牌提供服务。百胜中国CTO张雷表示，目前，AI客服每天能够为百胜中国处理超过15万次消费者沟通，问题解决率高达90%；在辅助人工方面，AI客服能够快速归纳、总结消费者诉求，辅助客服更快速、更精准地回复，整体效率提高10%！此外，大模型还能够实时评估客服服务质量，帮助百胜中国进一步提升服务水平。

（百胜中国CTO张雷）

目前，百度智能云已经拥有中国最大的大模型产业落地规模。已有超过六成的央企和大量的民营企业，正在联合百度智能云进行AI创新，文心大模型日均调用量超过15亿次。

沈抖认为，AI应用正率先在B端爆发，而“企业级”AI应用大量涌现的背后，是产品服务形态的突破性变革与能力的大幅拉升。

以百度智能云“曦灵”数字人平台为例，全新升级的“文生3D数字人视频”功能，能够大幅提升电商、教育、文旅等行业的内容创作、营销推广效率，大幅降低成本支出。

比如，在电商领域，过去拍摄制作真人产品推广短视频需要专业团队花费几天时间才能完成。而“文生3D数字人视频”只需一句话，就能生成符合不同行业场景特色的3D数字人形象和专业灵动的视频，成本仅有传统方式的1%，工作效率提升超过1倍！

沈抖表示，无数的AI应用，正在重新定义人与数字世界、物理世界之间的交互方式。现在，这些应用已经深入到企业“研产供销服”的各个环节，并成为企业提升竞争力的关键要素。

模型精调需求大增

千帆平台发布工作流Agent、模型蒸馏两大开发功能

传统的企业业务中，复杂的工作和任务往往过度依赖专家经验和固有流程，即工作流；即便在数字化系统中，传统工作流配置依旧是没有“大脑”的机械执行，难有实质性的突破。

大模型具备强大的意图理解和泛化能力，能够充分理解工作流的目的与内涵，相当于一颗会思考的“大脑”；通过与企业工作流相结合，又可以有效解决大模型“幻觉”问题，增强大模型“控场能力”，保障复杂任务的决策与执行准确。二者结合，构成了智能时代企业真正需要的“数字员工”。

本次大会，百度智能云千帆大模型平台正式发布“工作流Agent”功能，旨在帮助企业快速开发出面向复杂对话场景的AI应用，快速拥有专业水平的“数字员工”。通过学习各种企业流程与规范，工作流Agent能够适应不同岗位职责，快速规模化复制，大幅提升企业运转效率。

以保险行业为例，目前百度智能云正在联合太平洋保险，基于工作流Agent探索、落地车险续保售前数字员工。过去，车险续保的工作指导包含大量流程、子流程、文档等内容，优秀销售人员稀缺，且培养周期往往长达一到两年。基于工作流Agent开发金牌销售数字员工，则最快可以在1小时内完成、上线，大幅提升了企业车险业务的核心生产力。这样的工作流Agent可以快速集成到百度搜索、微信公众号、企业官网等业务系统中，便利触达用户。

目前，由工作流Agent开发的“续保金牌销售”，已在百度智能云智能客服平台“客悦”开放体验。（https://keyue.cloud.baidu.com/unit/world-conference）

“我们在实践中发现，行业应用要达到更专业的效果，需要深入模型层面进行定制开发或精调。精调模型的数量一定程度上反映了大模型与产业结合的深度。这个数量今年增长地特别快，在千帆大模型平台上，每天有超过一半的调用量是来自精调后的模型。”沈抖说。

在医疗行业，杭州全诊医学基于千帆平台和文心大模型打造了AI医疗助理应用，能够在导诊、预诊、诊间、入院、手术、随访等全阶段服务医生患者。以辅助医生撰写病历为例，全诊医学通过使用20万份精标病历数据对大模型进行精调，使AI医疗助理的医学用语更准确、更规范，大幅提升病历内容质量。病历生成的准确度提升了45%，病历书写时间减少75%，医生的接诊量提高了20%，造福更多病患。

而针对数据积累不足，难以承担人工精标数据成本的企业，千帆平台全新推出模型蒸馏解决方案，帮助企业利用文心旗舰级大模型生成专业数据，完成全流程的数据准备工作，加速启动模型精调工作。

以百度电商数字人直播平台“慧播星”为例，通过使用文心旗舰模型ERNIE 4.0 Turbo萃取训练数据，生成模型精调数据集，对轻量级大模型ERNIE Lite进行精调，精调后的模型在特定场景中的效果与旗舰模型基本持平，并拥有更快的推理速度，成本大幅下降90%。模型上线以后，数字人直播间的互动率大幅提升11%，带货转化率也实现了极大提升。

大算力管理依然是最大难题

百舸4.0升级十万卡集群跨地域部署能力

大算力是大模型落地的基础条件。为了满足企业落地大模型从集群创建、开发实验，到模型训练、模型推理的全旅程算力需求，百度智能云推出百舸AI异构计算平台4.0，服务了中国石化、中海石油、长安汽车、上海交通大学、地平线等行业龙头企业和机构，目前已具备了成熟的10万卡集群部署和管理能力。

沈抖表示，为了支撑大模型的进一步高速发展，百度智能云提前布局，是行业内最早打磨10万卡集群能力的厂商之一，并通过技术创新解决了集群算力供给、跨地域部署两大核心难题。

首先，在算力供给方面，百舸平台兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片，支持同一智算集群中混合使用同一厂商不同代际芯片、不同厂商芯片，最大程度上屏蔽硬件之间差异，帮助中国企业摆脱单一芯片带来的高溢价和供应链风险。

目前，在万卡规模集群上，百舸能够将两种芯片混合训练大模型的效率折损控制在5%以内，达到业界最领先的水平。未来，“一云多芯”将成为中国企业的必然选择。

另一方面，10万卡规模超大集群需要占据大概10万平方米空间，相当于13个标准足球场；每天则要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。这种对于空间和能源的巨大需求，远超传统机房部署的承载能力，而跨地域机房部署又会给网络通信带来巨大挑战。

通过设计高效的网络拓扑结构，结合模型切分优化和跨地域无拥塞高性能网络方案，百舸能够在横跨几十公里的多机房组成的万卡规模的集群上，将单一模型训练任务的性能折损控制在4%以内，达到业界最领先水平。