5分钟搭建大模型应用！腾讯将「实用主义」贯彻到底

让企业像搭积木一样构建大模型应用，简单可上手。

作者｜伍月
编辑｜栗子

在经历了一年多的技术锤炼后，大模型正在迈向真刀真枪抢落地的关键阶段。

对于更多企业而言，如何将看上去酷炫的大模型技术落到实处成了眼下的重要命题。

与此同时，「甲子光年」经过多次调研也发现，在企业应用AI大模型的过程中，往往还有不少 “最后一公里”难题待解。

数据是关键挑战之一。企业端内部数据复杂度高，数据来源多元，涉及的数据维度复杂，且数据质量参差不齐，在与行业大模型共建应用的过程中，需要做大量的数据清洗和验证等实施工作，是一项耗时耗力耗钱的大工程。

其次是成本和机器幻觉难题。很多企业并不关注大模型技术的先进性，他们真正关心的是这项技术能否真正落地，帮助自己在增收、降本、增效上做的更好——“ROI怎么算？”“能不能增收”“产品能不能解决我目前的痛点？”

但目前，部署一个专有模型成本极高，且由于企业希望大模型不要胡说八道，能实现极高准确率，且绝对专业，导致实施周期和工程化难题更大，人力成本也高昂。

这些摆在眼前的现实难题导致企业上手使用大模型的门槛极高。也对大模型落地产生了更多疑问：——如何能更便捷的用上大模型？在什么场景先落？技术可靠性如何解决？

1.大模型落地最后一公里难题何解？

在这些复杂的现实难题面前，什么是解决大模型落地最后一公里的关键抓手？

在5月17日的《生成式AI产业应用峰会》上，腾讯云给出了他们的思考：继续从平台化的思路入手，让企业更便捷的上手打造自己的大模型应用。

如何让千行百业的企业都能拥有一个称手的大模型开发利器？

腾讯云的平台思路是：在MaaS（Model-as-a-Service）架构中的行业大模型之上，再深入一层，搭建PaaS平台，通过打造大模型原生工具链，来降低大模型开发落地门槛，让技术变得更易用、可用。

腾讯云副总裁、腾讯云智能负责人吴运声告诉「甲子光年」，他们观察到，企业用户希望能快速将大模型能力应用于生产、销售和服务，但在现实情况中，技术人才依赖、复杂的数据功能化问题和安全问题，都让企业在落地大模型时面临更多难题。

每个行业的大模型应用都千差万别，要解决企业便捷使用大模型的问题，需要从标准化的工具链入手，才能让大模型惠及更多行业和场景。“所以，在此次新推出的PaaS平台中，我们提炼了大模型时代的原生工具链，能够输出大模型能力，大幅降低门槛，缩短从模型到应用的距离。”吴运声说道。

在他看来，“一个通用的Chatbot或者生成工具并不足够，还要考虑中间实施过程和到达最后一公里的路径。”吴运声告诉「甲子光年」

为了让企业可以更便捷的打造大模型应用，降低技术使用门槛，此次，腾讯云推出了大模型知识引擎、图像创作引擎、视频创作引擎三大工具。

大模型知识引擎、图像创作引擎、视频创作引擎，来源：腾讯

“我们希望通过PaaS接入方式，简化数据工程、模型精调、应用开发的流程，让企业能够更高效、简单地将大模型能力应用于生产、销售和服务等场景。”吴运声提到。

其中，针对企业知识问答这一类应用，腾讯云系统化提炼出不同类别的共性能力，推出了专属的PaaS平台——知识引擎平台。这是一款知识应用开发平台，也是腾讯云从企业需求通用性的角度，把目前大模型应用最广泛的知识管理、会话能力提炼出来，集大成的一套专属的工具链。

对于B端企业而言，知识引擎平台大大简化了数据工程、模型精调等流程，让企业能够快速上手，快速、高效的借助现成的工具开发自己的应用。

除此之外，针对图像生成和视频生成这两个方向推出的“图像创作引擎”和“视频创作引擎”平台，为用户提供了图像风格化、AI写真、线稿生图、视频转译、运动笔刷、图片跳舞、视频画布拓展等能力，大幅提高了创作与生产效率。

2.让应用开发变得像搭积木一样，简单可上手

知识引擎平台的背后，腾讯云对于企业真正上手大模型的思考是：把大模型应用开发应用变的像搭积木一样，简单可用。

在实操中，可以把知识引擎平台理解成一个应用中枢，这个应用中心专门为了企业搭建各种各样的企业级知识应用而存在。企业用户只需要输入模型选择、角色设定、知识库管理等基本信息，就可以快速搭建出一款知识应用。

知识引擎平台可以通过开箱可用的应用模板、和可被集成的原子能力API两种便捷使用方式，帮助企业快速定制符合业务诉求的大模型知识问答、知识总结、知识创作应用。同时，还提供了测试-修正-发布-反馈增强的一站式流程，能够让企业快速验证、投产。

腾讯云知识引擎架构，来源：腾讯

企业可以快速借助知识引擎平台自己开发知识管理、会话类应用。目前，这个应用中心内，腾讯云已经预制了知识库问答、文档问答等知识类问答应用，以及知识摘要、标签在分类等知识总结类应用。

这些相当于一块块现成的积木，而企业可以根据自己的需求和构思，像搭积木一样，灵活调配相关的功能组件，打造属于自己的专属客服、知识库助手、文档助手等应用。

“企业用户可以在5分钟内搭建出一款知识应用，并通过一站式流程快速验证、投产。”吴运声告诉「甲子光年」。

比如，针对知识文档类应用，知识引擎强化了对图文表混排文档的处理能力，可以通过OCR解析大模型提升识别精度，有效处理标题、公式、页眉页脚等文档元素，不论是说明书类解析应用、还是研究报告等文档助手，都可以快速完成开发。

当然，对于很多已经搭建了自有的知识管理软件企业，也可以通过接入知识引擎平台上开放的API接口，把大模型的文档解析、向量检索、多轮改写等能力，集成到现有的企业软件中，提高数据管理能力，辅助企业内外部业务质量和效率的提升。

为了提高问答回复的准确度，同时打造适配性更高的平台。技术实现上，知识引擎平台整合了腾讯自研的大型语言模型（LLM）和检索增强生成（RAG）、向量检索、大语言模型、多模态大模型等多种先进技术，并汇聚了腾讯云在B端企业知识问答应用领域的多年经验和认知，能够在知识解析-切分-检索-内容理解生成全链路中，显著提升问答质量和效率。

比如，当用户提问时，系统会精准定位到匹配的文档片段，再由大模型基于提取内容来推理，内容生成的准确率远超通用大模型。

此外，即便是同一类应用，由于不同应用原型不一，需要的关键技术能力也不同。单企业知识问答这一类应用，场景和技术的复杂度就很高。比如，企业知识有很多格式，有pdf，也有ppt和excel，文档内容也千差万别，有文字，还有更重表格、图片、公式、流程图。

所以，知识引擎并非只具备大语言模型一种能力，而是集成了多模态能力，不仅可以进行文本解析创作，还支持图文混排、说明书、数据图标等复杂文档识别解析。

这些经验的积累非一日之功，不仅需要掌握技术能力，还需要具备专业的行业认知。但由于腾讯云在OCR解析大模型等方面已经早有实践，这些都可以复用到新的知识引擎平台，让腾讯云能够更好的沉淀出一套企业知识应用的最佳实践。

腾讯云正在打造一种新的知识问答应用范式。对于想要开发大模型知识对话类应用的企业而言，知识引擎平台的出现可以让开发过程事半功倍。对于此前需要通过复杂的Prompt，和做大量产品工程化设计的企业而言，开发大模型应用的流程被大大缩短，而对于很多因大模型应用复杂度过高而望而却步的企业而言，知识引擎无疑可以作为试水大模型的第一步棋。

对于当前探索大模型落地最后一公里解法的厂商而言，腾讯云的动作也是一次可借鉴的经验，接下来，构建类似知识引擎这类的中间层平台，也将成为一条可行性更高的道路。

3.腾讯云大模型实践指南：继续贯彻“实用主义”

知识引擎平台是腾讯云交出的一份最新的大模型落地实践的答卷，也是腾讯云贯彻大模型实用主义价值观的又一次动作。

知识引擎产品的背后，一方面依托于腾讯基础大模型和行业大模型实践能力积累。

关注落地是腾讯云落实MaaS模式一直以来的重心——大模型技术需要基于产业场景，与企业数据融合，才能释放出最大的价值。

腾讯云也一直在基于自研的腾讯混元大模型，从技术底座、平台能力和智能应用三个维度，助力客户构建专属大模型和智能应用，推动大模型在产业中的落地应用。

而且，如今的混元大模型能力，还得到了进一步升级。

5月17日，腾讯全面升级混元大模型能力。腾讯混元 hunyuan-pro、hunyuan-standard、hunyuan-lite等多种尺寸模型，已通过腾讯云，面向企业、开发者全量开放。

其中hunyuan-standard支持256K上下文，长文档理解和处理有效增强。升级后的腾讯混元，模型总体性能相比上一代提升50%，部分中文能力已追平GPT-4。在多模态能力方面，支持生图、生视频、生3D，比如视频方面，支持 16s 视频生成。

此外，针对不同行业，腾讯云基于TI平台，用腾讯云的加速框架、基础算力、开源工具，打造了专属的行业大模型，并探索出了超50个行业大模型的应用解决方案。

这些基础的技术能力也为知识引擎平台面向不同行业和场景的企业提供了坚实的技术支撑。目前，知识引擎平台中，腾讯云已经内置行业大模型选项，可以对通用大模型进行垂直领域的知识融合与调优。

知识引擎平台提供了包括腾讯自研混元大模型及行业定制大模型，模型参数量从几亿到上百亿不等，高度灵活且可定制的解决方案，企业可以按需选择，有效把控调用成本。不同行业场景的企业都可以快速上手构建自己的知识对话类应用。

比如，金融行业大模型，针对金融舆情分析、投资顾问等场景，增强了模型在专业术语理解、数值计算、文案生成及合规性等方面的性能。这显著降低了特定行业应用的定制成本，让大模型实施落地变得更高效。

目前腾讯云已经将知识引擎平台用于解决政务、金融、教育、文旅、出行、零售、医疗、工业、能源等行业的企业级知识服务需求。已经有企业用知识引擎平台帮助自己提高了效率。

保险服务机构圆心惠保就通过知识引擎平台的产品，打造了辅助保险经纪人会话产品，智能机器人可以根据不同的问题，生成各种产品介绍内容和安抚话术，显著提升了保险经纪人的工作效率，保险经纪人人均提效50%，智能机器人的问答准确率也显著提升，由传统机器人的57%提升至85%。

此外，知识引擎平台也已经在教育行业有实践成果。腾讯云向「甲子光年」举了个例子，河南省数字教育发展有限公司就用大模型知识引擎进行知识梳理配置，并导入了百万级中小学教材文档之后，搭建了7×24小时的数字人服务。有了大模型能力加持的数字人，既可以作为学生的导师，实时答疑，提供习题解析和百科问答服务；也可以作为教师的助理，帮助老师处理教学相关的任务，减轻教师的工作负担。

吴运声透露，目前，这个项目已在郑州、洛阳、许昌等十几所学校上线，也已经取得明显成效——教学辅助场景的知识采纳率接近90%，习题解析和百科问答的准确率接近95%。

除此之外，腾讯内部也用知识引擎平台，搭建了大模型文本机器人，可以处理账单查询、退换货等复杂任务，配置成本，相较传统文本机器人减少50%。

同时，腾讯云也正在与生态伙伴及ISV（独立软件供应商）合作，提供更多个性化定制服务，目前，已经在知识库搜索、智能客服等应用场景落地了相关产品

知识引擎平台的背后，腾讯云落地大模型的实践方向依旧围绕企业需求进行，向实而生。

“大模型的打造只是起点，把技术落地到产业场景，创造价值才是目标。”腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生谈到。

正如他所言，接下来，知识引擎平台的发展与腾讯云坚定选择聚焦To B市场的策略一脉相承，通过技术创新和场景化定制，挖掘大模型在在文档与程序性知识处理方面机会的同时，也让大模型上手更简易，更有机会惠及更多行业。

如今，在这场如火如荼的大模型落地竞赛中，腾讯云已经提交了自己的答卷。对于更多的企业而言，竞争的焦点不在于速度的快慢，而在于谁能更深入地理解行业，更精准地把握技术、场景和需求之间的联系，才能真正在这场竞赛中脱颖而出。

（封面图来源：腾讯）