腾讯云吴运声：加速AI原生应用落地，让技术创新转化为实际生产力

OSCHINA

5月21日，在2025腾讯云AI产业应用峰会上，腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声发表主题演讲。吴运声认为，当前AI应用领域呈现出交互体验更丰富、模型使用更高效、应用构建更快捷等趋势。围绕新的客户需求，腾讯云在多模态语音交互、模型训推、智能体开发等层面不断迭代更新产品能力，帮助用户把技术创新更快地转化为实际生产力。

腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人 吴运声

吴运声提到，为提升用户与AI应用之间的交互体验，腾讯云正式发布“腾讯云语音PaaS解决方案”。该方案通过将领先的ASR大模型、TTS大模型与TRTC的实时通信能力深度融合，构建起 “语音输入→智能处理→自然输出→实时交互” 的全链路闭环，为企业提供低成本、可快速搭建的语音交互解决方案，帮助企业优化用户交互体验。

在模型训推层面，腾讯云TI平台也实现了全面升级。首先，腾讯云TI平台升级了精调工具链提供蒸馏精调、强化学习等更多训练方式，并面向自动驾驶领域的广泛需求推出自驾模型训练能力。同时，TI平台在资源调度方面也全面升级，支持训推一体、潮汐调度。成本是决定大模型是否能落地的关键因素之一，TI平台持续升级内置的Angel加速套件，以业界领先的推理加速能力，帮助企业降本。

从大模型到智能体，AI应用步入“平权时代”。对此吴运声指出：“智能体的广泛应用将成为企业创新提效的利器。”为此，腾讯云将大模型知识引擎全面升级为腾讯云智能体开发平台，通过行业领先的RAG技术、全面的Agent能力、以及实战打磨出来的匹配用户需求的功能，帮助用户在大模型时代快速构建智能体。

他表示，经过多个真实业务场景的打磨，腾讯云智能体开发平台沉淀出了多项核心能力，不只是“能用”，而是真正能够贴合企业复杂业务、可落地、可运营，满足企业的全链路需求。例如，QQ浏览器基于腾讯云智能体开发平台，推出了智能体Qbot，通过各种AI助手来帮助用户执行下载、应用更新等任务。

以下为演讲全文：

各位领导、嘉宾、媒体朋友们，

大家上午好！

我是腾讯的吴运声，很高兴在这里跟大家分享腾讯云在大模型工具和智能体开发层面的进展和思考。

前面混元的同事也有提到，今年以来，模型的进展非常快，很多AI原生的应用在涌现。我们看到了几个明确的趋势：

首先，大语言模型和多模态模型进一步融合，用户和AI应用之间的交互，已经从文字进一步演化到语音、视频等形式。多样的交互体验进一步提升了AI应用的渗透率。

其次，训练和推理的效率持续提升。通过算力管理调度、推理加速优化等手段，算力的利用率不断提升，模型的使用成本降低，这也进一步推动了模型在更多场景落地。

第三，智能体加速落地。今年以来，智能体这个话题特别热，智能体能够实现自主规划执行路径、灵活调用工具，极大地降低了企业构建AI应用的门槛。通过智能体开发平台类的工具，企业可以快速落地智能体。

围绕着这三个趋势和客户需求，我们也在多模态语音交互、模型训推、智能体开发等层面不断迭代更新产品能力，帮助用户把技术创新更快地转化为实际生产力。

在交互体验上，我们在语音识别、输出、实时传输等层面不断优化，力争为用户带来更智能、更拟人的语音交互体验。

语音识别是语音交互的前置重要模块，ASR准确率的提升，可以明显提升全链路的智能度。相比较传统的ASR技术，我们的ASR大模型拥有更强的识别能力，在远场、噪音等复杂场景下，字错率明显下降。同时支持方言识别，还可以动态适应不同口音、不同语速，真正让AI“听得懂”。

在输出层面，我们的TTS大模型在拟人度、韵律自然度上明显提升，发音接近真人自然对话感。TTS大模型可以快速理解本文内容，用贴合文本情绪的声音进行演绎，显著降低了传统TTS输出的人机感。

同时，在实时人工智能交互场景中，LLM及时接收和处理用户的音视频数据至关重要。TRTC的超低延迟通信确保了全球范围内音视频传输的端到端延迟低于300ms，同时将对话延迟保持在1000ms以下，近似人类自然对话的响应时间，让用户享受到流畅自然的互动。

今天，我们也正式发布“腾讯云语音PaaS解决方案“。

我们将前面提到的 ASR大模型、TTS 大模型与TRTC 的实时通信能力的深度融合，构建起 “语音输入→智能处理→自然输出→实时交互” 的全链路闭环，为企业提供低成本、可快速搭建的语音交互解决方案，帮助企业优化用户交互体验。

在底层，企业也可以灵活接入混元、DeepSeek等大语言模型服务，实现 AI 与用户之间的实时互动，打造符合业务场景的 AI 实时对话能力。

面向企业大模型构建的需求，我们的机器学习平台TI平台持续升级。

首先是全面升级模型训练能力。我们及时跟进腾讯混元以及开源社区进展，更新或上架了腾讯混元系列、Deepseek系列，LLama4系列等模型。我们也升级了精调工具链，支持更多训练方式，主要是蒸馏精调和强化学习等。其中，基于DeepSeek R1/V3 蒸馏其他模型，是非常实用的训练模式，可使用较小模型来提供接近 R1的推理能力，我们提供了详细的最佳实践以及配套的数据萃取工具，帮助用户更高效完成蒸馏。

同时，面向自动驾驶领域的广泛需求，我们内置了相应的训练镜像，可以快速启动BEVFormer、FastBEV等多个主流自驾模型训练，降低企业研发启动成本。

在工具链之外，TI 平台在资源调度方面也全面升级，支持训推一体、潮汐调度。基于这个能力，TI 平台能在夜间，将在线推理业务的闲时算力，自动调度给离线训练任务和离线数据处理任务，从而大幅提升资源利用率。与此同时，我们也提供了灵活可配置的排队策略，满足不同场景下的排队、调度需求。

某头部消费电子企业，基于 TI 平台统一管理集团算力，支撑了大模型和传统CV小模型的研发，应用在电视产品文案生成、视频分析等场景。基于 TI平台提供的精调工具链和资源管理能力，AI研发整体提效50%以上，GPU资源利用率也提升了80%以上。

成本是决定大模型是否能落地的关键因素之一，TI平台持续升级内置的Angel加速套件，以业界领先的推理加速能力，帮助企业降本。

在技术升级方面，我们通过深挖内核和架构延展，在精度几乎无损的前提下，实现服务时延的大幅降低，以及吞吐能力的大幅提升。相关加速能力支持社区主流的SGLang和VLLM两个引擎。

近期，我们对SGLang推理框架的优化也获得了SGLang核心作者的认可，感谢我们对FlashMLA后端进行了深度优化，相关技术方案已经贡献至开源社区。当然，我们面向商业化客户会提供经过更加严谨测试的、性能更优异的版本。

基于以上技术优化，我们实现了行业领先的加速性能。我们在控制首token延时、并保障吐字速率的同时，大幅提升了QPM。比如在3.5K输入、1K输出的典型场景下， 保障首Token延时不高于2秒，吐字速率不低于每秒20 Tokens的同时，2机16卡的QPM可以超过100。当前这些性能都是行业领先的。

上述加速能力，我们也已经在行业内进行交付和应用。某头部新能源汽车制造商基于TI平台统一纳管算力部署DeepSeek专属模型，支撑知识问答、营销、座舱语音助手等多个业务场景。在使用TI平台提供的Angel加速能力后，DeepSeek的模型综合性能显著提升，资源成本显著降低。

从模型到智能体，AI应用落地的门槛正在逐步降低。智能体的广泛应用或将成为企业创新提效的利器。知识库、插件工具、Multi-Agent框架等正在驱动着智能体不断升级，成为懂企业知识、能调用工具、自主执行复杂任务的得力助手。

今天，我们将大模型知识引擎全面升级为腾讯云智能体开发平台，通过行业领先的RAG技术、全面的Agent能力、以及实战打磨出来的匹配用户需求的功能，帮助用户在大模型时代快速构建智能体。

我们始终相信，企业的智能化能力，必须建立在对企业私域知识的深度激活和挖掘之上。只有懂企业知识，智能体才能发挥最大价值。

我们的RAG能力行业领先，能够实现：

• 从复杂 Excel 表中精准提取答案，支持对接数据库，通过Text2SQL，用户用自然语言即可精准查询、秒级返回。

• 支持从文档自动生成问答对，并对完整的问答进行校对和管理，全流程可控，显著降低运营人力投入的时间成本。

• 同时，支持文档间比对，辅助高效决策，支持版本对照，高亮增删改的内容，配套 “保留两者 / 删除旧版 / 合并更新” 等处理方案一键执行，支持仅对变更片段生成问答对，显著降低token消耗。

借助这三项能力，企业可以用最小的投入快速完成知识更新与决策闭环，为智能体持续进化奠定坚实基础。

在RAG基础上，我们提供了全面的 Agent 能力支持。这些能力源自大量企业场景的实战打磨，既保障了落地所需的稳定性和确定性，又保留了对话智能的灵活性，真正实现了易用上手与复杂场景适配的双重兼顾。

比如，我们在工作流中首创具备全局视野的Agent，支持参数回退和全局意图洞察，对话表现灵活自然；

同时，我们首创零代码配置多Agent协同转交，简单易上手的转交关系配置，让用户能轻松实现模型驱动的自动协作，构建“多专家”体系，有效分担单体 Agent 的任务压力；

在插件生态上，我们全面支持MCP协议，平台预置了丰富的腾讯内、外部插件，开箱即用；同时支持自定义插件快速接入，极大提升系统扩展性与可组合性；

依托稳定的工作流编排、多智能体协同机制和完善的 MCP 插件生态，企业可以快速搭建高可用、可演进的专属智能体系统。

经过多个真实业务场景的打磨，我们的智能体平台沉淀出了多项核心能力，不只是“能用”，而是真正能够贴合企业复杂业务、可落地、可运营，满足企业的全链路需求。

首先，我们提供完善的权限体系配置体系。

支持平台级、应用级、知识库级的多层权限体系配置，不管是按组织架构、岗位角色，还是黑白名单控制，都可以灵活支持。比如，腾讯学堂是服务于腾讯内部的培训平台，知识规模庞大，权限体系复杂。基于我们的平台，结合外部权限控制的方式，腾讯学堂可以灵活配置权限，快速落地问答助手。

其次，我们支持意图达成方式的配置。

在实际业务中，不同场景对意图响应的优先级存在差异。在我们的平台上，用户可以按业务需求灵活设定响应路径，确保优先走最合适的方式。如果存在多个易混淆意图，模型同时给出多个意图候选，引导用户选择。

第三，我们的平台提供真正面向上线运营的全链路支持。

从智能体发布上线，到后续的运营监控、配置管理，我们都有完善的 OP 系统支持。无论是企业级 TPM/QPM 配置，还是体验应用的配置管理，都能实现精细化运维，并支持私有化部署，真正让企业用得放心、运维省心。

依托这些在实战中打磨出的能力，我们的平台已经服务了内、外部的众多客户，在很多场景中成功落地，真正解决了企业在智能化应用中遇到的核心问题，把AI变成生产力。

比如，QQ浏览器基于腾讯云智能体开发平台，推出了智能体Qbot，通过各种AI助手来帮助用户执行下载、应用更新等任务。接下来，我们来通过一个视频看下如何通过智能体开发平台搭建一个下载助手Agent。

在实际的使用场景中，我们通常需要多个Agent协同去完成复杂任务。现在借助我们的语音交互能力，我们可以直接口头指挥agent去完成任务，接下来我们也可以来看下多个agent是怎么协同完成寄快速任务的。

可以看到，通过多Agent的协作，智能体已经能够非常灵活地处理用户的各项需求。刚刚这个演示中涉及的产品能力，我们也正在持续打磨中。在内部环境验证中，部分环节处理的时间会稍微长一点。所以在这个视频里面，我们做了一些加速处理。

我们相信，随着大模型的持续进化和各项工具、框架的升级，产品的体验会进一步得到优化，智能体一定能够成为企业和用户的得力助手。也欢迎大家扫码试用我们的腾讯云智能体开发平台。

未来，腾讯也将围绕客户需求，持续打磨产品，为各行各业用好大模型、用好智能体提供助力！

谢谢大家。

↓分享、在看与点赞~Orz