网易首页 > 网易号 > 正文 申请入驻

支付宝做阿宝,为什么通信协议没选RTC而是MoQ?

0
分享至

支付宝为什么要做一个叫“阿宝”的AI入口?蚂蚁集团客户端团队给出的答案,藏在四个技术领域里。

蚂蚁集团支付宝AI端云交互负责人魏凤笛在AICon全球人工智能开发与应用大会2026深圳站上,系统介绍了支撑阿宝的xUI技术体系。这套体系覆盖全双工多模态通信、生成式渲染交互、服务执行技术以及多Agent生态协同四个核心方向。


阿宝的定位不是单纯的聊天机器人。按魏凤笛的说法,它是战略入口、业务服务海量供给、多端开放生态的组合。支付宝要把支付、生活、政务服务等供给,以对话和Agent执行的方式提供给用户。


移动端Agent走过的三个阶段

魏凤笛把移动端Agent应用场景的演进划成了几个阶段。最初模型只能做基础聊天和信息查询,背后依赖搜索工具的简单调用。随后是持续的上下文对话和内容生成,各种工具被组合进对话流,催生了大量聊天机器人产品。

再往后,大模型开始通过Agent方式把事务从头到尾办完,在编码、深度研究以及一些垂直任务领域逐步发力。围绕大模型Agent的工程方法也在持续演进,RAG、Prompt、MCP、Multi-Agent这些能力不断重塑移动端应用的产品形态。

当前几家大厂向Agent方向发展的路径,被他归纳为几种类型:

  • 一类以聊天问答和灵感陪伴为起点,逐步走向办事,在自有模型和业务之外引入三方MCP服务,在对话中帮用户完成任务;
  • 一类坚持垂类路线,比如阿福和灵光,不追求超级入口,持续强化自身领域内的供给,如挂号、知识、聊天、买药,整体偏内敛,开放性相对较低;
  • 还有一类是系统级智能体,做系统层能力的平台化,通过智能体框架加意图路由,与系统中安装的各类APP协同,完成跨应用任务。

支付宝把自己定位为一个整体的服务入口。思考框架分两层:一层是如何把用户意图从外部引入支付宝;另一层是支付宝内部产生的服务意图,如何把开放平台上的各种服务、小程序、政府服务、生活服务等供给,整体转化为AI化的服务提供给用户。

启动阿宝之前,已经试过很多次

在启动阿宝之前,团队已经做过不少尝试。前两年在搜索、出行、政务等垂类场景中,以对话类Agent方式把每个垂类场景的服务供给做了转化,以对话形式给出知识回答,并把用户对应的服务诉求提取出来,引导用户使用服务。

与此同时,支付宝作为支付工具,也在其他Agent智能体中逐步开展生态合作,包括把小程序放进车机、把支付能力开放出去。这些工作让支付宝逐渐体现出一种Agent的形态。

阿宝要解决的问题被抽象成四个领域:通信,如何让人和Agent持续高效地通信;在通信之上,如何与Agent高效友好地交互并完成服务;音视频多模态交互方式;端上能力和服务如何被Agent调用并执行。这些技术栈横跨端和云,还要考虑与其他多端厂商Agent的协同效果。

从单次请求到全双工,通信链路必须换

AI对话出现之前,客户端上的请求模式通常是一次性发起请求、拿到结果,属于单次请求交互。即使有推送或同步消息,本质上仍然是单次行为。

引入AI之后,Agent生成内容是持续的。用户对Agent说一句话,它就会持续返回内容,因此必须采用流式通信方式。对话过程中用户可以随时改变想法、补充新要求,这进一步要求通信链路具备全双工能力。

到了需要Agent帮用户办事的阶段,无论是操作屏幕、查看当前界面,还是读取摄像头信息并给出数字化反馈,都需要多模态全双工流式能力,才能支撑云端Agent实时感知语音、视频和屏幕,再通过推理表达、工具调用或用户确认来完成任务。


早期做文本对话时,主要强调文本内容的高效流式传输,一些简单的数据对话基于gRPC等双工数据通道可以满足需求。但当场景变复杂,尤其是音视频联合再加上数字人之后,问题就不再简单。

此前团队采用RTC方式,并联合其他数据通道一起工作,但暴露了几个明显不足:

  • RTC链路本质上是面向人与人交互设计的,必须建立房间,建连时间较长;
  • 它的扩展性主要围绕语音和视频本身,对其他模态的扩展比较困难;
  • 要把多模态融合进去做统一控制也不灵活。

MoQ协议提供了一种面向人和Agent交互的新思路。它是面向客户端与Agent之间通信设计的协议,能够把所有模态进行复用,通过标准的人和Agent交互协同方式,原生支持打断等行为,从而更好地融合多模态体验。MoQ的链路、模态扩充能力和信息灵活性都非常强。

因此,整个网络通信协议以MoQ为基础,配合RTC和多种其他通信方式,整体解决人和Agent交互中的通信问题。这一选型既保留了RTC在特定场景下的成熟能力,又通过MoQ获得了更灵活的多模态扩展空间。

交互表达的三个阶段

交互表达层面同样经历了清晰的阶段演进。第一个阶段是早期AI问答,用户提问后模型返回大量文字信息。当时Markdown比较流行,因为大模型对Markdown格式掌握得较好,输出本身就是Markdown形式。

这个阶段主要考虑的是如何让输出有AI感,能够随时输出随时展示,并附带一些流式交互效果。为了实现这一目标,团队基于Markdown做了三端原生渲染。选择原生渲染而不是为Markdown引入浏览器引擎,是因为前端渲染虽然实现简单,但工程成本较高且稳定性较差。原生渲染能够更好地支持三端标准协议,并保证AI交互效果。

第二个阶段,大模型能力变得越来越强,可以生成复杂的前端代码。除了文本看板之外,可以嵌入很多表现力丰富的内容。业务方看到这种能力后,开始在对话中表达复杂内容,包括图表类、信息分析类、知识类内容,都希望融合进去。这就必须引入前端浏览器技术。

核心问题随之变成性能、可靠性和稳定性,以及各种动画效果。为此团队采用了自研Web内核,对MY Web和WKWebView都做了深度优化,使得在原生对话界面中能够嵌入Web区块,同时保持非常高的体验水平。这一阶段的关键是把复杂HTML生成能力与原生容器深度结合。

第三个阶段,团队希望在对话里真正帮用户把事办掉。前两个阶段更偏向表达和简单的用户操作,可以让用户进行二次展开探索,但无法完成事务。

四个方向拼出的xUI

回到xUI这套体系本身,通信、交互、多模态、服务执行四个方向并非孤立。通信层解决的是人和Agent之间持续、可打断、多模态的信息流动;交互层解决的是这些信息如何被友好地呈现和操作;多模态层处理音视频等更丰富的输入输出;服务执行层则负责让端上能力和服务真正被Agent调用起来。

魏凤笛在分享中还呈现了团队对异步任务与伴随式交互的远期判断。这套技术架构的演进逻辑、关键选型和工程实践,构成了阿宝背后的完整支撑。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德国不再“踩刹车”!默茨作出决断:支持欧盟加强对华贸易措施

德国不再“踩刹车”!默茨作出决断:支持欧盟加强对华贸易措施

闻识
2026-09-17 13:41:30
全球最受欢迎的十个国家:美国第三,西班牙第二,中国呢?

全球最受欢迎的十个国家:美国第三,西班牙第二,中国呢?

铭记历史呀
2026-09-17 14:17:58
赛程出炉!广东东阳光2026-27赛季CBA常规赛完整版赛程

赛程出炉!广东东阳光2026-27赛季CBA常规赛完整版赛程

广东华南虎
2026-09-17 12:51:03
中国为啥不对菲律宾重拳出击,说到底一句话:每年都送来2000多亿

中国为啥不对菲律宾重拳出击,说到底一句话:每年都送来2000多亿

谛听骨语本尊
2026-09-16 11:24:25
4场1-0!西甲争3杀出黑马:豪门弃将组队 6场15分追平皇马

4场1-0!西甲争3杀出黑马:豪门弃将组队 6场15分追平皇马

叶青足球世界
2026-09-18 08:51:43
DeepSeek工程师长文爆火出圈,“我不至于会失业,但必须要转业”引发大量共鸣,本人回应:并非表达失业焦虑,是想和过去的时光说句再见

DeepSeek工程师长文爆火出圈,“我不至于会失业,但必须要转业”引发大量共鸣,本人回应:并非表达失业焦虑,是想和过去的时光说句再见

大风新闻
2026-09-16 11:21:19
父亲是知名主持毕福剑,移民加拿大接受西方教育,却变成了不男不女的模样,毕福剑丢掉的不只是事业,还有女儿的二十年

父亲是知名主持毕福剑,移民加拿大接受西方教育,却变成了不男不女的模样,毕福剑丢掉的不只是事业,还有女儿的二十年

品茗赏娱
2026-09-09 08:54:49
中东国家逐渐明白:买再多中国高端武器,也都无法换来真正的安全

中东国家逐渐明白:买再多中国高端武器,也都无法换来真正的安全

历史百科馆
2026-09-14 20:11:27
问界:没有华为、余承东的日子,该怎么办?

问界:没有华为、余承东的日子,该怎么办?

大厂财经社
2026-09-18 01:03:06
不忍看,9月16日《龙餐馆》550万,《空枪》470万,上映两月《女足》单日反弹88万

不忍看,9月16日《龙餐馆》550万,《空枪》470万,上映两月《女足》单日反弹88万

草莓解说体育
2026-09-18 09:38:52
自己打自己的脸,这种事很快乐吗?咋还上瘾了

自己打自己的脸,这种事很快乐吗?咋还上瘾了

走读新生
2026-09-18 00:16:46
曝陕西籍知名演员王双宝欠债百万不还,追债人曝细节:见过一次面的老板都要借钱

曝陕西籍知名演员王双宝欠债百万不还,追债人曝细节:见过一次面的老板都要借钱

裕丰娱间说
2026-09-16 06:39:45
全球罕见!哈萨克斯坦要把粮食放进中国战略储备库

全球罕见!哈萨克斯坦要把粮食放进中国战略储备库

阿器谈史
2026-09-17 10:48:32
台湾退役中将帅化民表示,张学良被关一生不能算冤,因为西安事变那一夜,他差点让蒋介石从奉化带来的嫡系护卫全军覆没

台湾退役中将帅化民表示,张学良被关一生不能算冤,因为西安事变那一夜,他差点让蒋介石从奉化带来的嫡系护卫全军覆没

谈史论今1
2026-09-06 20:22:18
中国各地为啥一夜之间多出这么多零食店,评论区一针见血!

中国各地为啥一夜之间多出这么多零食店,评论区一针见血!

另子维爱读史
2026-09-10 10:54:11
场均17+5!鹈鹕交易普尔的添头,现在比普尔还强,5500万续约超值

场均17+5!鹈鹕交易普尔的添头,现在比普尔还强,5500万续约超值

你的篮球频道
2026-09-18 07:19:21
王楚钦谈住邮轮:从小到大第一次住在船上,反正挺新鲜

王楚钦谈住邮轮:从小到大第一次住在船上,反正挺新鲜

懂球帝
2026-09-17 20:08:44
《交锋》大结局:马憩辞职,和林看山正式接头,应邀朱应甲家中做客

《交锋》大结局:马憩辞职,和林看山正式接头,应邀朱应甲家中做客

肆季娱乐
2026-09-18 09:20:59
鲍蕙荞没想到,去世13年的前夫庄则栋,竟给86岁的她留下一手好牌

鲍蕙荞没想到,去世13年的前夫庄则栋,竟给86岁的她留下一手好牌

听栀子说
2026-09-17 19:35:04
像路边阿姨这身简约的“裤里丝”穿搭,给人的感觉就是挺好看的

像路边阿姨这身简约的“裤里丝”穿搭,给人的感觉就是挺好看的

美女穿搭分享
2026-09-18 09:28:15
2026-09-18 10:44:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
276文章数 78关注度
往期回顾 全部

科技要闻

何小鹏:9系旗舰新车23.18万起

头条要闻

2岁幼童18楼坠亡:仅孩子母亲可向丈夫追究民事责任

头条要闻

2岁幼童18楼坠亡:仅孩子母亲可向丈夫追究民事责任

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

敬一丹逝世 央视送别,女儿成“心病”

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

艺术
健康
亲子
家居
数码

艺术要闻

韦启美 81岁时画的这幅瓶花,28.75万!

剧烈头痛伴呕吐,警惕脑动脉瘤破裂

亲子要闻

养娃是风险管理,所以不建议蠢货生孩子

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

佳能发布13款大幅面喷墨打印机:最高可达3.3张/分钟

无障碍浏览 进入关怀版