网易首页 > 网易号 > 正文 申请入驻

C罗刚头球破门,AI解说脱口而出!全模态实时流太狠了

0
分享至


新智元报道


【新智元导读】只会聊天的Agent要下岗了!AI盯直播自己解说世界杯,懂战术还会切粤语,背后竟藏着一个流式Agent引擎。

2026世界杯,正打得火热!

全球几亿人盯着同一颗滚动的足球,等一个进球,等一句呐喊。

41岁的C罗第六次踏上世界杯赛场,38岁的梅西带着卫冕冠军阿根廷继续追梦,哈兰德第一次站上世界杯就杀红了眼,姆巴佩则剑指世界杯历史射手王。

绿茵场上每个瞬间都在发生故事,每个进球都让世界屏住呼吸。


但你有没有想过,要是让一个AI来实时解说这场比赛,它得同时干成几件事?

它得看懂此刻画面里「谁在头球」,得记住「几十分钟前谁踢丢了一脚」,还得调出「上一场比赛、甚至这个球星近几年的数据」。

把这三层信息:现在、刚才、过去,对齐到同一根时间轴上,再用一种你喜欢的方言、喜欢的风格讲出来。

这种极限背后,到底是一套什么样的系统在运转?

把直播现场,炼成实时智能

答案,就在今天召开的Flink Forward Asia (FFA) 2026大会上。

阿里云正式宣布,Apache Flink 3.0全面进入Agentic Streaming For AI时代,并推出全模态数据流处理能力。

这是业界第一次,把视频、音频、图像、文本这四类数据,统一放进同一条流式pipeline里调度,让AI能够实时感知、实时理解、实时回应。

可以让AI实时解说世界杯的demo,正是这套能力的注脚。

一场直播画面,是怎么在Flink这条流水线上,一步步变成实时解说的。

第一步,实时抓帧、实时看懂。

Flink实时抓取直播画面里正在发生的信息,做实时多模态数据处理,理解此刻屏幕上发生了什么。

谁接了球?谁完成了传球?这脚打没打进?

这一步既可以调用大模型API,也可以跑GPU本地部署的全模态模型,把「看画面」这件吃算力的活儿,压在GPU上高效完成。

第二步,喂给大模型、生成解说词。

理解完的信息被实时喂进大模型,由它推理出一句完整的解说——

谁、在什么时刻、做了什么、造成了什么结果。

解说词一旦成型,输出的音色还能随手切换。

嫌普通话解说不带劲?它下一秒就能换成一段地道的粤语;亦或是,换上「猴哥」的音色,实时评价C罗等球员的表现。

第三步,沉淀成上下文、随时回看。

所有这些信息,都会在Flink里沉淀为实时上下文,彼此之间做交叉分析。

于是「半场总结」、「精彩镜头集锦」这类需要跨时间回溯的能力,第一次有了水到渠成的实现路径——因为该记住的,系统一直都在记。

视频里,那句「两回合都是大场面先生」的跨场次分析,则同时调动了两层记忆。


大模型把两层记忆一融合,才说得出那句让人起鸡皮疙瘩的话。

如果你在现场看,唯一能察觉到它「在工作」的痕迹,是大概25秒的延迟。不是说流式,那这个延时又是哪里来的?

其中的15秒花在「攒帧」上,视频流得一秒抽一帧,把关键帧攒够一段才能给模型。

剩下10秒是大模型自己琢磨:VL模型先看懂视频,LLM再写解说词,接着做风格转换(比如切粤语),中间还卡着一道合规检查。

而当前大部分的VL模型的处理延迟都相对较大,这才导致了整条链路上的部分延时,如果是流音频模型这部分的延时就会少很多。

好几个小Agent串成一条链,各干各的,一个干完递给下一个。等链子跑顺了,开头那十几秒的延迟就没了。

回头再看这个AI。它在看球,在解说,在回忆,在切粤语——全程没有一个人戳它一下、问它一句。事件流到了,它就动。

这跟过去三年我们以为的「Agent」,已经不是一个东西了。

这跟会聊天的AI,不是一个东西

之前,ChatGPT、Gemini等聊天AI,底层都是一套:你问一句,它答一句。

最近上线的Claude Tag,则往「更主动」走了一大步,把AI嵌进人的工作流。可它终究还是得有人 @ 那么一下。


而Flink要做的,是把这层「等人开口」的壳整个掀掉,转向了「流式Agent」新路。

Flink这次给流式Agent下的定义很清楚,叫Event-Driven Agent(事件驱动型Agent)。

它和对话式Agent的根本差别,可以拆成四点:事件触发对人发问响应、7×24永远在线对一问一答即停、自主决策对被动响应、记忆自维护对靠人喂上下文。

如果问哪一种方式,更接近「AI真正替代人干活」的终局,答案应该是后者。

真正撑起一个产业的,从来不是会聊天的助手,是会自己上班的员工。

干这件事的主角,是Apache Flink。如果你不在技术圈,可能没听过这个名字。但全球流计算这一块,它就是事实标准。


Netflix的实时推荐、Uber的行程调度、阿里双11零点的洪峰——背后跑的都是Flink。国内你叫得上名字的互联网大厂,字节、美团、快手,它的实时数据管道里大概率躺着同一个引擎。

还有一层背景。这么一个统治全球的Apache顶级项目,背后最核心的贡献者和推动者,是中国团队——阿里云实时计算Flink团队。

Apache基金会里,由中国团队主导、还做到了全球第一梯队的基础软件项目,Flink是凤毛麟角的一个。每年一度的Flink Forward Asia大会,是亚太流计算圈的旗舰盛会。

就是这样一个已经在全球跑了十几年、被验证过无数次的工业级引擎,这次把自己彻底重做了一遍。从「算报表的实时计算框架」,跳到了「养Agent的流式智能体基座」。

卡了三年,这次一次解开

流式Agent这个想法,其实并不新。

「让AI持续运转、持续感知、自主决策」——这几乎是所有人最早对Agent的想象。问题从来不是「想不想做」,而是「做不出来」。它卡在一个非常具体的、又非常底层的地方:数据。

在这套AI-Driven的新逻辑面前,现有主流方案暴露出三道硬伤。

第一,全模态数据散落一地。

Agent要感知的世界,早就不是表格和数字,是文本、图像、音频、视频的混合流。可它们躺在完全不同的管道里,对不齐时间——AI拿到手的,是一堆「拼图碎片」。

第二,批处理撑不住「永远在线」。

一次性打包7天数据喂模型,这套离线训练的老办法没问题。可面对7×24源源不断的事件流,「攒一批、跑一批」立刻力不从心——等数据攒够、模型跑完,该发生的早发生了。

第三,关键信号被淹没。

数据攒成一大坨一起喂,AI的注意力就被稀释了。一次异常交易、一个突然的进球、一台机器的异常心跳,淹没在海量数据里。系统用得越久,反应越慢,越笨重。

结果就是:大模型再强,也白搭。

Flink 3.0彻底告别「打补丁」式的妥协,从底层完成重构。

对应第一道,全模态数据对不齐/Flink 3.0给的是全模态Agentic Streaming Engine。

它把视频、音频、图像、文本第一次统一进了同一条流式pipeline。不是各自处理后拼起来,是从一开始就在同一根时间轴上调度。

事件时间、状态管理、精确一次这些流计算的老本行,和多模态理解、大模型推理这些新需求,对齐到同一根轴上。

AI拿到的不再是拼图碎片,是完整、连贯、对齐的世界。CPU和GPU混合调度,把整条流水线的资源打满。

对应第二道,批处理撑不住永远在线。这本来就是Flink的主场。

Flink是纯流式引擎,从第一天起处理的就是「无限流」,不是攒成批的存量数据。同样是pipeline架构,Spark、Ray处理的是躺在对象存储里的批量数据,而Flink处理的是摄像头视频流、直播流、消息队列里永不停止的流。

关键就在这:在线计算、实时把大模型能力集成进去,才是能释放更高业务价值的所在。离线批量也能用AI,但只有实时在线,才能让AI真正嵌进生产流程。

对应第三个道,关键信号被淹没。Flink用Streaming Agent-OS来解。

它不只让Agent看到数据,还给Agent配了一套「操作系统」Flink孵化了Flink Agens项目,包含Agent DSL、Agentic算子,外加Flink原生的流处理、状态管理、故障容错。

Agent不用每次都重新理解一遍世界。它的短期记忆和长期记忆由这套系统维护。

7x24h,永远在线的Agent

Agent要永远在线,它背后的数据底座也得永远在线。

这就是FFA2026上同时发布的Agentic Lake。

Apache Paimon 2.0负责全模态数据的沉淀和统一管理,Apache Fluss 1.0负责实时数据的流转和Agent上下文供给,两者双向自动互通,构成湖流一体。

至此,一个能7×24自转的流式Agent,第一次有了完整的工程化路径。

全模态引擎让它「看得清」,Streaming Agent-OS让它「记得住、想得通」,Agentic Lake让它「饿不着」。

要理解这次升级的分量,得先看清楚一件事:在AI时代,数据处理这件事本身的命题,已经换了。

过去十几年,数据基础设施服务的是BI——做报表、跑分析、算指标。它处理的对象,是订单、点击、日志这类结构化数据,整整齐齐躺在数据库里。

驱动这一切的逻辑,是BI-Driven:人来提问,系统给出图表。

但今天,喂给AI的「燃料」变了。

在AI Agent时代,进来的数据变成了图像、语音、PDF文档、摄像头信号、车联网等全模态数据。

这意味着数据计算的驱动力,已经从BI-Driven转向了AI-Driven。

若数据底座如果还停留在「为报表服务」的旧范式里,AI就只能困在Demo阶段。

这恰恰是Flink 3.0升级之后,所重塑的底层逻辑。

它会在哪里先上岗

流式Agent不是空中楼阁,已经有具体场景在跑。

最先跑出生产力的,是智能运维。

企业的IT系统里,机器心跳、底层日志、应用信息、业务事件每秒钟都在海量涌出,天然就是事件密集的战场。

过去靠运维专家盯,现在嵌入AI能力之后,系统可以自己看matrix、看log,判断要不要做负载均衡、换机器、提前预警。

直播监控是另一个天然场景。海量直播流涌进来,系统不仅能做内容监控,甚至能给导播实时提供智能化建议。

还有广告实时定价。用户点击、商品浏览、竞价波动,每一个事件都在实时产生。

把它们实时捕获、分类,沉淀成短期与长期上下文,模型就能实时判断广告要不要重新定价、怎么投放。

这里还藏着一个被很多人误解的点:AI来了,规则就该被推倒?

模型驱动和规则驱动,是融合模式,不是完全替换把历史推倒。

数据量太大,全交给大模型不现实;更聪明的做法,是用规则做预处理与初筛,再让AI对剩下的部分做加权式的增强判断。

甚至,规则本身都可以由大模型动态生成、持续迭代。

这也是流式Agent能比对话式Agent更快走进生产场景的原因之一。它不要求你推翻现有的规则系统,它要求的是把你现有的事件流,接进一条能让AI实时介入的管道。

以前我们以为,Agent就是ChatGPT那样会聊天的东西。Flink 3.0提示的是另一种可能——一个不靠人发问、靠自己运转起来的AI。

它不是更强的工具。它是第一次,自己活了起来。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亿纬锂能刘金成:锂电池消费税落地后会有相当一部分企业退出市场

亿纬锂能刘金成:锂电池消费税落地后会有相当一部分企业退出市场

财联社
2026-11-21 13:03:20
前国脚金敬道疑似出狱与美女合影:球场进不去,流量场先热身

前国脚金敬道疑似出狱与美女合影:球场进不去,流量场先热身

姜大叔侃球
2026-11-21 11:25:05
知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

叨唠
2026-03-15 17:36:49
妹子怀疑猫吃了800元买的角蛙,在网上蛐蛐猫一整天,结果反转了?网友:快拿10个罐罐给咪道歉!

妹子怀疑猫吃了800元买的角蛙,在网上蛐蛐猫一整天,结果反转了?网友:快拿10个罐罐给咪道歉!

铲屎官阿伟
2026-11-08 09:26:17
日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

叒女紫121
2026-10-15 17:59:37
韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

体坛卡卡说
2026-11-21 18:49:52
申请交易!甩卖全队资产!鱼腩烂了!热火还是勇士?

申请交易!甩卖全队资产!鱼腩烂了!热火还是勇士?

篮球盛世
2026-11-22 13:45:44
“小仙女”再出新款!工资全额上缴,孕妇妻子发视频指责丈夫陪床还忙着工作,后续细节曝光,评论区一片愤怒

“小仙女”再出新款!工资全额上缴,孕妇妻子发视频指责丈夫陪床还忙着工作,后续细节曝光,评论区一片愤怒

火山詩话
2026-11-22 14:00:57
张天爱也开始走清纯路线了,灰丝袜搭配粉色上衣秒变萝莉!

张天爱也开始走清纯路线了,灰丝袜搭配粉色上衣秒变萝莉!

说不尽的人心
2026-11-22 10:35:52
大众丰田带头,撕掉“杂牌电车”标签,合资的好日子又来了?

大众丰田带头,撕掉“杂牌电车”标签,合资的好日子又来了?

汽车情报
2026-11-22 14:28:29
20岁李嫣录歌照流出,穿黑色吊带后背纤薄,比天后王菲还清冷高级

20岁李嫣录歌照流出,穿黑色吊带后背纤薄,比天后王菲还清冷高级

小疯子耶
2026-11-22 07:10:37
75岁母亲得知儿子住院,凌晨拄拐步行4公里去探望,到了医院却怎么也找不到;警方通过人脸识别帮她找到儿子,儿子却说:本想瞒着她的

75岁母亲得知儿子住院,凌晨拄拐步行4公里去探望,到了医院却怎么也找不到;警方通过人脸识别帮她找到儿子,儿子却说:本想瞒着她的

大风新闻
2026-11-22 10:48:11
英军上将警告:若台海开战,英军将同时与中俄开打,重点对付中?

英军上将警告:若台海开战,英军将同时与中俄开打,重点对付中?

西北汉子
2026-11-22 13:43:03
医院一线医护被逼走投无路,霸权式管理闹剧何时休?

医院一线医护被逼走投无路,霸权式管理闹剧何时休?

峰哥跑交通
2026-11-21 16:39:17
疯狂!嫌邻居音乐太吵发生争执,母亲一声“去拿枪”,10岁儿子连开两枪打死16岁少女

疯狂!嫌邻居音乐太吵发生争执,母亲一声“去拿枪”,10岁儿子连开两枪打死16岁少女

华人生活网
2026-11-21 05:05:37
空接暴扣+三分投射!76人悍将首秀满分,他让詹姆斯不用再打中锋

空接暴扣+三分投射!76人悍将首秀满分,他让詹姆斯不用再打中锋

小路看球
2026-11-22 13:19:43
穆帅表示皇马目前难踢442阵型;替补神锋埃斯皮44分钟进3球!皇马高管纳达尔送上祝贺!

穆帅表示皇马目前难踢442阵型;替补神锋埃斯皮44分钟进3球!皇马高管纳达尔送上祝贺!

福酱的小时光
2026-11-22 14:59:17
马科斯访华态度转暖!称中国接待非常好,菲律宾为何急着改善关系

马科斯访华态度转暖!称中国接待非常好,菲律宾为何急着改善关系

吃货的分享
2026-11-22 13:06:21
选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

金牛传声
2026-11-21 15:18:45
文班亚马50分19板创多项神迹:历史首人!赛后:我不太擅长刷数据

文班亚马50分19板创多项神迹:历史首人!赛后:我不太擅长刷数据

Emily说个球
2026-11-22 11:33:08
2026-11-22 15:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16742文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子租房几个月被赶走:我4600每月 中介月付房东5000

头条要闻

女子租房几个月被赶走:我4600每月 中介月付房东5000

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

本地
时尚
健康
数码
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

华为史上最薄手表WATCH Air下周发布!李小龙:对男性穿西装衬衣非常友好

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版