网易首页 > 网易号 > 正文 申请入驻

首发计算运维智能体,华为CCAE为万卡集群点灯

0
分享至

一座城市的规模,决定了它需要什么样的守夜方式。

小城镇的夜里,一个打更人提着灯笼走一遍街巷,遇到什么处理什么,靠的是脚力和经验。等这座镇子长成了大都市,街道从几条变成几千条,人口从几百变成几百万,一个打更人就算跑断了腿,也巡不完一个零头。他得有地图、路灯,最好还能有人帮他把该处理的麻烦先处理掉。

算力集群正在经历这样的膨胀。而这座城市的守夜人——运维团队,正面临着前所未有的压力。

过去三年,万卡规模的AI训练集群还是行业天花板,今天万卡已经不是新闻。一个万亿参数的大模型需要数万张加速卡,模型参数再往上走,算力需求跨入十万卡量级,光模块数量突破百万,相当于一座中等城市所有路灯的总数,要做到每一盏都实时可控、故障秒级响应。



旧的守夜方式走到了头,新的方式正在敲门。今年9月,华为全联接大会发布了业界首个计算运维智能体算小维,集群数字地图同步升级到2.0。

这套组合拳要回答的,正是那个越来越紧迫的问题:万卡之城,到底该怎么守夜?



2024年初,中国一天消耗的token大约是1000亿。到2026年,这个数字变成了140万亿。两年,一千倍。

中国信通院的数据显示,截至2026年6月底,我国智能算力规模已达2185EFLOPS。同时,投运的标准机架超过1373万架,已建成42个万卡级智算集群。

只看这条曲线,你会以为这是一个关于“更多”的故事:更多的卡、更多的机架、更多的电。但只要把镜头从曲线拉回机房,规模膨胀带来的直接挑战是运维复杂度的指数级上升。

算力不是跑起来就行,真正的挑战是算力利用率和可靠性。一座集群建成投运,只是算力价值的起点。它能不能持续输出、能不能稳定输出、能不能高效输出,才是决定这笔投资回报的关键。

不过,当集群规模从千卡迈向万卡,运维的难度也指数级翻倍。一个1024卡的超节点会生成8万多个数字对象,对应千万级监控指标。打更人的灯笼照得再勤,也照不全这座城的每一个角落。

并且,有些“火情”不是靠肉眼能看见的。光模块脏污松动、器件老化等隐性问题不会直接报警,却可能在训练任务跑到关键节点时突然发作。

同时,业务侧对算力基础设施的可靠性要求达到了前所未有的高度。金融推理场景,千卡集群的服务可靠性需要达到99.95%,意味着全年可控业务中断时长不能超过4.4小时;万卡训练场景里,集群每停一天,就是数百万乃至上千万的算力成本蒸发。守夜人打一个盹,代价可能是整座城市停摆。

告警看不完、隐患看不见、故障等不起……产业发展到这一步,靠人巡夜的时代显然已经翻篇了。新守夜人该长什么样?



万卡之城需要怎样的守夜人?

我们或许能从华为CCAE最新成果计算运维智能体算小维一窥究竟。

而要理解智能体对运维意味着什么,不妨先回顾一下计算运维的演进脉络。

最早的运维是人肉时代,工程师登录服务器,逐条命令排查。随后进入自动化时代,监控、告警、脚本批量执行,工具链不断完善,但决策依然依赖人。而智能体的出现就是为了解放人工巡检。

简单来说,智能体是具备感知、决策、执行能力的智能运维工程师。华为CCAE计算运维智能体算小维有两个核心能力。第一是故障诊断,沉淀了1400多种故障模式,依托华为CCAE在全球海量运维场景中持续积累和迭代。第二层是智慧节能,系统可实时感知整机设备运行状态、业务负载潮汐与空闲时段,通过动态调频、智能负载调度、硬件精细化降频等策略,在不影响AI训推业务性能的前提下,实现集群空闲态能耗降低10%。



以故障分析为例,在算力集群的故障排行榜上,光链路脏污长期占据榜首。万卡集群里,一根光链路闪断,可能引发连锁反应:同一链路在3秒内上报3条LINK DOWN,再加上30条IPv6链路状态改变等衍生告警。传统模式下,运维人员需要逐条查告警、查性能、查连接,在6个页面之间来回切换,大约需要1小时才能判断出是光模块收光功率异常和链路劣化,而且准确率只有70%左右。

而智能体算小维接手后,这一过程被压缩到分钟级,准确率也大幅提升,它不再需要人在告警海洋里“捞针”,而是直接给出根因判断和修复建议。

这种能力的背后是华为CCAE在数据与经验上的长期积累。具体来看,华为CCAE首发的计算运维智能体,对各代际新设备同步建模,逆向从7000多个现网真实故障案例中总结规律,形成故障分类诊断Skills的专业know-how。不同skills按照类别划分,按照类别覆盖场景,覆盖率可以达到95%以上。

从人转移到工具,再从工具转移到智能体……万卡之城的守夜人从一群熬红了眼的工程师变成一套能感知、能思考、能行动的智能系统。技术最大程度地解放了人,但只有巡逻的智能体,真的能为万卡集群保驾护航吗?



万卡集群之所以难以维护,不仅在于数量多,更在于链路复杂、故障传播快、根因藏得深。

一个万卡规模的集群内部交织着数万条高速链路、数十万个光模块、成千上万个交换节点。一个光模块的收光功率轻微劣化就会引发链路闪断、RDMA重传等连锁反应。守夜人需要一张足够精细、足够实时、足够可交互的“底图”来支撑。

华为CCAE同步升级的集群数字地图2.0要解决的就是这个问题。

它的本质是将物理集群一比一映射为运维系统内的逻辑对象。大到数万卡规模的集群对象,小到单颗NPU的UDIE端口,全部完成数字化建模。



同时,集群所有连接也完成了建模,NPU/CPU等计算单元通过灵衢总线互联,互联包括POD内的电互联和POD间的光互联。这意味着,每一颗芯片的实时状态都会被监控,哪个器件、哪条链路异常,在数字地图上就可以快速定位。

这就像给一座城市画了一张实时更新的巡检地图。以前运维人员面对的是一排排机柜、一根根线缆,只能靠经验和运气去判断哪里出了问题。现在,每一盏路灯都有了坐标,每一条线路都有了标签,运维人员拥有了全局的、实时的、可交互的视野。

进一步看,数字地图和智能体算小维之间形成了一种眼睛与大脑的配合关系:数字地图负责“看见”,把物理世界的复杂状态翻译成数字世界可计算、可推理的结构化信息;智能体算小维负责判断,在这张地图上做根因分析、做决策、做执行。

没有地图,智能体就是盲人摸象;没有智能体,地图就只是一张好看的静态图纸。两者结合,才让万卡之城的守夜从人海战术真正走向系统化的智能运维。

但是,这张地图将会供谁使用?它照亮的是一座算力小镇还是千家万户的算力城池?



一座城的安全,不能只靠一个守夜人。

华为CCAE计算运维智能体算小维的意义不仅在于交出了一份技术答卷,更在于划出了一条产业分界线。在此之前,智能运维是单点工具的比拼。算小维发布之后,竞争将走向体系化能力和生态格局。而服务的集群越多,见过的故障越丰富,智能体就越智能。

换句话说,运维就像算力价值的放大器。同样的卡,同样的电,运维水平差一个档次,产出可能差出一大截。一次非计划停机带来的损失,可能远超一年的运维投入;而一次成功的隐患预判,省下的可能是整批训练任务的宝贵时间。

从芯片到集群、从硬件到软件的全栈运维经验,加上每年在集群自智引擎上超过亿元的研发投入,华为CCAE搭建了一道很难被短期复制的护城河。

经过全球海量复杂场景实战验证,华为CCAE目前已服务全球超350个AI集群,万卡级AI训练集群可用度达98.5%。可用度从98%提升到98.5%看起来只是0.5个百分点,对于一个年产值数亿的集群来说却意味着数百万的增量收益。

不过,华为CCAE并没有选择把这些能力攥在手里。在计算管理软件分论坛《集群运维智能体,智启运维新时代》上,华为计算管理软件产品线总裁鲁驰提出,明年将逐步参与行业标准建设。智能运维还处在早期,行业缺乏统一的技术规范和评估体系。标准的建立意味着产业从各自为战走向协同进化,最终受益的是整个算力生态。

回过头看,守夜的方式一直在变。小城镇的夜靠一个打更人的脚力和经验;大都市的夜靠地图、路灯和一套自动运转的巡夜系统。万卡之城的守夜人则正在从人变成一群智能体,靠的是一整套能被复制、被共享、被共建的守夜体系。

华为CCAE升级后,数字地图把城照亮,智能体替人巡夜,技能库把经验传下去,开放生态让更多城能跟着亮起来。



一盏灯照着一条街,万盏灯亮着一座城。当所有的城都亮起来的时候,才算真正走进了智能运维的时代。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热议大连1-0成都:李国旭为本土教练扛旗,成都心态已碎成渣

热议大连1-0成都:李国旭为本土教练扛旗,成都心态已碎成渣

懂球帝
2026-10-24 17:54:13
陈永奇任江西省政府党组书记

陈永奇任江西省政府党组书记

新京报
2026-10-24 18:16:14
诺里:克林根在场能提升防守,他不在场我们就靠小阵容撑住局面

诺里:克林根在场能提升防守,他不在场我们就靠小阵容撑住局面

懂球帝
2026-10-24 16:09:24
拉唐错失绝平点球 上海申花客场不敌深圳新鹏城

拉唐错失绝平点球 上海申花客场不敌深圳新鹏城

五星体育
2026-10-24 17:52:49
日本网友破防了,张雪机车在WSBK首个赛季就拿制造商年度第三、车手年度亚军

日本网友破防了,张雪机车在WSBK首个赛季就拿制造商年度第三、车手年度亚军

哲学船
2026-10-20 00:37:15
万斯:“星链”使用取决于美国对基辅和莫斯科的政策,而非马斯克

万斯:“星链”使用取决于美国对基辅和莫斯科的政策,而非马斯克

阿尔卑斯瞭望
2026-10-23 19:10:55
湖南大山里发现一株饭碗粗的野生柘树,全身是刺,却是古代的“帝王木”,可惜多数人不认识

湖南大山里发现一株饭碗粗的野生柘树,全身是刺,却是古代的“帝王木”,可惜多数人不认识

农夫也疯狂
2026-10-22 16:27:11
骑士爆发矛盾,米切尔公开质疑哈登,希望他能认真防守

骑士爆发矛盾,米切尔公开质疑哈登,希望他能认真防守

篮球小方
2026-10-24 12:09:25
大锤砸掉硫磺岛纪念雕像头颅,27岁男子被捕

大锤砸掉硫磺岛纪念雕像头颅,27岁男子被捕

观察者网
2026-10-23 18:36:44
张雨绮这个V开到肚脐眼下了,太敢穿了

张雨绮这个V开到肚脐眼下了,太敢穿了

情感大头说说
2026-10-17 04:20:04
海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

狸猫之一的动物圈
2026-10-21 09:04:47
微信回应iPhoneDuo不适配:可以让开发者等,但别让用户等!

微信回应iPhoneDuo不适配:可以让开发者等,但别让用户等!

城事堂
2026-10-22 14:26:42
郑欣宜的靠山,不是郑少秋也不是沈殿霞的遗产,而是事事兜底的她

郑欣宜的靠山,不是郑少秋也不是沈殿霞的遗产,而是事事兜底的她

白面书誏
2026-10-24 16:06:39
中共中央决定:莫高义任云南省委书记,王宁不再担任云南省委书记职务

中共中央决定:莫高义任云南省委书记,王宁不再担任云南省委书记职务

政知新媒体
2026-10-24 16:46:49
A股今天大反攻!任泽平高呼“市场底”,网友:希望您不要点评股市

A股今天大反攻!任泽平高呼“市场底”,网友:希望您不要点评股市

金石随笔
2026-10-24 07:18:09
许家印在看守所的待遇

许家印在看守所的待遇

年代回忆
2026-10-22 23:21:45
新婚夫妻用AI生成婚纱照,花费约3小时,被人看出来不觉得尴尬,当事人:跟金钱无关,两个人以后把日子过好这些都不是问题

新婚夫妻用AI生成婚纱照,花费约3小时,被人看出来不觉得尴尬,当事人:跟金钱无关,两个人以后把日子过好这些都不是问题

背包旅行
2026-10-16 18:08:08
3连败崩盘!50岁蓉城洋帅仍拒辞职:赛季后再说 现在放弃就真完了

3连败崩盘!50岁蓉城洋帅仍拒辞职:赛季后再说 现在放弃就真完了

我爱英超
2026-10-24 18:29:33
10-5!斯诺克冠军诞生:23岁中国名将捧杯,吴宜泽获得157万奖金

10-5!斯诺克冠军诞生:23岁中国名将捧杯,吴宜泽获得157万奖金

老牛体育解说
2026-10-04 22:53:41
张不开嘴别演戏!看《伟大的长征》彭总吃扣肉,对假吃演员应激了

张不开嘴别演戏!看《伟大的长征》彭总吃扣肉,对假吃演员应激了

调侃国际观点
2026-10-24 14:22:36
2026-10-24 19:00:49
脑极体 incentive-icons
脑极体
从智能密钥到已知尽头
3835文章数 167634关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

媒体:俄美乌要谈了 顿巴斯地区归属成关键“卡点”

头条要闻

媒体:俄美乌要谈了 顿巴斯地区归属成关键“卡点”

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

教育
健康
亲子
旅游
军事航空

教育要闻

山东高考报名问题合集!验证码加载不出来?

痘痘能根治吗?皮肤科医生说实话

亲子要闻

韩国全职妈妈遭孩子蔑视:爸爸上班我上学,妈妈只是在家躺着享福……

旅游要闻

山城这条网红路,深深镌刻“两岸印记”

军事要闻

辽宁舰编队远海训练细节首度披露

无障碍浏览 进入关怀版