网易首页 > 网易号 > 正文 申请入驻

Kubernetes跑AI智能体,为什么秒级启动成了难题?

0
分享至

Kubernetes诞生时围绕一个相当简单的假设:软件会按开发者写好的指令行事。AI智能体让这个假设变得复杂——它能推理问题、选择行动路径、调用工具、编写代码、与其他系统交互,并持续朝一个目标推进。这正是智能体有用的原因,也正是它跑在生产环境里和传统应用不一样的原因。


企业越来越想把智能体放到Kubernetes上跑。云原生计算基金会(CNCF)近期一项调查发现,运行AI推理负载的组织中,有三分之二把它们跑在Kubernetes上。过去十年,Kubernetes已成为企业部署和运维分布式应用的标准方式,调度负载、分配资源、故障恢复、弹性伸缩这些事它本来就会。

推理需求会成批到来,客户需要快速扩容底层软硬件资源以承接激增的需求,这一点上Kubernetes非常合适。AI负载退潮时,Kubernetes也能平滑缩容底层基础设施,保证经济性。

但匹配得好,不等于没有缺口,首先是安全。前沿AI实验室近期发生的事故中,AI智能体逃出测试环境,在互联网上发起恶意网络攻击,这凸显出用强力护栏约束AI负载行为的必要性。AI的概率性本质导致无法准确预测一个AI负载会去调用哪些资源,智能体越界的可能性随之上升。理想的AI平台应当让清晰护栏易于执行,把智能体负载安全地关在定义明确的沙箱里。

把智能体AI负载限制在与其他Kubernetes负载逻辑隔离的沙箱中,企业就能更好地保证:即便某个AI负载失控,造成的破坏也留在沙箱内。与其让智能体想访问什么就访问什么,智能体平台应当采用显式的权限框架,对文件、工具、网络和系统资源的访问逐项放行或拒绝。除非获得明确许可,智能体应被完全禁止执行代码。

好消息是Kubernetes社区正把沙箱作为约束AI智能体的架构要素来推进,CNCF正在着手解决Kubernetes的安全与隔离缺口,但这个开源项目的功能尚未完全到位。真正的AI沙箱需要把视线越过容器,落到虚拟机或宿主机操作系统层面,确保智能体负载影响不到同一环境中的其他应用。眼下想把AI投入生产的企业,可以转向已经内置这些沙箱能力的商业Kubernetes发行版。

监控AI负载是另一个让CIO睡不着的问题。前沿AI实验室或许没有充分监控自家模型在做什么,甚至没监控它们有没有联网;企业则通常没有“请求原谅”的余地——智能体一旦行为失当,后果得自己扛。

安全或许是最显眼的挑战,但不是唯一的。智能体正在改变算力的消耗方式。一个普通服务可能连续运行数月,一个智能体可能只存在几秒钟:用户提问,智能体启动,干一些活,可能再创建其他智能体、调用若干工具,然后消失。把这种模式乘以数千用户,基础设施的样子就和常规Kubernetes环境很不一样了。

更麻烦的是启动成本。从零启动一个Kubernetes负载可能要花几秒,对很多应用完全可以接受,但对交互式智能体,这几秒慢得让人难受。于是出现一个有意思的基础设施问题:如何既拿到全新环境的隔离性,又不必每次都付创建环境的启动代价?

智能体负载的间歇性和快速拉起需求,正在考验Kubernetes的弹性。就像第一代Kubernetes不支持有状态应用一样,社区仍在为新一代智能体负载寻找最合适的抽象层。一个正在获得关注的答案是“智能体基底”(agent substrate):承载AI智能体的Kubernetes Pod在不需要时并不完全关闭,因为从休眠状态拉起会带来用户侧难以接受的延迟;智能体以悬挂状态留在热池中,从而能在毫秒级复活,而不是花几秒从深睡中完全唤醒。

在真实世界大规模部署AI负载时,细节决定成败。并非每个Kubernetes发行版都提供企业所需的全部能力。开源Kubernetes社区在适应变化的需求,有前瞻性的平台厂商则在构建护栏、沙箱、监控和智能体基底,让企业现在就能部署AI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

悠悠说世界
2026-08-17 13:48:27
彻底疯狂了,乌克兰“气球子母机攻击”诡异打法,专治俄军最顶级S-400防空导弹!莫斯科四大机场全面关停、340架航班瘫痪!

彻底疯狂了,乌克兰“气球子母机攻击”诡异打法,专治俄军最顶级S-400防空导弹!莫斯科四大机场全面关停、340架航班瘫痪!

吃瓜小侦探
2026-10-25 19:44:32
清晨,全线拉升!美国、俄罗斯、乌克兰,传来大消息!

清晨,全线拉升!美国、俄罗斯、乌克兰,传来大消息!

证券时报
2026-10-26 08:04:02
拔出萝卜带出泥!陈某父母曝光,扬州公司洗白,背后的人憋不住了

拔出萝卜带出泥!陈某父母曝光,扬州公司洗白,背后的人憋不住了

社会日日鲜
2026-10-25 06:12:24
巴萨1 2皇马,赛后评分:姆巴佩全场最佳 穆里尼奥妙手换人

巴萨1 2皇马,赛后评分:姆巴佩全场最佳 穆里尼奥妙手换人

体育小看台
2026-10-26 08:45:09
复盘皇马2-1巴萨:穆里尼奥战术完全正确,姆巴佩双响价值太高

复盘皇马2-1巴萨:穆里尼奥战术完全正确,姆巴佩双响价值太高

里芃芃体育
2026-10-26 08:02:13
网友养了只2个半月的陨石边牧,天天坐着发呆,怎么办,它好像有心事!

网友养了只2个半月的陨石边牧,天天坐着发呆,怎么办,它好像有心事!

爱宠物
2026-10-25 21:52:45
大逆转!掘金141-135击败鹈鹕!约基奇创NBA纪录,前无古人

大逆转!掘金141-135击败鹈鹕!约基奇创NBA纪录,前无古人

篮球大视野
2026-10-25 12:37:09
双线争冠,央视直播!足协杯半决赛先赛1场,大连英博客战云南玉昆

双线争冠,央视直播!足协杯半决赛先赛1场,大连英博客战云南玉昆

实事球是
2026-10-26 08:01:54
两人凌晨1点在海边争执,一人情绪失控翻越护栏跳海,同伴随后跟着跳下去……广东海警成功营救

两人凌晨1点在海边争执,一人情绪失控翻越护栏跳海,同伴随后跟着跳下去……广东海警成功营救

都市快报橙柿互动
2026-10-25 22:46:57
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
给毛主席喂了十几年马的老兵,建国后因为穷,到北京找主席借钱

给毛主席喂了十几年马的老兵,建国后因为穷,到北京找主席借钱

纪史行者
2026-10-12 03:10:05
泽连斯基称绝不放弃25%的领土 感谢星链速度恢复

泽连斯基称绝不放弃25%的领土 感谢星链速度恢复

看看新闻Knews
2026-10-25 15:12:06
拖了这么久,访华的事终于定了,中方仁至义尽,高市或成最大输家

拖了这么久,访华的事终于定了,中方仁至义尽,高市或成最大输家

娱乐小可爱蛙
2026-10-25 12:44:52
六旬大爷往某APP充值112万余元,一月内显示盈利超1000万,提现1100元后被索要89万分红,民警连夜展开调查

六旬大爷往某APP充值112万余元,一月内显示盈利超1000万,提现1100元后被索要89万分红,民警连夜展开调查

封面新闻
2026-10-25 18:30:06
星巴克 “消费入座” 风波反转:新规上线仅 3 天,两张现场照片流出,大家才看懂

星巴克 “消费入座” 风波反转:新规上线仅 3 天,两张现场照片流出,大家才看懂

毒舌说历史1
2026-10-25 08:43:02
乒羽中心主任点评王楚钦:公认的天才,上限很高,但下限也很低,引发球迷热议

乒羽中心主任点评王楚钦:公认的天才,上限很高,但下限也很低,引发球迷热议

乒乓乐园
2026-10-26 00:04:54
台湾即将有望统一!5大信号正在释放:武力统一已经进入倒计时?

台湾即将有望统一!5大信号正在释放:武力统一已经进入倒计时?

鹤羽说个事
2026-10-25 14:27:01
六万人演了十天大戏,散场时才发现:最值钱的东西不是打赢了,而是被人看光了

六万人演了十天大戏,散场时才发现:最值钱的东西不是打赢了,而是被人看光了

纪史行者
2026-10-25 17:34:32
薄一波究竟属于哪一级别?是正国级,还是副国级?

薄一波究竟属于哪一级别?是正国级,还是副国级?

人生录
2026-10-15 05:18:24
2026-10-26 10:07:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
167文章数 101关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

王佳佳近况:44岁导演老公露面

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

艺术
本地
旅游
数码
房产

艺术要闻

家底丰厚的贵公子,最后散尽千金,留给民族无价珍宝

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

旅游要闻

海口挺丰村:羊山古厝 动漫入村

数码要闻

古尔曼:苹果正测试配备OLED屏幕的iMac和MacBook Air

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

无障碍浏览 进入关怀版