网易首页 > 网易号 > 正文 申请入驻

专题解读 | 当智能体“批量上岗”,安全防线谁来守?

0
分享至


智能体(AI Agent)作为人工智能应用的重要形态,是具备自主感知、交互、决策与执行能力的智能系统。相较于大模型,智能体解决了“有脑无手”的问题。随着智能体从实验室走向产业规模化应用,其安全风险日益凸显,这对人工智能治理体系和模式的重构提出严峻挑战。

01

智能体发展现状

智能体是指以大型语言模型为驱动,具备自主规划、协同执行和持续学习能力的智能系统,能够感知环境、推理决策并采取行动以实现预定目标。智能体的规模化应用,意味着AI不再仅是信息处理与建议提供的工具,而是成为能够自主执行复杂任务、参与生产与管理决策的“数字员工”。传统的“人—机交互”生态逐渐被重构为“机—机自主协同”的社会发展模式。

全球智能体发展格局

全球人工智能发展呈现显著的梯队化和区域分化特征。美国在智能体技术基础研发与核心硬件方面保持全球领先地位。在政策层面,自2023年相继发布《人工智能战略》《国家机器人路线图》《人工智能基础设施计划》等政策措施,为智能体技术迭代扫除政策障碍。在产业层面,OpenAI推出的GPT-5.4定位于“首个能直接操作计算机的通用模型”,英伟达发布“NemoClaw”软件栈支持开源智能体框架的开发与部署。凭借软硬协同的领先优势,美国在定义智能体能力方面占据了极大的话语权。

欧盟按照“立法先行”的模式,通过“数字欧洲计划”,拟于2025—2027年专项投入13亿欧元,加快人工智能、云与数据、网络安全、先进计算、半导体等领域的技术突破,为智能体发展进一步铺平了道路。由于法国、德国等老牌发达国家拥有雄厚的资本底蕴和坚实的产业基础,欧盟凭借自身整体实力,其智能体产业的发展速度与规模也达到了国际领先水平。如西门子的工业智能体产品以Industrial Copilot为核心入口,目前已形成覆盖设计、规划、工程、运营全价值链的智能体矩阵。然而,欧盟作为多个国家的联合体,其内部“多极分散”态势以及核心技术研发整体性不足的问题,制约了其综合竞争力的提升。

中国在智能体产业落地与商业化应用方面展现出独特优势。2026年3月,国务院总理李强在《政府工作报告》中首次提出“打造智能经济新形态”,并明确“促进新一代智能终端和智能体加快推广,推动重点行业领域人工智能商业化规模化应用”。艾媒咨询发布的数据显示,2025年中国智能体市场规模已达804亿元,同比大幅增长123.2%,预计到2030年将突破6000亿元。智能体产业链已基本形成基础层(算力与模型)、平台层(开发工具)与应用层(场景解决方案)协同发展的格局。

我国算力基础设施支撑能力

智能体规模化应用对算力提出了更高的需求。智能体的运行有赖于大模型推理、工具调用、多步规划与自我反思等环节的持续计算支持,其算力消耗远超传统AI应用。数据显示,中国日均Token调用量已从2024年初的1000亿跃升至2025年底的100万亿,两年间增长超千倍,智能体的兴起进一步推高了算力需求。在算力基础设施建设方面,截至2025年底,中国智能算力规模已达1590 EFLOPS(每秒百亿亿次浮点运算),同比增长119.2%。其中,八大国家算力网枢纽节点(含十大集群)已投运智算规模达1388 EFLOPS,占全国比重超过80%。总体来看,中国算力总规模与智能算力规模均位居全球前列。

然而,算力不足仍是制约智能体产业发展的主要瓶颈。从大模型迭代到智能体爆发,算力供需矛盾日益凸显,“算力焦虑”由此产生。一方面,智能体应用对低时延、高并发的算力性能要求极高;另一方面,国产高端算力芯片在性能和生态方面与全球领先水平仍存在差距。对此,国家正积极建设全国一体化算力网,着力缓解算力供需矛盾。

综上所述,我国算力基础设施在规模总量上具备支撑智能体初步规模化应用的条件,但在算力性能、能效比和成本控制等方面仍需持续突破。随着智能体从单体使用向规模化应用迈进,其应用安全问题逐步成为统筹发展的关键。

02

智能体规模化应用的安全问题

智能体权限失控

随着智能体被赋予越来越广泛的工具访问权限和系统操作能力,其自主行动边界与人类控制之间的张力日益凸显。有研究指出,在智能体自主性能力驱动下,记忆投毒、工具滥用、奖励劫持以及由价值错位导致的涌现性失配等质变级安全问题,逐渐由潜在风险转变为现实可能。具体表现如下:一是智能体可能被授予超出必要范围的操作权限,在执行任务的过程中调用不当工具或执行未经授权的操作,导致系统损坏或数据泄露;二是智能体可能通过不可逆工具链执行无法撤销的破坏性操作;三是由内部状态漂移或价值错位引发的欺骗性行为,使智能体在未被察觉的情况下偏离设计目标。智能体权限失控不仅会造成重大损失,还可能引发责任与合规黑洞,进而挑战AI问责框架,人们对于系统的信任则会因此崩塌。

多智能体交互失控

智能体从单一部署走向多智能体协同是必然趋势,而安全风险呈现复杂化和质变性的新特征也是必然。相关研究指出,“当智能体彼此交互时,个体故障会复合化,并出现本质上全新的故障模式”。多智能体交互失控的具体形态可概括为:单智能体向其他智能体传播潜在破坏性指令;多智能体通过“回音室”效应相互强化不良安全实践;像病毒一样传播,感染体经媒介传染正常体,使其逐一感染、扩散,从个体蔓延至群体,直至整体瘫痪。更为关键的是,上海交通大学和上海人工智能实验室研究发现,多个智能体可以秘密协同以达成有害目标,展现出比人类更高效、更隐蔽的“团伙作案”能力。由此可见,多智能体交互失控不仅是单体风险的简单叠加,而且产生了全新的、涌现性的安全威胁。

生成内容精准性难以验证

与传统的确定性系统不同,基于大语言模型的智能体在生成内容时具有内在的统计性和不确定性,使得其输出结果的可靠性难以保证。“大语言模型幻觉”现象是智能体生成内容精准性验证的核心难点。当智能体被赋予调用外部工具、修改系统状态的能力时,一个由幻觉产生的错误决策可能导致实际损害,而非仅仅停留在信息提供层面。对此,目前国内已有部分企业级解决方案上线,用以解决生成内容的精准性问题。然而,这些方法大多局限于对静态生成内容的事后验证,对于智能体在动态交互过程中产生的实时决策和行动结果,精准性验证并非根治的“良药”。

能源安全受到挑战

智能体规模化应用的能源消耗正在成为一个不可忽视的资源安全问题。与传统AI推理任务相比,智能体的运行涉及多步规划、工具调用、状态维护与自我反思等复杂计算流程,其单位任务的能耗远高于简单的文本生成。在能源安全方面最直观的挑战在于电力系统的供应压力陡然提升。智能体规模化应用会带来大规模、高密度、高可靠性的用电需求,对现有电力资源分配格局带来巨大挑战。总体来看,智能体的自主性和能力提升依赖更多的算力投入,而算力的增长受到能源供应和碳排放要求的限制。如何解决好技术与能源之间的相互协调问题,是智能体规模化应用的重要基础。

03

智能体规模化安全应用的对策

加强协议约束

协议约束是智能体安全治理的基础性保障措施。随着智能体从单一部署走向多智能体互联与协同,制定统一的通信协议和行为规范已成为产业共识。协议约束的核心价值在于为智能体的行为边界提供明确的规则框架,在协议层面构建“可信连接、可信身份、可信意图、可信授权”的四维安全防护体系,这有助于解决跨设备、跨平台智能体协同的底层信任问题。但值得注意的是,目前智能体的主要协议大多来源于美国,我国在协议制定和应用方面仍存在明显短板。

强化标准引领

标准引领是从源头保障智能体安全的重要措施。在智能体技术快速迭代的背景下,标准化工作为安全评测、风险识别和合规管理提供了可操作的技术依据。在标准引领方面,国内外正形成多层次推进的格局。在国际层面,多智能体可信标准已在国际电信联盟立项。标准引领的作用不仅在于提供技术规范,更在于通过标准设定形成市场准入门槛,倒逼产业主体提升安全治理能力。因此,构建国家级能力验证与安全评测平台,推动风险监测与验证体系标准化,是智能体安全发展的重要战略选择。

注重物理隔离

物理隔离是在逻辑防护之外构建的安全防线。相关研究表明,在算法层面可嵌入物理安全约束,通过可行的技术路径给模型戴上“紧箍咒”,使算法更加遵循物理世界的安全规则;在架构层面,通过架构设计将应用层操作与基础设施层策略执行相分离,利用统一的策略层定义并监控自主系统的运行方式;还可通过动态规则注入隔离机制,在控制层和数据层同步施加约束,在保障安全的同时维持模型效用。值得注意的是,传统的“物理隔离等于安全”观念需要重新审视,物理隔离不应被视为孤立的安全措施,而应与协议约束、访问控制、行为审计等构成多层次、纵深防御的安全体系。

统筹能源安全

能源安全是智能体规模化应用的底层保障。在算力需求持续增长的背景下,统筹能源供给、绿色发展与智能体部署之间的关系,成为智能体规模化应用必须面对的战略性课题。在政策层面,算电协同已被写入2026年《政府工作报告》,报告要求枢纽节点新建算力设施绿电应用占比达到80%以上,旨在实现“以电强算—以算促电”的良性循环。在技术层面,推进“AI赋能绿电生产—绿电支撑AI发展”的互促循环是核心路径。在产业层面,国家正加快全国一体化算力网建设,推进“云边端”协同发展,提升算力接入和精准匹配能力,以更好地满足智能体规模化应用的算力需求。

统筹能源安全不仅关乎智能体能否持续运行,更关乎绿色低碳发展目标的实现。建立算力与电力协同发展的机制,在保障算力供给的同时降低碳足迹,是智能体规模化应用安全、可持续发展的必由之路。

04

结语

智能体正以前所未有的速度从技术概念走向产业规模化应用,标志着人工智能实现从“认知智能”到“行动智能”的关键跨越。智能体规模化应用已成为发展的必然选择,安全治理不应是技术发展的附加项,而应作为核心设计原则贯穿智能体研发、部署与运营的全生命周期,唯其如此,才能真正实现智能体技术服务于人类福祉的根本目标。

本文刊载于《通信世界》2026年第4期

作者:国家工业信息安全发展研究中心 苏泳睿 付宇涵(通信作者) 唐旖浓 马冬妍

最新!5G标准必要专利全球排名出炉

运营商全年焦虑隐现:Q1利润承压显著

Token套餐上线,运营商能否走出“围城”?

责编/版式:朱文凤

审校:梅雅鑫

监制:刘启诚

【媒体矩阵】

今日头条 | 微博 | 微软MSN | 百家号

网易号 | 人民号 | 腾讯新闻 | 搜狐

新浪看点 | 雪球号 | 知乎

【运营团队】

编辑|梅雅鑫 孙天 朱文凤

审校 | 梅雅鑫

监制|刘启诚

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
50岁的胡海泉带15岁女儿出行,俩人打扮接地气,女儿披发身材偏胖

50岁的胡海泉带15岁女儿出行,俩人打扮接地气,女儿披发身材偏胖

小椰的奶奶
2026-04-28 14:04:41
今天我们讲现代社会中最畸形的制度——劳务派遣。

今天我们讲现代社会中最畸形的制度——劳务派遣。

流苏晚晴
2026-04-21 20:48:42
调查发现:每天走路的糖尿病人,大多到了72岁后,身体或有4变化

调查发现:每天走路的糖尿病人,大多到了72岁后,身体或有4变化

荷兰豆爱健康
2026-04-28 18:35:19
平台回应“孕妇自称花200元买水果遭丈夫咒骂后引产”:系剧情演绎,已处置禁言

平台回应“孕妇自称花200元买水果遭丈夫咒骂后引产”:系剧情演绎,已处置禁言

齐鲁壹点
2026-04-28 17:19:17
等了整整6年,今天终于开门,很多杭州人赶来!橙柿直击恒隆广场开业:传说中的爱马仕暂无,很多品牌还是围挡,有哪些值得逛?

等了整整6年,今天终于开门,很多杭州人赶来!橙柿直击恒隆广场开业:传说中的爱马仕暂无,很多品牌还是围挡,有哪些值得逛?

都市快报橙柿互动
2026-04-28 12:32:51
章泽天惊艳亮相北京!利落高级职业穿搭气场全开,从容登台发言

章泽天惊艳亮相北京!利落高级职业穿搭气场全开,从容登台发言

雷科技
2026-04-28 22:39:38
迪巴拉:我的目标是参加世界杯;没问过斯卡洛尼我为什么落选

迪巴拉:我的目标是参加世界杯;没问过斯卡洛尼我为什么落选

懂球帝
2026-04-28 16:05:07
刺杀特朗普的枪手终于开口,他的告白比枪声更刺耳

刺杀特朗普的枪手终于开口,他的告白比枪声更刺耳

阿凯销售场
2026-04-27 17:28:21
曝加州州长被Google创始人当众“羞辱”后,又冷又饿,还连续几个月感冒

曝加州州长被Google创始人当众“羞辱”后,又冷又饿,还连续几个月感冒

大洛杉矶LA
2026-04-28 06:08:32
牛!中国制造,已经强到如此可怕了!火遍全球的越野跑鞋竟是made in china !

牛!中国制造,已经强到如此可怕了!火遍全球的越野跑鞋竟是made in china !

英国报姐
2026-04-27 20:39:55
两性关系:55-65岁这十年,惜命最好的方式,不是锻炼,做好这6点

两性关系:55-65岁这十年,惜命最好的方式,不是锻炼,做好这6点

三农老历
2026-04-13 17:10:06
队史季后赛首输广州!广东溃败输在哪:四外援三分17中0梦游

队史季后赛首输广州!广东溃败输在哪:四外援三分17中0梦游

醉卧浮生
2026-04-28 21:45:18
今年最惨股,下跌3年横盘5年,已跌95%,是只医药股从26跌到了1.7

今年最惨股,下跌3年横盘5年,已跌95%,是只医药股从26跌到了1.7

丁丁鲤史纪
2026-04-28 13:19:02
连续4年亏损33亿!海昌海洋公园为何把一手好牌打烂?

连续4年亏损33亿!海昌海洋公园为何把一手好牌打烂?

青眼财经
2026-04-27 08:06:55
名记:若拿下双红会,卡里克转正的呼声将势不可挡

名记:若拿下双红会,卡里克转正的呼声将势不可挡

懂球帝
2026-04-28 22:24:14
单依纯演唱会氛围诡异,穿的像马桶刷,歌曲独白疑暗怼硬刚李荣浩

单依纯演唱会氛围诡异,穿的像马桶刷,歌曲独白疑暗怼硬刚李荣浩

一娱三分地
2026-04-28 19:26:23
他是吴宜泽父亲,卖房子住地下室陪读,难怪能战胜世界冠军进8强

他是吴宜泽父亲,卖房子住地下室陪读,难怪能战胜世界冠军进8强

以茶带书
2026-04-28 16:10:22
校园“奶头乐”泛滥成灾,无数青少年被荼毒,很多家长却一无所知

校园“奶头乐”泛滥成灾,无数青少年被荼毒,很多家长却一无所知

木言观
2026-04-28 23:20:10
英媒:曼城如果夺冠且115项指控罪名成立,冠军可能判给枪手

英媒:曼城如果夺冠且115项指控罪名成立,冠军可能判给枪手

懂球帝
2026-04-28 19:46:05
林志玲自曝和公婆住一起:换了一个比较大的房子,老公每天傍晚准时回家,陪儿子一起吃饭

林志玲自曝和公婆住一起:换了一个比较大的房子,老公每天傍晚准时回家,陪儿子一起吃饭

台州交通广播
2026-04-28 13:46:36
2026-04-28 23:55:00
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
12469文章数 30452关注度
往期回顾 全部

科技要闻

10亿周活目标落空!传OpenAI爆发内部分歧

头条要闻

媒体:台海军退役少校登乌鲁木齐舰 给出的结论很直接

头条要闻

媒体:台海军退役少校登乌鲁木齐舰 给出的结论很直接

体育要闻

魔术黑八活塞,一步之遥?!

娱乐要闻

蔡卓妍官宣结婚,老公比她小10岁

财经要闻

中央政治局会议定调,八大看点速览!

汽车要闻

拒绝疯狂套娃!现代艾尼氪金星长在未来审美点上

态度原创

游戏
教育
手机
本地
公开课

《烽沙》游先看试玩报告:我在东周养刁民"/> 主站 商城 论坛 自运营 登录 注册 《烽沙》游先看试玩报告:我在东周养刁民 泥头车 2026-04-28...

教育要闻

山东高校考研捷报频传!学霸宿舍与硬核班级书写励志传奇!

手机要闻

App Store推出新的“分期”订阅模式!每月扣费,但要扣满12个月

本地新闻

用青花瓷的方式,打开西溪湿地

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版