网易首页 > 网易号 > 正文 申请入驻

自主性不断增强AI智能体如何守住安全边界

0
分享至

从能对话到会思考,甚至能够自主行动,大模型驱动的人工智能智能体正变得越来越聪明。然而,随着自主性不断增强,智能体也可能突破预设边界,带来新的安全风险。

近日举行的2026中国计算机大会上,智能体安全成为备受关注的议题之一。与会专家围绕身份认证、权限控制、风险防范等问题展开讨论。

浙江大学区块链与数据安全全国重点实验室常务副主任任奎指出,智能体正从文本交互走向环境操作,从单步生成走向长程任务,从会话响应走向自主运行,已进入个人助手、电商营销、科研探索等场景。与此同时,身份与交互、推理与规划、记忆与数据、工具与执行等方面的安全挑战日益凸显。

智能体一旦出现越权操作,可能造成怎样的后果?

清华大学英诺讲席教授徐恪分享了一则亲身经历:他的学生要求智能体在隔离的“沙箱”环境中复现漏洞,智能体却擅自在学生的工作电脑上进行尝试,导致电脑中的数据被全部删除。

所谓“沙箱”,相当于一间上锁的独立房间,允许智能体在受限环境中执行任务。这一案例表明,即便设置了隔离措施,智能体仍可能突破既定边界。

智能体为什么会“越狱”?

“从我们做安全的视角,从来不担心它有多坏,因为在我们看来,它很聪明,但也很幼稚,极容易被误导。”蚂蚁集团副总裁兼首席技术安全官韦韬认为,当前智能体容易受到诱导,其背后的知识库、数据库和工具都可能成为攻击者的跳板。

韦韬指出,智能体主要依靠自然语言工作,而自然语言存在歧义,难以准确界定控制边界。传统安全体系的短板,也随着AI攻击能力提升进一步暴露,金融、医疗等专业领域的应用尤其需要审慎。

华为网络安全与隐私保护部副部长肖亚军表示,智能体可能构成前所未有的“超复杂系统”,当前最大的挑战,是如何将其真正控制在既定边界之内。

上海人工智能实验室领军科学家胡侠将智能体风险分为两类:一类是幻觉、黑箱等内生安全风险,另一类是智能体被用于发动攻击或在高风险领域遭到滥用的衍生风险。他以汽车安全带作比喻,强调技术防护与使用者的安全意识同样重要。

智能体出现安全问题,责任又该由谁承担?

公安部第一研究所研究员于锐认为,必须构建符合智能体特点的数字身份体系,实现身份可识别、可核验、可追溯。他指出,智能体本身不能承担法律责任,责任最终需要由其背后的人、组织、平台等相关主体承担。

如何在发挥智能体自主能力的同时守住安全底线?大会报告中,有讲者提出人工智能“四不”原则:允许AI自主规划,但不能自主改写终极目标;允许AI自我改进,但不能自行批准进化;允许AI使用资源,但不能自主扩张资源;允许AI调用工具,但不能自行扩大权限边界。

归纳起来,就是“目标不可自定,进化不可自批,资源不可自扩,权限不可自增”。(记者 李新玲)

来源:中国青年报

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国加州州长纽森访问乌克兰,强调乌克兰不会孤立无援

美国加州州长纽森访问乌克兰,强调乌克兰不会孤立无援

山河路口
2026-11-17 13:23:28
打脸!伊朗导弹竟击穿萨德,7名以军军官当场死亡,靠的不是速度

打脸!伊朗导弹竟击穿萨德,7名以军军官当场死亡,靠的不是速度

手里有读
2026-11-15 20:14:22
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
美国华裔女孩崩溃,父母卖掉如今值6000万洋房,移居美国后当苦力

美国华裔女孩崩溃,父母卖掉如今值6000万洋房,移居美国后当苦力

落雪听梅a
2026-11-02 21:53:12
韩媒:K联赛大田市民正与泰山前锋泽卡沟通,他有K联赛经验

韩媒:K联赛大田市民正与泰山前锋泽卡沟通,他有K联赛经验

懂球帝
2026-11-17 14:32:41
癌的源头已发现?咸菜没上榜,第1名大家或天天都在吃

癌的源头已发现?咸菜没上榜,第1名大家或天天都在吃

叙说医疗健康
2026-09-05 06:00:24
官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

一盅情怀
2026-11-17 12:19:47
就在刚刚!官宣签NBA总冠军后卫冲季后赛!在CBA曾场均27.9分11.1板10.9助

就在刚刚!官宣签NBA总冠军后卫冲季后赛!在CBA曾场均27.9分11.1板10.9助

老吴说体育
2026-11-17 14:31:59
中小学寒假时间出炉,最长放假42天!

中小学寒假时间出炉,最长放假42天!

泗洪风情
2026-11-17 10:44:23
金价,大跌!

金价,大跌!

新浪财经
2026-11-17 16:00:53
39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

领略非凡
2026-11-15 15:48:00
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
热苏斯律师:有人刻意推动议程攻击热苏斯,我不是说这一定是C罗所为

热苏斯律师:有人刻意推动议程攻击热苏斯,我不是说这一定是C罗所为

懂球帝
2026-11-17 18:24:42
火箭对阵步行者前瞻 西卡亚姆近期状态出色 乌度卡会如何应对

火箭对阵步行者前瞻 西卡亚姆近期状态出色 乌度卡会如何应对

大话火箭队
2026-11-17 16:17:54
机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

三农老历
2026-11-17 04:23:04
随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

侧身凌空斩
2026-11-17 05:46:31
张天爱里面不穿,有点辣啊

张天爱里面不穿,有点辣啊

吃瓜党二号头目
2026-09-05 12:10:46
宣布婚变!今天的瓜,全网炸了

宣布婚变!今天的瓜,全网炸了

背包旅行
2026-11-16 17:56:26
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
24岁男子约女网友开房,不惜加价到8400元,缠绵后男子后悔,被拘5个月

24岁男子约女网友开房,不惜加价到8400元,缠绵后男子后悔,被拘5个月

江山挥笔
2026-11-16 08:58:42
2026-11-17 18:44:49
金台资讯 incentive-icons
金台资讯
报道全球 传播中国 人民网股份有限公司
1631319文章数 201949关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

数码
家居
房产
游戏
健康

数码要闻

三星下一代DRAM三条路线曝光 混合键合成关键工艺

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

5381亩之后,三亚绿谷,等一个500强!

微软第一方新作大地图曝光 体量巨大!自由度拉满

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版