网易首页 > 网易号 > 正文 申请入驻

盘和林:衡量AI发展可信、可控的标尺有三个维度

0
分享至

封面新闻记者 易弋力

9月15日,在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架》2.0版(以下简称《框架》2.0版)正式发布。此前,为落实《全球人工智能治理倡议》,《人工智能安全治理框架》1.0版(以下简称《框架》1.0版)于2024年9月发布,并受到国内外广泛关注。

《框架》1.0版发布到现在,人工智能技术和应用取得了哪些新突破?如何理解《框架》2.0版提到的“安全、可信、可控”等关键词? 9月17日,工信部信息通信经济专家委员会委员盘和林分享了他的观点。

盘和林表示,自《框架》1.0版发布以来,人工智能技术在多模态大模型、自主智能体(AI Agent)、具身智能等领域取得显著进展。多模态模型已实现文本、图像、音频、视频的跨模态生成与理解,自主智能体具备复杂任务规划和工具调用能力,人工智能与机器人结合的具身智能正在突破物理空间限制。同时,AI在生物医药、材料科学等垂直领域的应用深度不断增强。

这些发展也带来了新的安全风险,比如:新型滥用风险:深度伪造技术泛滥导致虚假信息传播难度降低,AI生成内容鉴别难度加大;系统级风险:自主智能体可能产生不可预测的涌现行为,多智能体交互可能产生复杂系统风险;产业安全风险:AI在关键基础设施领域的应用加深,使得单点故障可能引发系统性风险;伦理挑战升级:生成式AI的偏见嵌入更加隐蔽,算法歧视从显性转向隐性。面对这些变化,《框架》2.0版应运而生。

《框架》2.0版具体对哪些“规矩”进行了更新?盘和林表示,《框架》2.0版从静态治理到动态治理:要求建立适应技术迭代的敏捷治理体系,比如设置"监管沙盒"等弹性机制,将创新应用放在沙盒中进行观察,调整监管治理体系。从单一维度到多维治理:统筹技术安全、伦理安全、社会安全等多维度治理要求,而不是单一的网络安全维度。这样能够更加全面的应对当前技术发展带来的安全风险。从事后治理到前瞻治理:比如建立风险预警机制,对前沿技术方向进行预研预判,针对性的制定新规则。

具体来看:《框架》2.0版将要应对生成式AI带来的内容安全挑战,比如深度伪造技术的以假乱真的问题。将规范自主决策系统的责任认定机制,比如智驾撞人,责任在谁。将推动建立适应大模型即服务(MaaS)模式的新型监管体系。将平衡开源开放与安全可控的关系。

《框架》2.0版提到,培育安全、可靠、公平、透明的人工智能技术研发和应用生态。如何理解这四个关键词?

盘和林表示,安全:指AI系统应具备韧性抗扰能力,保障数据安全、模型安全和应用安全,建立端到端的安全保障体系。我认为这是一个多维度成体系的安全机制。可靠:要求AI系统行为可预期、输出稳定性和准确率高,在关键领域达到工业级可靠性标准。这里的关键在于精度,我们知道现在AI大模型存在幻觉,未来会要求AI大模型不断减少幻觉。公平:强调算法决策应避免偏见歧视,保障不同群体获得均等机会,实现技术普惠包容。技术应该带来公平,而不是新的贫富差异。透明:包含可解释性与可追溯性双重含义,既要实现决策过程可理解,又要确保数据来源可追溯。不能到处都用技术黑箱来搪塞用户,而是要给用户解释明白,我们的数据去了哪里,AI又是怎么辅助人类的。

《框架》2.0版还有两个关键词是“可信、可控”,衡量AI发展可信、可控的标尺在哪?

在盘和林看来,衡量标尺有三个维度:技术层面:我们可以通过验证测试(如红队测试)、形式化验证等方法量化安全性,也可以通过可信数据空间技术,联邦学习等安全技术,来控制安全变量,建立技术上的整套安全保障体系。要给示范方案。伦理层面:建立多维度评估矩阵(包括公平性、隐私保护、人性尊严等指标),这里就要提到,谁有权来对伦理下判断,我认为,应该是用户,所以,需要从用户中筛选一部分人,来对创新进行伦理评价。治理层面:实施分级分类管理,根据风险等级匹配相应监管强度,不同的应用具备不同的风险等级,不能一刀切,要分级分类的处置风险。

对于什么是AI可信,盘和林表示,预测决策可解释(提供人类可理解的决策依据),行为输出一致性(相同输入产生预期范围内的输出),错误率可控(在关键领域达到99.99%以上的准确率),偏见可控(通过偏见检测和缓解技术确保公平性)。

如何实现AI可控?设置人类监督节点(保留人类最终决策权),建立行为边界约束(通过宪法AI等技术设定行为边界),实现全生命周期监控(从训练到部署全程可审计)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

鱼语昱雨轩
2026-11-07 14:03:54
中俄美元首座驾首次同框:红旗、奥鲁斯、凯迪拉克齐聚APEC

中俄美元首座驾首次同框:红旗、奥鲁斯、凯迪拉克齐聚APEC

快科技
2026-11-19 17:03:30
把勇士抬到不属于它的高度——其他人都在“裸泳”,库里成唯一遮羞布

把勇士抬到不属于它的高度——其他人都在“裸泳”,库里成唯一遮羞布

篮球扫地僧
2026-11-19 23:47:52
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

江启
2026-11-19 09:51:17
黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

洪观新闻
2026-11-19 13:26:42
难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

丫头舫
2026-11-16 11:30:38
67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

文史漫笔
2026-10-02 08:10:15
美国战略专家:要彻底“解决中国问题”,似乎只剩下打仗这一条路

美国战略专家:要彻底“解决中国问题”,似乎只剩下打仗这一条路

民宿体验志
2026-11-17 18:00:19
《GTA6》DLSS 5画面太惊艳!搭配6倍帧生成

《GTA6》DLSS 5画面太惊艳!搭配6倍帧生成

游民星空
2026-11-19 11:19:20
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

叨唠
2026-11-19 00:04:18
陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

西楼知趣杂谈
2026-10-20 20:22:01
71-67!广东男篮险遭“翻盘”,解决了2大问题,徐杰斩获28+4+9

71-67!广东男篮险遭“翻盘”,解决了2大问题,徐杰斩获28+4+9

汪星人哟
2026-11-19 22:37:48
八旗:从打天下到吃皇粮

八旗:从打天下到吃皇粮

熊倌儿
2026-10-23 08:47:34
主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

德译洋洋
2026-11-19 12:10:33
利拉德:如果无法继续竞争并保持状态 那我就不再打球了

利拉德:如果无法继续竞争并保持状态 那我就不再打球了

北青网-北京青年报
2026-11-19 20:47:01
曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

我爱英超
2026-11-19 13:09:34
大爷一句话戳中无数人:交了57年公粮,好粮给国家,瘪粒留自己,现在老了每月领一百多

大爷一句话戳中无数人:交了57年公粮,好粮给国家,瘪粒留自己,现在老了每月领一百多

一丝不苟的法律人
2026-11-19 10:51:33
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
金庸笔下,那些争着做“代价”的乞丐!

金庸笔下,那些争着做“代价”的乞丐!

胖胖说他不胖
2026-10-27 09:55:19
2026-11-20 02:00:49
封面新闻 incentive-icons
封面新闻
第一眼,看封面。了解权威信息,看真实新闻故事(互联网新闻信息服务许可证:51120170004)。
375732文章数 891416关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
房产
游戏
艺术
数码

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版