网易首页 > 网易号 > 正文 申请入驻

盘和林:衡量AI发展可信、可控的标尺有三个维度

0
分享至

封面新闻记者 易弋力

9月15日,在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架》2.0版(以下简称《框架》2.0版)正式发布。此前,为落实《全球人工智能治理倡议》,《人工智能安全治理框架》1.0版(以下简称《框架》1.0版)于2024年9月发布,并受到国内外广泛关注。

《框架》1.0版发布到现在,人工智能技术和应用取得了哪些新突破?如何理解《框架》2.0版提到的“安全、可信、可控”等关键词? 9月17日,工信部信息通信经济专家委员会委员盘和林分享了他的观点。

盘和林表示,自《框架》1.0版发布以来,人工智能技术在多模态大模型、自主智能体(AI Agent)、具身智能等领域取得显著进展。多模态模型已实现文本、图像、音频、视频的跨模态生成与理解,自主智能体具备复杂任务规划和工具调用能力,人工智能与机器人结合的具身智能正在突破物理空间限制。同时,AI在生物医药、材料科学等垂直领域的应用深度不断增强。

这些发展也带来了新的安全风险,比如:新型滥用风险:深度伪造技术泛滥导致虚假信息传播难度降低,AI生成内容鉴别难度加大;系统级风险:自主智能体可能产生不可预测的涌现行为,多智能体交互可能产生复杂系统风险;产业安全风险:AI在关键基础设施领域的应用加深,使得单点故障可能引发系统性风险;伦理挑战升级:生成式AI的偏见嵌入更加隐蔽,算法歧视从显性转向隐性。面对这些变化,《框架》2.0版应运而生。

《框架》2.0版具体对哪些“规矩”进行了更新?盘和林表示,《框架》2.0版从静态治理到动态治理:要求建立适应技术迭代的敏捷治理体系,比如设置"监管沙盒"等弹性机制,将创新应用放在沙盒中进行观察,调整监管治理体系。从单一维度到多维治理:统筹技术安全、伦理安全、社会安全等多维度治理要求,而不是单一的网络安全维度。这样能够更加全面的应对当前技术发展带来的安全风险。从事后治理到前瞻治理:比如建立风险预警机制,对前沿技术方向进行预研预判,针对性的制定新规则。

具体来看:《框架》2.0版将要应对生成式AI带来的内容安全挑战,比如深度伪造技术的以假乱真的问题。将规范自主决策系统的责任认定机制,比如智驾撞人,责任在谁。将推动建立适应大模型即服务(MaaS)模式的新型监管体系。将平衡开源开放与安全可控的关系。

《框架》2.0版提到,培育安全、可靠、公平、透明的人工智能技术研发和应用生态。如何理解这四个关键词?

盘和林表示,安全:指AI系统应具备韧性抗扰能力,保障数据安全、模型安全和应用安全,建立端到端的安全保障体系。我认为这是一个多维度成体系的安全机制。可靠:要求AI系统行为可预期、输出稳定性和准确率高,在关键领域达到工业级可靠性标准。这里的关键在于精度,我们知道现在AI大模型存在幻觉,未来会要求AI大模型不断减少幻觉。公平:强调算法决策应避免偏见歧视,保障不同群体获得均等机会,实现技术普惠包容。技术应该带来公平,而不是新的贫富差异。透明:包含可解释性与可追溯性双重含义,既要实现决策过程可理解,又要确保数据来源可追溯。不能到处都用技术黑箱来搪塞用户,而是要给用户解释明白,我们的数据去了哪里,AI又是怎么辅助人类的。

《框架》2.0版还有两个关键词是“可信、可控”,衡量AI发展可信、可控的标尺在哪?

在盘和林看来,衡量标尺有三个维度:技术层面:我们可以通过验证测试(如红队测试)、形式化验证等方法量化安全性,也可以通过可信数据空间技术,联邦学习等安全技术,来控制安全变量,建立技术上的整套安全保障体系。要给示范方案。伦理层面:建立多维度评估矩阵(包括公平性、隐私保护、人性尊严等指标),这里就要提到,谁有权来对伦理下判断,我认为,应该是用户,所以,需要从用户中筛选一部分人,来对创新进行伦理评价。治理层面:实施分级分类管理,根据风险等级匹配相应监管强度,不同的应用具备不同的风险等级,不能一刀切,要分级分类的处置风险。

对于什么是AI可信,盘和林表示,预测决策可解释(提供人类可理解的决策依据),行为输出一致性(相同输入产生预期范围内的输出),错误率可控(在关键领域达到99.99%以上的准确率),偏见可控(通过偏见检测和缓解技术确保公平性)。

如何实现AI可控?设置人类监督节点(保留人类最终决策权),建立行为边界约束(通过宪法AI等技术设定行为边界),实现全生命周期监控(从训练到部署全程可审计)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
欧洲球员大赛进球榜:姆巴佩20球追平凯恩,仅次于C罗

欧洲球员大赛进球榜:姆巴佩20球追平凯恩,仅次于C罗

懂球帝
2026-07-05 07:11:15
少林寺新方丈释印乐,上任才10个月,少林寺被曝一下少了800多万

少林寺新方丈释印乐,上任才10个月,少林寺被曝一下少了800多万

许三岁
2026-06-14 09:57:24
WTT美国大满贯捷报:女单爆冷!国乒女单后继有人,孙颖莎剃光头

WTT美国大满贯捷报:女单爆冷!国乒女单后继有人,孙颖莎剃光头

观察鉴娱
2026-07-05 09:46:56
你恐慌我贪婪!超600亿元资金疯抢行业主题ETF,这些板块正被爆买(附名单)

你恐慌我贪婪!超600亿元资金疯抢行业主题ETF,这些板块正被爆买(附名单)

每日经济新闻
2026-07-04 12:31:13
萨哈:若这次遗憾出局,或许会坚定C罗征战下届世界杯的想法

萨哈:若这次遗憾出局,或许会坚定C罗征战下届世界杯的想法

林子说事
2026-07-04 10:09:12
1977年南京争司令:内定李水清没上,体弱聂凤智意外上位

1977年南京争司令:内定李水清没上,体弱聂凤智意外上位

唠叨说历史
2026-06-06 15:59:47
日媒主动曝出内幕!日本员工在华偷运稀土,全程靠中国人员打配合

日媒主动曝出内幕!日本员工在华偷运稀土,全程靠中国人员打配合

阿芑历史
2026-07-04 19:37:19
"一尿成名"任素汐:上半身是普通,下半身是贪婪,又丑又性感

"一尿成名"任素汐:上半身是普通,下半身是贪婪,又丑又性感

无处不风景love
2026-07-02 11:53:48
左氧氟沙星立大功!研究发现:老人吃左氧氟沙星,或缓解5种症状

左氧氟沙星立大功!研究发现:老人吃左氧氟沙星,或缓解5种症状

医学科普汇
2026-06-30 19:20:05
中国传统文化最大的缺陷,是语焉不详、没有逻辑和体系!

中国传统文化最大的缺陷,是语焉不详、没有逻辑和体系!

语丝纪
2026-07-03 00:13:14
全败出局后,他自宣辞职!

全败出局后,他自宣辞职!

五星体育
2026-07-05 07:27:45
温网女单太残酷了:随着凯斯爆冷2-1逆转,5大前十悍将已经出局

温网女单太残酷了:随着凯斯爆冷2-1逆转,5大前十悍将已经出局

俯身冲顶
2026-07-05 03:34:21
三方史诗交易谈判曝光!火箭不愿送出申京,重磅互换遗憾流产

三方史诗交易谈判曝光!火箭不愿送出申京,重磅互换遗憾流产

林子说事
2026-07-04 13:40:06
高雄或绿地变蓝天?罗旺哲爆赖瑞隆“最大罩门”:接不住陈其迈的气势

高雄或绿地变蓝天?罗旺哲爆赖瑞隆“最大罩门”:接不住陈其迈的气势

海峡导报社
2026-07-05 09:47:03
原来他俩已离婚,如今一个在日本孤独终老,一个在上海娶将军之女

原来他俩已离婚,如今一个在日本孤独终老,一个在上海娶将军之女

白面书誏
2026-06-25 15:05:12
湖南省委:坚决拥护国家监委决定

湖南省委:坚决拥护国家监委决定

政知新媒体
2026-07-04 11:51:19
被传与陈梦秘密领证4年后,樊振东官宣喜讯,原来我们都猜错了

被传与陈梦秘密领证4年后,樊振东官宣喜讯,原来我们都猜错了

晓踏就是我
2026-07-05 04:02:03
喜马拉雅一妻多夫制,夜里轮流陪,女人崩溃吐实:每一天都是折磨

喜马拉雅一妻多夫制,夜里轮流陪,女人崩溃吐实:每一天都是折磨

凉了时光人
2026-06-29 10:45:32
iPhone Ultra定制版抢先亮相:7月4日预售,10.5万元

iPhone Ultra定制版抢先亮相:7月4日预售,10.5万元

搞机小帝
2026-07-04 17:27:00
世纪大婚!霉霉二千万美金盛典彩排细节来了:表演嘉宾邦乔维,伴娘傻脸娜,买光全城马蹄莲,麦迪逊广场变粉色...

世纪大婚!霉霉二千万美金盛典彩排细节来了:表演嘉宾邦乔维,伴娘傻脸娜,买光全城马蹄莲,麦迪逊广场变粉色...

悦居英国
2026-07-04 02:43:05
2026-07-05 10:23:00
封面新闻 incentive-icons
封面新闻
第一眼,看封面。了解权威信息,看真实新闻故事(互联网新闻信息服务许可证:51120170004)。
358109文章数 889793关注度
往期回顾 全部

科技要闻

年费7.5万美元,美国富裕家庭把孩子送进AI学校

头条要闻

姆巴佩被巴拉圭队球员出拳击倒 进球后用不屑表情回应

头条要闻

姆巴佩被巴拉圭队球员出拳击倒 进球后用不屑表情回应

体育要闻

揭法国锋线最大优势 有人比姆巴佩还快?

娱乐要闻

王力宏成都舞台受伤 仍然坚持三小时

财经要闻

揭秘跨境“对敲”换汇黑产

汽车要闻

方程豹钛9内饰曝光 用上了长联屏设计/下半年上市

态度原创

时尚
本地
手机
数码
军事航空

伊姐周六热推:电视剧《画梦录》;电视剧《灿如繁星》......

本地新闻

国内足球之旅?这座小城给你高分答案

手机要闻

vivo X300系列还有新成员,什么时候发布是个问题

数码要闻

五种款式,三星Galaxy Watch 9/Ultra 2手表默认表盘抢先看

军事要闻

普京宣布俄军“完全解放”卢甘斯克

无障碍浏览 进入关怀版