网易首页 > 网易号 > 正文 申请入驻

2025年GDC|“DeepSeek让大模型更普及了,AI治理也更急迫了”

0
分享至

DeepSeek火爆全球,人人都用上了AI,但在专家看来,在这一情况下,大模型的安全问题和治理问题也变得更为迫切。

“大模型存在诱导和欺骗行为怎么办?”“大模型失控了怎么办?”

在2025 GDC全球开发者先锋大会工作坊“安全超级智能”上,不少开发者和专业观众对AI安全提出担忧。

2025 GDC全球开发者先锋大会工作坊“安全超级智能”现场。

AI智能安全研究员朱小虎是此次工作坊的负责人,2019年他在上海成立了一个非营利机构——安全人工通用智能研究中心(The center for safe artificial general intelligence),希望能推动国内安全AGI的发展。2021年,朱小虎曾被麻省理工学院生命未来研究所邀请,以合作学者的身份专注于AI的风险研究和通用人工智能安全研究。

“现阶段的人工智能为人工混乱智能”,朱小虎告诉澎湃科技(www.thepaper.cn),在他看来,即便如DeepSeek、马斯克新发布的Grok3这类大模型在深度推理方面表现得非常优秀,但“并不安全。”

“你的AI大模型有可能会欺骗你。”朱小虎说。大模型具有“欺骗性价值对齐”(Deceptive value alignment)的情况,这种对齐以欺骗的方式获得,且不能反映AI的真实目标或意图的现象被称为“欺骗性价值对齐”。比如在训练阶段、推理阶段,模型对形成的上下文会形成一定的“欺骗性的对齐”,这会影响很多用户比如老人和小孩的个人判断,还有对隐私保护的侵犯等,这也是模型不安全的一大方面。

如果想要建立一个安全、可靠、可控且可信的人机(技)协作环境,就必须提出合理应对欺骗性价值对齐的有效措施。

“现阶段只能依靠技术手段去‘堵’而不是‘疏’。”朱小虎说,不过,目前的技术还无法完全解决这些问题,因为投入在AI安全领域的精力、时间、金钱和资源远远不足。这也是大模型落地行业待解的难题之一。

如何让AI变得更安全?2月22日,澎湃科技(www.thepaper.cn)和朱小虎聊了聊。

模型有“欺骗性对齐”的情况,Grok3也不安全

澎湃科技:如何理解AI Safety这一概念?

朱小虎:最早期AI安全分成了两个大类的概念,英文世界它有两个词来表达安全,Safety(安全性)和Security(安全防护、安保)。

Safety的概念比较宽泛,包括常提到的AI伦理方面也算是Safety的分支,它更强调在早期阶段将“安全”考虑清楚,包括后期设计方法、建立相应的保护措施、应用的方式。但Security从技术手段更强调模型的权重怎么保护、如何防止黑客攻击等。Safety更需要大家深入地思考找出实践的路径,目前国内的一线安全厂商他们其实强调在Security上的能力,大家对Safety的概念较为模糊。

澎湃科技:在你看来,现在AI大模型常见的风险有哪些?大模型技术最薄弱的环节、安全漏洞在哪里?

朱小虎:最严重的是现在大模型的“黑盒”特质(当人们输入一个数据,大模型就能直接输出一个答案,但是它的运作机制却没人知道,我们称之为“黑盒”)。

大模型很多内在机制基于神经网络和深度学习,比如通过梯度下降等训练方式优化,但它内在的连接和权重目前缺乏有效且可规模化的研究方法去理解。这导致在使用大模型技术时,生成的内容往往难以被用户完全理解。

这种模型训练规模达到万亿级别的,它对于单个的研究人员、一个公司来说,都是一个非常棘手的任务。OpenAI花费了大量精力在模型调校和对齐(Alignment)领域,利用强化学习使模型行为符合人类价值观和伦理约束,让OpenAI能够在大规模推广前确保模型的安全性。微软甚至Meta(原Facebook)等公司也曾推出了类似模型,但因为模型在当时出现了不可控的负面效果后暂停。

大模型本身除了不可解释性之外,架构还容易受到外界干扰。比如,恶意使用或黑客攻击可能导致模型在应用场景中产生不安全的扩散效应。这些问题进一步加剧了大模型在实际应用中的安全风险。

澎湃科技:对企业和用户来说,不安全的模型会有怎样的影响?

朱小虎:“不安全的模型”其实是一个模型的特质,一些研究人员包括Anthropic PBC,(一家美国的人工智能初创企业和公益公司)也非常重视安全,他们在研究过程中发现模型具有“欺骗性对齐”(Deceptive element)的情况。比如在训练阶段、推理阶段,模型对形成的上下文会形成一定的“欺骗性的对齐”,它可以欺骗人。这导致在大规模部署的时候,会影响很多用户比如老人和小孩的个人判断,还有对隐私保护的侵犯等,这也是模型不安全的一大方面。

投入在AI安全领域的精力、时间、金钱和资源远远不足

澎湃科技:在你的观察中,现在大模型哪些做得安全?

朱小虎: 即便马斯克刚发布的Grok3、DeepSeeK也并不是百分百安全,它还具有欺骗性和诱导性。虽然这类大模型的目标是实现AGI,但模型非常不安全,会衍生出很多问题需要大家解决。不安全的地方在于比如模型可能会被诱导输出一些暴力、危害性信息,甚至一些少儿不宜的内容。这是大模型本身固有的问题,所以需要大量内容审查和过滤,现在只能通过技术手段“堵”而不是“疏”。

目前的技术还无法完全解决这些问题,因为投入在AI安全领域的精力、时间、金钱和资源远远不足。加州大学伯克利分校的一位核安全专家曾提到,核领域的安全投入与核能力开发的比例是7:1。相比之下,AI安全需要投入更多资源来确保安全性。

这些也是大模型落地行业待解的难题之一。技术本身没有善恶,但现在技术让AI产生了价值观,因为训练大模型都是来自人类的数据,不管是正面或是负面,都可能产生危害。

澎湃科技:现在AI深度伪造技术能逼真到什么阶段?普通用户该如何辨别?

朱小虎:深度伪造(DeepFake)近几年确实在持续不断地发展,随着AI技术的增强,它的精细度会逐渐增强。很多时候普通用户比如年纪较大的还有小孩没有办法辨别。对模型企业来说,很多做的模型附带一些水印,这是防范AI深度伪造的技术手段之一,不过这只是初步的技术方案。

澎湃科技:你认为现在谈论AI治理和AI安全,为时过早吗?

朱小虎:之前我认为这个问题并不紧迫,但今年,特别是DeepSeek产生全球影响后,安全问题和治理问题变得非常急迫。过去,大家可能一直在缓慢探索治理和安全的策略,但现在进入了一个新阶段,即开放式的人工智能治理。过去,许多AI技术隐藏在公司或高校背后,例如OpenAI、Google DeepMind、Anthropic等,他们的许多内容并未公开,主要是防止技术扩散。

但现在,OpenAI和DeepSeek的发展激发了大家对开源生态的渴望,所以出现了许多实验和开源项目。全球的企业和高校都在推动开源AI或AGI的发展,这已成为一个明显的趋势。在这一过程中,需要从技术角度进行革新,构建新的框架或平台。这不是单个公司、群体或政府能够独立完成的,而是需要全社会的参与,从不同层面引入合理的方式,通盘考虑并推进。

澎湃科技:在你看来,一个安全的大模型应该是怎样的?

朱小虎:目前还没有出现一个非常好的安全模型。这是一个需要磨合的过程,未来可能会有新的研究机构出现来解决这些问题,因为安全性风险将很快成为现实问题。

目前我们主要追求的是需要模型“可证明安全”,这是非常严格的要求,但从长远来看是最可行的路径。现阶段我们都是通过实验和评估不断测试和改进,逐步逼近目标。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

赵探长TALK
2026-11-17 11:02:02
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
10月澳洲市场:比亚迪销量再破万,经销商协会坐不住了

10月澳洲市场:比亚迪销量再破万,经销商协会坐不住了

汽车公社
2026-11-16 13:41:48
又投中5个三分!抱歉雷阿伦:你的历史第三要不保了

又投中5个三分!抱歉雷阿伦:你的历史第三要不保了

篮球大视野
2026-11-17 20:36:34
这次发射失败,美军有点慌了

这次发射失败,美军有点慌了

枢密院十号
2026-11-17 00:35:37
79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

背包旅行
2026-11-17 12:11:31
消失前,他喘着粗气说:“一个人都没有”

消失前,他喘着粗气说:“一个人都没有”

中国新闻周刊
2026-11-17 18:55:45
伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

墨兰史书
2026-11-17 14:00:04
网传蔚来财务暴雷?官方报案!与事实严重不符

网传蔚来财务暴雷?官方报案!与事实严重不符

闪电新闻
2026-11-17 17:49:33
说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

今夜繁星坠落
2026-11-15 23:17:03
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

山河路口
2026-11-17 19:39:00
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
普京今日飞抵深圳!中方定名中俄美,波兰不服:让欧盟替代俄参会

普京今日飞抵深圳!中方定名中俄美,波兰不服:让欧盟替代俄参会

国际法大视野
2026-11-17 18:58:03
突发!美国多家大银行集体崩了。。。

突发!美国多家大银行集体崩了。。。

云头条
2026-11-17 05:07:09
2026-11-18 02:00:49
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
948324文章数 5098814关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

教育
数码
亲子
时尚
军事航空

教育要闻

海淀北部新锐校周末体验营!全海淀六年级可报,师资正式亮相

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

亲子要闻

你傻呀!为什么不把孩子丢给婆婆带?哪有奶奶不疼孙子孙女的!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版