网易首页 > 网易号 > 正文 申请入驻

新闻分析|AI对网络安全的“双刃剑”效应日益凸显

0
分享至

  新华社旧金山8月4日电 新闻分析|AI对网络安全的“双刃剑”效应日益凸显
  新华社记者吴晓凌
  近期,美国两起与人工智能(AI)模型网络攻防能力相关的事件引发外界关注。美国开放人工智能研究中心(OpenAI)的模型在测试中失控并入侵了其他公司系统;苹果公司则因收到太多AI辅助生成的漏洞报告而限制外部提交的相关报告数量。
  一方面是AI智能体为了完成任务自主突破边界,另一方面是AI辅助发现的潜在漏洞超过了人工审核能力。两起事件表明,随着AI网络攻防能力不断增强,其“双刃剑”效应日益凸显,急需匹配的安全约束、人工验证和风险处置机制。

      自主行为突破边界

  美国抱抱脸公司系统遭到入侵事件表明,现有前沿AI模型已具备持续实施复杂网络攻击的能力。
  这起失控事件发生在一项网络安全基准测试期间。包括GPT-5.6 Sol在内的多个模型识别并利用了第三方软件的一个“零日漏洞”,获取了互联网访问权限,在推断抱抱脸公司可能存有完成测试所需数据和解决方案后,入侵了该公司系统,以“窃取”答案。
  OpenAI在扩大调查后还发现了该公司其他AI产品突破内部隔离的情况。另一家美国AI企业Anthropic日前也承认,在审查约14.1万次网络安全能力评估记录后发现,其模型曾在多次测试中未经授权访问了3家机构的“生产基础设施”。
  分析人士认为,当AI模型获得明确的目标以及充足的算力、运行时间和操作权限后,可能不会按照人类预想的方式完成任务,而会自主寻找路径绕过限制甚至“作弊”。
  美国安全技术专家布鲁斯·施奈尔指出,AI智能体可能过于字面化地完成任务目标,却不能自然领会人类没有明确写入指令的限制。有研究发现,模型会利用任务、评分规则、提示词或评测框架中的漏洞取得高分,而没有真正展示评测原本希望衡量的能力。
  随着前沿模型自主能力持续提升,这种偏差带来的风险正进一步放大。OpenAI在一份安全报告中说,早期模型遇到沙箱限制或环境障碍时往往停止工作,而新模型会不断自主尝试新办法寻求突破。

      安全措施急需完善

  失控事件发生后,OpenAI表示已在修补漏洞期间收紧研究基础设施配置,并加强模型训练和评测过程中的隔离、监控、访问控制及安全保护。
  不少企业和研究机构认为,应建立“多重防线”以提高防护系统的稳健性。OpenAI认为,对于可以自主运行数小时、数天甚至数周的AI智能体,只审核单个动作已经不够,还需要判断其完整行动轨迹会导致什么结果。
  谷歌深层思维公司提出,应建立系统级别的AI控制机制,包括沙箱、持续监控和分级授权;使用监督系统不断检查AI智能体的推理、行动和计划,在发现危险行为时进行拦截;对于可能造成严重后果的网络攻击等高风险行动,应从事后审查转向实时防护。
  英国人工智能安全研究所建议,可能造成重大后果的操作应有人工审核,限制AI智能体访问敏感资源,并保留在发现可疑行为时终止其运行的能力。
  美国国家标准与技术研究所提出,应将AI智能体作为网络中的独立实体进行权限管理,为其制定专门的授权策略,只赋予AI智能体完成特定任务所必需的最低权限。
  据媒体报道,多家AI企业的代表已受邀于4日与白宫官员会面,讨论AI安全问题。

      漏洞处置压力陡增

  此前业界认为,AI擅长大规模数据分析、模式识别和自动检测,可助力网络安全,使防御方受益。使用AI协助识别和发现漏洞已成为行业普遍做法,但如何充分利用AI提高网络防御能力正成为新的挑战。
  英国《金融时报》报道说,AI正在迅速重塑网络安全领域的攻击和防御。苹果公司近期所发布操作系统更新中的安全修复数量约为之前更新的5倍。该公司表示,其中多个漏洞由AI工具帮助识别。
  但AI识别漏洞的能力也给苹果公司带来“烦恼”。该公司2025年推出了一项机制征集关于其软件漏洞的线索,对于其中最严重、最复杂的威胁最高可支付500万美元奖励。苹果公司近日表示,由于其审核系统收到大量AI“幻觉”生成的“漏洞”报告,因此限制研究人员在一定时间内可以提交的报告数量。
  《金融时报》报道说,意大利一家网络安全初创企业使用AI模型,在3个星期内发现了苹果笔记本电脑操作系统50多个漏洞,但由于苹果公司设置的限额而无法提交相关报告。该公司负责人阿尔弗雷多·佩索利表示,整个行业面临的现实是,维护人员和供应商正在被新发现的大量漏洞所“淹没”。
  分析人士认为,OpenAI模型失控与苹果公司面临的情况看似没有直接关联,但两者反映出一个结构性矛盾:在网络安全领域,AI发现问题和采取行动的速度,正在超过人类验证、约束和处置的速度。如果治理跟不上AI迭代,原本用于提高效率的AI工具可能产生新的安全风险。(完)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国富人为啥不来中国过安稳日子?其实在全球富人眼里,中国才是“最危险的”

美国富人为啥不来中国过安稳日子?其实在全球富人眼里,中国才是“最危险的”

扶苏聊历史
2026-10-10 10:37:15
浙江男子花30万买新能源车自驾去西藏,半路车突发故障,安全辅助功能直接罢工;4S店:暂时没货,配件到货后为车主更换维修

浙江男子花30万买新能源车自驾去西藏,半路车突发故障,安全辅助功能直接罢工;4S店:暂时没货,配件到货后为车主更换维修

大风新闻
2026-10-11 08:45:09
中超奇迹来了?最后3轮形势:蓉城将踢海港泰山 还要直接对话英博

中超奇迹来了?最后3轮形势:蓉城将踢海港泰山 还要直接对话英博

风过乡
2026-10-11 20:56:36
年薪超2400万欧!皇马新援遭穆帅弃用 近3场仅踢8分钟

年薪超2400万欧!皇马新援遭穆帅弃用 近3场仅踢8分钟

球事百科吖
2026-10-12 04:21:13
9个虚假故事,骗了中国整整一代人,现在才看明白真相!

9个虚假故事,骗了中国整整一代人,现在才看明白真相!

细说职场
2026-10-11 12:31:41
中央考核巡查“回头看”暗访大连渔港,专家现场指出:你们这么挂灯是没用的!

中央考核巡查“回头看”暗访大连渔港,专家现场指出:你们这么挂灯是没用的!

环球网资讯
2026-10-11 11:36:19
同学聚会上,丈夫的初恋当众挑衅:“大学同居了四年,真怀念!”

同学聚会上,丈夫的初恋当众挑衅:“大学同居了四年,真怀念!”

徐侠客有话说
2026-03-03 11:45:26
王曼昱夺冠后比“1”庆祝,赛后感谢3人!邓亚萍盛赞!丁宁陈梦惊喜现身观战!马琳拍背肯定

王曼昱夺冠后比“1”庆祝,赛后感谢3人!邓亚萍盛赞!丁宁陈梦惊喜现身观战!马琳拍背肯定

好乒乓
2026-10-11 21:02:01
迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

萧竹轻语
2025-10-13 11:40:11
红牌改变战局!英超巅峰对决:10.9亿豪门主场0-3崩盘 不败金身告破

红牌改变战局!英超巅峰对决:10.9亿豪门主场0-3崩盘 不败金身告破

狍子歪解体坛
2026-10-12 01:35:36
知名润美反华“甜甜圈”,国庆期间遭美警枪砸伤,发文质问怎么办

知名润美反华“甜甜圈”,国庆期间遭美警枪砸伤,发文质问怎么办

新一说史
2026-10-11 14:38:05
许家印狱中186.5亿被爆出,不是转给了丁玉梅,却是他

许家印狱中186.5亿被爆出,不是转给了丁玉梅,却是他

丁丁鲤史纪
2026-10-12 01:36:27
中方已仁至义尽,消息递进东京,高市沉默3天,对中国有了新想法

中方已仁至义尽,消息递进东京,高市沉默3天,对中国有了新想法

白日追梦人
2026-10-11 20:34:37
随着比分定格3-1,中甲冠军出炉,时隔4年广州足球重返中超舞台

随着比分定格3-1,中甲冠军出炉,时隔4年广州足球重返中超舞台

侧身凌空斩
2026-10-11 21:27:31
医生提醒:西红柿炒鸡蛋,尽量不要放“此物”,可能多数人做错了

医生提醒:西红柿炒鸡蛋,尽量不要放“此物”,可能多数人做错了

芹姐说生活
2026-10-09 22:43:06
13投17分!欧文神级首秀!独行侠最快速度交易

13投17分!欧文神级首秀!独行侠最快速度交易

篮球实战宝典
2026-10-11 20:49:58
周琦连续两场CBA季前赛0分钟,主帅李楠解释为何不到最后一刻才说

周琦连续两场CBA季前赛0分钟,主帅李楠解释为何不到最后一刻才说

林子说事
2026-10-12 00:15:14
刹车断裂之后,合肥与华为要算清一笔账

刹车断裂之后,合肥与华为要算清一笔账

雨前产经观察
2026-10-11 19:49:04
沙特首都利雅得传出巨响 有黑烟升起

沙特首都利雅得传出巨响 有黑烟升起

新华社
2026-10-11 22:08:13
尊界的历史机遇,江淮汽车蒸发1万多台尊界销售额

尊界的历史机遇,江淮汽车蒸发1万多台尊界销售额

TMC动力
2026-10-10 17:22:45
2026-10-12 04:56:49
新华社 incentive-icons
新华社
新华社是国家通讯社
719369文章数 2439843关注度
往期回顾 全部

科技要闻

卸任CEO后,苹果董事长库克再度到访中国

头条要闻

郑钦文回应中网夺冠:特别想赢 压力大到不停呕吐

头条要闻

郑钦文回应中网夺冠:特别想赢 压力大到不停呕吐

体育要闻

30天30队·魔术:班凯罗最后的试炼?

娱乐要闻

没夫妻生活咋办?冉莹颖绝不求邹市明

财经要闻

黄仁勋长女完婚,万亿帝国如何传承?

汽车要闻

大6座插混SUV新选择 阿维塔T09概念版亮相巴黎车展

态度原创

本地
亲子
教育
家居
公开课

本地新闻

踏访沙县第一村,寻国民小吃本源

亲子要闻

肉眼可见长大了!撒贝宁一家四口出游,7岁龙凤胎变化太惊人

教育要闻

“燃灯者”宋国安:灯火长明 纸短情长

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版