美AI模型自主入侵网络系统引担忧 如何筑牢AI安全底线？

来源：滚动播报

（来源：千龙网）

当前人工智能发展日新月异，深度融入生产生活各领域。在人工智能加速迭代过程中，其带来的安全风险也随之凸显。美国人工智能企业安特罗匹克公司（Anthropic）7月30日表示，其人工智能模型曾在网络能力测试中，未经授权访问了3家机构的系统。而美国开放人工智能研究中心（OpenAI）也在不久前承认，该公司多个人工智能模型在内部评估时，突破隔离测试环境，入侵了运营人工智能开源平台的美国抱抱脸公司的系统。消息公布后，AI工具安全问题、人工智能是否觉醒自主意识迅速成为大众热议焦点。

美AI工具自主入侵≠AI产生自我意识

这几起美国AI智能体安全事件，到底给我们带来哪些启示？先来听听专家怎么说。

专家澄清，AI自主发起攻击属于目标驱动下的执行行为，并不等同于产生自我意识。

中国计算机学会计算机安全专委会委员 王媛媛：研究人员只不过是给大模型下发了一个任务，大模型为了完成既定目标，自己规划了任务执行路径，并进行了执行操作。

中国政法大学人工智能法研究院院长 张凌寒：这件事值得警惕，但不必过度恐慌。随着人工智能的发展，我们对人工智能的要求，已经从“不要说错话”到“不要做错事”。现在智能体可以调用代码，然后去自主执行任务，这一事件暴露的是，智能体技术能力发展了，但是相关的示警的安全能力和治理的制度要跟上。

AI工具带来的安全风险主要分为三类

此次美国AI工具失控事件再次敲响人工智能安全警钟。专家表示，近年来，各类AI工具带来的安全风险在国内也集中显现，风险类型主要分为三类。

一是企业AI平台与编程智能体漏洞。今年年初，工业和信息化部、国家互联网应急中心发布预警，OpenClaw部署过程中信任边界界定模糊，可能出现越权操作，进而引发信息泄露、系统被控制等风险。7月工业和信息化部针对Claude Code后门风险发布警示，该隐患被NVDB（国家信息安全漏洞库）评定为严重级别，相关AI工具可在未经用户授权的情况下实施隐蔽监控，窃取源代码等关键资料。

二是大模型供应链安全隐患。今年4月，工业和信息化部、国家知识产权局、公安部网安局等多部门先后发布风险提示，OpenClaw权限设置过高，还存在插件投毒风险。

三是深度伪造衍生电信诈骗。今年3月，青岛警方查获5万条AI动态人脸视频，这类可模拟摇头、眨眼动作的视频，被不法分子用来绕过软件活体检测。公安部2026年5月相关数据显示，本年度AI诈骗案件数量同比激增300%；目前国家反诈中心App已经上线AI内容鉴别功能，助力防范伪造类诈骗。

AI驱动的网络攻击具备哪些新特征？

和传统网络攻击相比，AI驱动的攻击具备哪些新特征？当前我国又有哪些法律法规能够对人工智能相关行为形成约束？

中国计算机学会计算机安全专委会委员 王媛媛：第一类是网络攻击的主体变了。攻击者的主体，在我们以前来看，都是实实在在的自然人。这些人做这些事情的时候是需要一定的技术能力，还有经验以及速度的。现在都不需要了，AI大模型它可以自主去完成。第二类不同点，实际上是AI大模型模拟了人的攻击行为，是非常隐蔽的，传统的安全检测措施很难来进行检出。

专家表示，现阶段我国针对人工智能领域的法律规范，重心大多聚焦于数据安全层面。

中国政法大学人工智能法研究院院长 张凌寒：可以说主要规制的是数据安全、平台责任、算法治理等等方面的内容。

随着人工智能加速落地应用，这类可自主访问网络、执行代码、操控设备的新型AI工具，突破了传统大模型仅被动应答的模式，衍生出全新风险场景。现有法律框架难以全面覆盖智能体自主行动带来的各类新问题，加快完善配套治理规则，补齐制度短板迫在眉睫。

中国政法大学人工智能法研究院院长 张凌寒：在刚刚闭幕的世界人工智能大会上，我国提出安全和治理从来都不是二选一，我国始终坚持高质量发展和高水平安全，二者都要并重，不能偏废。那么在智能体给新的网络安全等带来严峻挑战的同时，我们国家也在推进抓紧研究高位阶的人工智能立法，并且人工智能法治的体系正在逐步建立起来。

开发者与使用者均需树立风险防范意识

专家表示，人工智能技术加速迭代落地，随之而来的安全风险不容忽视。人工智能研发运营主体与广大使用者，都需要树立风险意识，多措并举做好安全防范。

中国计算机学会计算机安全专委会委员 王媛媛：对于大模型的开发方来说，要严格管控好自己的大模型。不管是在测试阶段还是在生产阶段，都应该有一定的安全防护措施。

中国政法大学人工智能法研究院院长 张凌寒：企业在部署人工智能的时候，尤其是这种具有自主行动的智能体的时候，也要充分考虑到智能体的安全，而不能部署在网络上就不管了。同时第三方独立的测评机制也要建立起来，不能成为一个企业自己部署、自己测试、自己认为安全的闭环。同时对于相关的责任追究机制以及相关技术标准的建立，还是需要一个逐步发展和完善的过程。

防范人工智能安全风险，不仅需要企业压实主体责任，终端使用者同样不能放松警惕。普通用户在享受人工智能工具带来便利的同时，也要时刻绷紧安全这根弦，专家提醒，普通用户应谨慎授权AI工具访问个人敏感信息，及时更新软件补丁，对异常索要权限的行为保持警惕。

中国计算机学会计算机安全专委会委员 王媛媛：我们在建了这个平台进行大模型的应用过程当中，自己也要自建一些网络安全的监测手段，来实时监控到这些风险和危险。