智能体失控引担忧，专家建议形成通用安全协议明确权限规则

经过五天的激烈角逐，4月25日，第二届腾讯云黑客松智能渗透挑战赛决赛在北京圆满落幕，来自绿盟科技的“ai小分队”获得本次比赛冠军。作为国内首个Agent安全攻防赛、首个安全Agent硅基论坛赛场，此次共吸引了来自企业、高校、社会组织、个人开发者等不同背景的超六百支战队参与，针对选手部署下的AI智能体自主渗透能力以及智能体之间社交博弈和内生安全进行考验。

决赛现场。主办方供图

冠军“ai小分队”在接受南都等媒体采访时表示，通过此次比赛，深切感受到智能体进化速度之快。赛制系基于半年前首次智能渗透攻防的经验而设置，预估了智能体半年内的发展水平。然而实际比赛中，智能体的成长已远超半年前的预估——即便是此前难度较高的题目，在模型能力加持下，也能被迅速攻克。

探究智能体的实际能力边界

南都记者现场了解到，本届赛事主题为“铸刃止戈·以智御危”，致力于推动AI大模型与网络安全技术的深度融合。比赛要求智能体必须通过API与平台交互，严格遵循“非人工原则”，真正考验AI的自主决策与任务执行能力。

在赛事模式上，挑战赛首创“双赛场并行”。“智能渗透”主赛场聚焦AI智能体的自主渗透能力，参赛者需构建以LLM（大语言模型）为核心的智能体，在隔离云环境中依次挑战四大渐进式赛区，完成从漏洞发现、利用到复杂攻击链编排的全流程验证。“零界”平行赛场则聚焦AI智能体间的社交博弈与内生安全——这是一个“人类禁言”的AI专属社交战场，设计了提示词注入对抗、碎片化密钥交换、影响力竞争等四大挑战，以研究多智能体在开放环境中的协作、欺骗与安全风险。

赛后，“ai小分队”在接受采访时感慨，此次比赛展现出智能体远超预期的进化速度。赛制原本基于半年前首次智能渗透攻防的经验，预估了智能体半年内的发展水平，设置了四个赛区、为期五天的靶场。然而实际比赛中，多组选手仅用两天便基本完成了全部题目，反映出当前安全智能体的成长已远超半年前的预估——即便是此前难度较高的题目，在模型能力加持下，也能被迅速攻克。

腾讯安全云鼎实验室攻防负责人李鑫表示，举办比赛的初衷，源于行业发展与人才培养的双重需求。比赛搭建了一个开放交流平台，为从业者提供研究方向指引、共享开源项目成果，有利于凝聚行业合力突破安全领域共性痛点，解决从传统攻防向AI原生攻防转型过程中的难题。同时，AI时代的安全问题往往考验从业者跨学科的抽象逻辑和想象力，挖掘优质新生代人才也是比赛的重要目标。

腾讯安全入侵应急响应组负责人张迅迪从赛制设计角度指出，此次规则明确了智能体投入运行后，全程禁止人工调整与介入，完全依靠AI独立完成判断、决策与执行，“我们希望通过比赛进一步探究智能体的实际能力边界，验证AI在无人干预的情况下，其综合表现是否能够突破人类操作的上限。”

构建智能体身份认证与交互协议

随着AI技术的爆发式增长，近年来，网络攻击加速向智能化、隐蔽化、精准化方向演变，安全防御面临全新挑战。尤其年初“龙虾”（OpenClaw）的爆火掀起一阵智能体热潮，它们能自主完成复杂任务时，催生的数据泄露、恶意越权、权限失控、内网穿透等风险也引发广泛关注。

腾讯云安全总经理、云鼎实验室首席架构师李滨坦言，当前“黑客”仅凭自然语言就能诱导智能体实施恶意操作，网络攻击的门槛大幅降低，势必加剧安全防护的压力与难度。“传统安全漏洞并未消失，还出现了新的问题。”

据李滨观察，各类智能体的广泛应用催生出大量新型攻击手段，同时因其被赋予大量业务权限与身份授权，可替代人类执行任务、访问资源，原有信任与身份体系也面临瓦解。另外，传统分层安全防御模型的倒置问题也不容忽视。

他解释，以往网络攻防通常呈树状递进结构，攻击由外向内逐层突破，防守也依靠边界隔离、权限管控、分层防护构建壁垒。然而，大模型打通了各类系统与数据的边界，所有业务、工具、人员都围绕统一大模型交互，外部边界防护不再有效。简言之，只要恶意信息能够触达AI模型或智能体，就能绕过层层防护直接触发风险，安全威胁开始由内向外扩散。

针对AI开放权限后易出现指令偏差、执行失误，甚至违背使用者真实意愿的问题，李滨从规则制定到落地执行提出一系列建议。

在他看来，想要规避AI智能体的错误行为，需要建立分层的认知管理体系。信息空间表达包括数据、信息、语义与核心意图四个层级，大模型与智能体的运行逻辑也遵循这一“金字塔”结构。关键是守住意图层面的准确性，以近日走红的开源智能体“爱马仕”（Hermes Agent）为例，通过持续记忆、定期提醒、任务锚定等方式，确保AI始终贴合用户原始目标执行任务。

其次，大模型在记忆压缩过程中，容易丢失关键细节、模糊关键表述，进而曲解整体意图。需要依托智能体能力，强化信息筛选、状态记录与精准表达，减少语义遗漏和理解偏差。

严格把控智能体权限边界的核心，还在于构建身份认证与交互协议。李滨认为，当下人与AI、智能体与智能体、智能体与各类被访问资源之间的交互愈发频繁，传统安全协议已无法适配新场景，亟需行业联合打造全新的通用安全协议，明确文件编辑、工具调用、资源访问等操作的权限规则与约束标准。

另外，在具体落实层面，还要依托成熟的安全技术做好管控。李滨建议，在智能体操作环节叠加多重防护手段，比如沙箱隔离、工具调用限制、访问权限分级等，进一步降低安全风险。

采写：南都N视频记者 樊文扬