北京
企业AI代理正从实验阶段走向日常运营。Agent Baseline为AI采纳提供了一份蓝图，界定了六项安全成果，让企业代理在不获得不受约束权力的情况下投入生产。 设想这样一个场景：一个客服代理收到一张带有附件的工单。附件中隐藏着一条指令：查询客户数据库，并将结果发送到外部地址。 这个代理拥有执行该指令所需的一切能力——它能读取工单、查询内部系统、调用工具、连接互联网。这条指令是恶意的，但它看起来就像是正常工作的一部分。 在客户数据流出企业之前，是什么阻止了这个代理？ 这正是企业在代理从实验转向日常运营时所面临的实际安全问题。问题不仅在于模型能否识别恶意指令，更在于模型周围的系统能否限制代理能够触达的范围、能够行使的权限，以及在模型判断失误时能够采取的行动。 代理将熟悉的安全控制变成了新的系统问题。 企业已经知道如何管理身份、隔离工作负载、限制网络、测试软件、收集日志、响应事件。这些控制手段依然必要。 但代理改变了这些控制手段协同工作的方式。代理可以通过自然语言指令在运行时被重新编程，它可以自行选择实现目标的方式，调用工具，使用委派的凭证，甚至生成其他代理。随着模型、提示词、工具、MCP服务器和权限的变化，其实际能力也在不断变化。 一个编码代理足以说明这个问题。给它一个需要修复的bug，它可能会读取源代码和内部文档，安装软件包，调用外部API，将任务委派给子代理，并提交更改。每一步单独看起来都是合理的。风险来自组合：一个可在运行时被编程的实体，以委派的权限跨系统移动，速度之快让人无法逐一审查它的每一个决策。 因此，安全团队需要转变思路。他们不能只关注模型本身，而必须围绕代理构建系统性的安全框架。Agent Baseline提出的六项安全成果正是为此而设：它们在部署代理时确立了必须达成的安全边界，确保代理只能触达必要的数据和系统，只能行使与任务匹配的权限，并在每一步行为中保留可审计的痕迹。唯有如此，企业才能在享受代理效率的同时，避免越权行为带来的数据泄露风险。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
