给大热的智能体做体检：关键「安全」问题能达标吗？

作 者丨肖潇、王俊、章驰、陈勇杰

编 辑丨王俊

2025年，被称为“智能体元年”。这是AI发展路径上的一次范式突变：从“我说AI答”到“我说AI做”，从对话生成跃迁到自动执行，智能体正成为最重要的商业化锚点和下一代人机交互范式。

但越接近落地，风险也越有实感。智能体的核心能力——自主性、行动力，也恰恰是风险滋生的窗口。越能干的智能体，越可能越权、越界，甚至失控。

结合调查问卷和行业访谈，本次《智能体体检报告——安全全景扫描》从最新发展状况、合规认知度、合规实际案例三个角度，试图回答清楚一个关键问题：智能体狂奔之时，安全合规是否就绪了？

容错性与自主性为核心考量指标

作为市场最火热的概念，今年资本市场及公司动态几乎都与智能体挂钩。但不少讨论中的智能体定义混乱，以至于一千个人眼中有一千个智能体。

如果仅停留在单一角度分类智能体是非常片面的，为了更全景地认知理解智能体，我们广泛地调研了从业者，认为可以从“容错性”、“自主性”两个维度划定坐标轴，建立智能体的价值生态。

X轴是“容错性”，我们认为这是智能体未来发展的核心竞争指标。容错性低，通常意味着出现错误后果严重，其使用场景需要更准确的信息捕捉、归纳、整合能力，更少的幻觉和错误决策，更稳定的执行任务能力，比如医疗；而容错性高的领域，错误后果轻微且可控，人类能方便地介入调整，比如写作创意。

Y轴是“自主性”，是在不同场景中智能体的行动边界。自主性衡量的是智能体在没有直接人类干预的情况下，自主做出决策和执行动作的能力。更高的自主性通常意味着更高的工作效率和处理复杂任务的能力，但同时也显著放大了错误或滥用行为可能造成的后果。

围绕智能体的容错性和自主性建立模型，任何智能体都能在坐标空间里找到属于自己的位置。这是我们衡量智能体的方法论。在这一全景坐标下，讨论智能体安全合规问题，能带给隶属不同象限的智能体产品更适配的安全风险准则。

随着智能体的产业生态和应用场景逐渐清晰，担忧的声量随之而来：一边认为一旦智能体出现安全事故，后果难以控制，急需设置防护栏；另一边认为，智能体的当务之急是发展技术，对安全的过度讨论会阻碍创新。

当下哪一方声音占主流？不同产业角色是如何考虑这一问题的？行业是否存在一些共识？我们结合访谈和问卷调查，试图找到一条认知水位线。

问卷开始时，受访者需要先选择自己的基础信息，角色分为四类：智能体研发公司（提供核心模型/产品/平台），智能体使用公司，智能体合作公司（提供API/插件/基础设施），以及独立研究团队或开发者。

问卷结果显示，受访者中研发厂商、使用方、独立研究团队或开发者数量平均（33%；28%；23%），服务合作者较少（16%）。大部分受访者来自技术团队（67%），小部分来自产品运营团队（30%）。

风险过于复杂和新颖是当前最大挑战

67.4%的受访者一致认为智能体的安全合规问题“非常重要”（5分；满分为5分），整体平均分为4.48分。从不同角色来看，最在意保障安全合规问题的是智能体使用方。

智能体安全合规是否得到了行业的足够关注，没有一个观点得到超过半数的共同认可。最多的看法是行业有所重视，但整体投入与响应不足（48.8%）；但也有34.9%的受访者认为行业整体缺乏有效关注，这尤其是研发方中最主流观点。只有一小部分人（16.3%）认为行业已经高度重视，甚至过度重视了。

在受访者中达成了一致的是，安全合规并非智能体最需优先解决的问题。当务之急的TOP 3 问题分别是：智能体执行任务稳定性和完成质量（67.4%）、落地场景探索和产品化（60.5%)、基础模型能力增强（51.2%）。

在这三个问题上，不同角色眼中的优先级不同。研发者和使用者认为最需要解决的问题是“智能体执行任务稳定性和完成质量”，而服务方和独立研究团队更需要“落地场景探索和产品化”。

大部分人认为，智能体风险过于复杂和新颖（62.8%）是当前治理智能体治理的最大挑战。而不到一半的人认为智能体风险还未显化、优先级不高是一个挑战（48.8%）。

已出现过的案例能侧面说明这一点。通过访谈了解到，行业现在还没有出现过真实发生的、大范围的的安全合规事故。而在一些小型的安全合规事件上，公司出于业务考虑，未必愿意公开讨论。

幻觉和数据泄露是最受关注的问题

AI幻觉与错误决策（72%)、数据泄露(72%)、有害内容输出(53.5%) 是行业最普遍关心的三个安全合规问题。

更专业的越狱攻击、身份与权限控制、工具安全和竞争秩序问题，相对获得较少关注。值得一提的是，没有受访者一个安全合规问题都没关注过。

如果出现了安全合规事件，行业最担心的后果是用户数据泄露（81.4%）以及非授权操作带来业务损失（53.49%）。也有一部分人担心被监管调查或处罚（44.19%）。

不同产业角色担心的后果完全不同，几乎所有智能体使用方和服务方都担心用户数据泄露，占比可以达到90%左右，较少有人担心监管调查（40%左右）。而研发方最担心的便是监管调查（72%），其次才是业务损失或用户数据泄露（64%）。

这一定程度上也可以说明，在智能体研发方心中，目前在监管面前承担主要责任的是己方。

一位互联网公司法务谈到，智能体产品或平台的《服务协议》需要列清有哪些智能体、哪项功能调用哪一大模型、如何收集用户数据和信息，是否存储数据及存储期限等。有些智能体可能涉及调用多个底座大模型和工具，在这种情况下，她认为通常由智能体向用户兜底，“不然数据最终去向可能就乱了。”

对于AI幻觉问题，众多研究和报告指出，在医疗、金融等高风险领域，其可能带来严重后果。例如，假设一个医疗诊断智能体对罕见病的误诊率为3%，在千万级用户中就可能造成数十万例误诊。

在实际应用中，许多企业发现智能体尚无法可靠解决幻觉问题。一家安全技术公司负责人在访谈中提到，最初部署智能体测试发现，出现明显幻觉，无法有效支持工作。

“我们在做AI合规审计产品时，有一个功能：基于提交的合规证据，针对当前的具体审计项抽取证据。但在测试中发现，抽取的证据常常会有不同，有时候多有时候少，很不稳定，也发现AI会编造一些根本没有提交的证据。”该负责人表示，公司因此最终放弃了智能体方案。

此外，国外的加拿大航空AI客服案常被受访者提到。这是一起企业因为AI错误决策而承担法律责任的标志性案例：2022年，加拿大航空的AI客服告诉乘客“可在旅程完成后的90天内申请退款，以享受折扣”，实际上该航司并不支持退票和打折。随后乘客将拒绝赔偿的加拿大航空告上法庭，尽管公司拒绝为AI客服担责，但法院并不认同这一观点，2024年最终判决公司承担乘客损失。

智能体协作安全风险高

随着智能体生态的丰富，多个智能体的互动近在眼前。不同智能体组成一个团队，认领自己的任务，互补彼此的能力，共同推进项目进展。

可以看到，当前在一些互联网大厂的产品中，也会强调多智能体协作机制。

智能体的“汽车时代”要来了，可是路上交通规则、红绿灯的架设还在路上。

“相比传统的单一智能体，智能体协作框架的涌现使得智能体协作模式逐渐多样化，也引发了多重安全隐患，”清华大学网络科学与网络空间研究院副教授刘卓涛表示。

一名技术负责人解释称，现有的智能体互连协议在安全性设计上，考虑的还不是很健全，尤其在企业级安全上有很多不足。安全实现上仍存在身份认证与权益管理、隐私与上下文保护不足、缺乏统一的安全实现等安全局限性。“智能体之间协作的独特特征，要求我们必须提供专有的安全保障机制。这个方向几乎是空白的，但近期也有一些行业变化，一些新的安全设计正在萌芽。”

公开信息显示，业内正在推进智能体协作的安全方案。“IIFAA智能体可信互连工作组”推出了智能体可信互连技术ASL（Agent Security Link），该技术可以在兼容A2A，MCP等协议的基础之上，增强了一些安全机制，保障各个智能体协作中在权限、数据、隐私等方面的安全，为智能体互连提供安全、可信的协作保障。

用户数据谁能见、谁在用？

智能体的协同工作涉及多个环节，每一个环节都可能触发用户数据的收集、存储、调用、跨主体交换。问卷调研显示，近八成的业内人士担心用户数据泄露的后果。

以一个典型的使用场景——“让AI帮我写简历”为例，仅在前端展示中，多个平台的智能体就展现出了信息透明度与隐私保护机制的明显差异。

首先是调用过程的透明度。例如，在讯飞星辰平台上，用户利用“智能简历生成”应用“输入自己信息后，该智能体前端界面会显示调用“联网搜索”等3款工具。但当点击“编辑简历”按钮继续操作时，智能体调用了“职场密码”服务，该工具却并未对用户明示。对工具的调用情况并不总是透明可见，这意味着用户的敏感数据可能被送往一个不知情的地方。

其次是个人敏感信息的展示与处理透明度。当前主流平台在应对用户上传的姓名、手机号、照片等信息时，采取了三种明显不同的路径：

第一档是如通义平台（阿里巴巴）上的简历制作助手智能体，在生成简历前明确提示风险，并主动说明将隐去身份证号、手机号等敏感信息；

第二档是如星辰（讯飞）、文心（百度）等平台，虽未主动提示风险，但会在输出结果中通过“**”替代敏感字段，从技术上进行规避；

第三档是智谱、元器（腾讯）、扣子（字节跳动）等平台，其智能体在提示和处理方面均无动作，既不警示用户，也未遮掩输出结果中的敏感信息。

这一差异暴露出的是智能体生态中责任分配的模糊与滞后。用户面对的往往只是一个具象的“对话界面”，但其背后到底有几个工具、几个数据存储节点、几层算法判断，用户看不到，开发方也未明示。

责任谁来担？

尽管智能体中数据流转路径复杂，可能落下盲区，但在用户协议中，责任划分的基本框架已经成形。

对通义、星辰、文心、智谱、元器、扣子6个智能体平台的用户协议与隐私政策进行比对发现：用户与智能体交互所产生的数据，普遍被归类为“开发者数据”，其处理责任也被明确落在开发者身上。

以“扣子”平台为例，其服务协议中指出：“开发者数据”不仅包括开发者主动上传的数据库信息、插件/API等，还包括用户与智能体交互过程中，经由扣子处理的所有内容，如文本、音频、图像等。这些数据由开发者“自主控制和管理”，平台明确不对其内容或使用方式承担责任。

一定程度上，智能体平台通过协议构建了一道“责任防火墙”：自己作为技术提供者保持中立，数据风险和合规义务转交给智能体开发者。百度在相关协议中进一步写明：“平台无法控制、编辑您的智能体，也不应被视为是您智能体的共同运营/开发者或内容提供者。”

在数据使用方面，平台普遍也划出了边界。以百度为例，其协议称不会主动使用开发者提交的数据训练自身通用大模型，数据仅用于帮助开发者完成自动化处理。但平台保留一个前提：“开发者可选择授权平台使用数据以优化服务”，这一设计同样将决策权交回开发者手中。

一名参与过此类服务协议制定的人士谈到，在合规设计时，内部业务团队与法务团队曾经反复论证，最终认为平台应该单独画一个逻辑空间给开发者，这部分数据归属于开发者，如果平台想用这部分数据，必须要经过开发者授权。

但责任“归位”不等于“到位”。访谈中不少人指出，目前大部分开发者在安全合规方面能力薄弱，缺乏制度性规范和实践经验——很多人甚至没有意识到自己对用户数据负有法律责任，更谈不上建立标准化的风控流程，不一定能真正承担起责任。

SFC

本期编辑 金珊