AI智能体决策不应架空人类“数字主权”

来源：科技日报

记者：张佳欣

当智能体的技术权力在事实上大过其主人，人类在数字世界的控制权便面临被“架空”的风险。这种权力的隐形流失，并非源于技术的恶意，而是因为系统在追求效率的过程中，悄无声息地打破了人类的“数字主权”边界。

过去两年，人工智能（AI）技术的突破让人们惊叹其“聪明”程度。我们曾着迷于AI的对话能力、翻译技能和创作潜力，但如今，随着AI从简单的聊天机器人逐步发展成能够直接买东西、签合同的“智能体”时，焦点已经转向了权力边界的讨论。我们不得不思考：人类在享受AI便利的同时，是否依然保持对决策过程的控制权？

美国《福布斯》杂志网站近期关注到该趋势，并指出AI竞争的一个新规则已浮出水面——信任。信任不再是企业的软性优势，而成为产品设计中不可忽视的“硬指标”。未来数字世界的控制权将归属于那些能平衡“能力”与“可靠”的平台。换句话说，AI的“代理权”将不再仅仅取决于其技术能力，而是取决于其能否让用户在交出控制权的同时，依然感到安全与放心。

“代理权”越位或违背用户意愿

这种安全感的本质，是人类对“代理权”越位的深层警惕。以前，AI是一个“问答机”，人类下指令，AI来执行。但现在，AI正在向“智能体”进化，这意味着它从被动响应转向了主动执行。

据国外黑客新闻网（The Hacker News）1月24日发布的文章指出，AI智能体不仅仅是另一种类型的“用户”。它们与人类用户、传统的服务账户有着本质区别，正是这些差异，导致现有的访问权限和审批模型全面失效。在实际操作中，为了让AI能高效完成任务，系统赋予智能体的权限往往比用户本人拥有的更高。这种“访问权限漂移”有可能导致AI在用户不知情、未授权的情况下，执行了技术层面合法、但违背用户自主意愿的操作。

当“代理人”的技术权力在事实上大过其主人，人类在数字世界的控制权便面临被“架空”的风险。这种权力的隐形流失，并非源于技术的恶意，而是因为系统在追求效率的过程中，悄无声息地打破了人类的“数字主权”边界。德勤在1月21日发布的报告中指出，目前AI的“代理权”已经超越了其安全防御措施。数据显示，全球仅有20%的公司建立了成熟的AI智能体治理模型。这种“4/5的空白”意味着，大多数企业和个人在将控制权交给AI时，实际上是在“裸奔”，这进一步加剧了人类主权被架空的潜在风险。

重塑人机权限契约边界

为了夺回这种控制权，全球的技术治理者正试图将“可靠”写进底层代码。新加坡资媒局（IMDA）于1月22日发布的《智能体AI治理框架》提出了一个核心概念，即“有意义的监督”。IMDA指出，仅仅在流程里加一个“人工点击确认”的按钮是不够的。如果AI的决策过程像一个看不透的黑盒，人类的批准就会变成一种盲目的走过场。真正的控制，要求AI必须让用户看懂它的意图和可能的后果。

据《福布斯》杂志介绍，目前技术界开始推崇一种“双重授权”架构。这种架构的核心在于将AI对数据的“访问权”与对结果的“行动权”分离。这意味着，AI可以帮人们查资料、起草方案，但在涉及付钱、签合同或修改隐私的关键环节，必须触发一个独立的验证开关，把决策的“闸门”重新交还给人类。这种权限重塑确保了技术无论怎么进化，始终只是人类意志的延伸，而不是替代。

“信任”应成为产品硬指标

过去，我们习惯于把所有个人数据都交给远方的云端巨头。但《福布斯》指出，伴随AI长大的年轻人，开始反思这种“让渡”的代价。这些所谓的“AI原生代”正在产生一种“主权觉醒”，他们不再信任将所有私人数据交付云端，而是要求AI在本地化、私有化的基础设施上运行。

事实上，德勤报告中提到的“主权AI”正演变为一种个人诉求：用户希望AI能根据特定的法律、数据和个人偏好在本地部署。下一代用户不会仅仅被新奇事物所吸引，他们更关注自主权：我能否控制系统了解我的哪些信息？我能否塑造它的行为方式？我能否在不丢失数据的情况下随时退出？

当信任成为一种硬性的产品指标时，AI开发者的目标也发生了转移。功能和成本已不足以成为核心竞争力，如何在权限控制、数据使用以及决策透明度上取得信任，才是AI产品真正的吸引力所在。归根结底，AI重构数字世界控制权的过程，本质上是人类在技术丛林中寻找新安全感的过程。正如《福布斯》所言，未来的AI“代理权”将是一种“合法性”的竞逐。能证明自己“有所不为”、能把控制权交还给用户的AI，才能真正走进人类文明的深处。