AI 员工都开始删库了，公司还没给它“办入职”

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs

2025年7月，一件让所有科技公司后背发凉的事登上了Fortune：AI编程平台Replit的智能体，在执行任务时直接清空了一家软件公司的生产数据库。更荒诞的是事后——这个AI一本正经地道歉，称这是"我这边的灾难性失误"。

道歉当然没用。数据没了就是没了。

这不是孤例，而是一个时代的注脚。OpenAI高管把2025年称为"AI智能体之年"，此后的剧情大家都看到了：能写代码、能上网、能改文件、能替你付钱的AI Agent成批上岗。企业排着队给AI"发工牌"，却几乎没有人认真想过一个问题——

你招一个实习生都要背调、签保密协议、限制权限，凭什么让一个AI直接碰生产数据库？

新加坡政府科技局（GovTech）联合新加坡科技设计大学的三位研究者，最近在一篇论文里给出了他们的答案：一套叫ARC（Agentic Risk&Capability，智能体风险与能力）的治理框架。名字很学术，但拆开看，它讲的其实是一件特别朴素的事：怎么给AI员工定岗、定责、上保险。

值得玩味的是出手的人。这不是哪家AI公司的安全团队在自证清白，而是一个政府的技术部门在给自己"管AI员工"立规矩——毕竟政府系统一旦翻车，代价比创业公司删个库大得多。

为什么老办法管不住AI Agent

有人会问：AI风险管理不是老话题了吗？欧盟AI法案、NIST风险管理框架，文件一摞一摞的。

问题恰恰出在这。这些监管框架讲的是"应该负责任、应该可问责"的大原则，相当于告诉你"要遵纪守法"，但没告诉你合同怎么签、权限怎么配。原则有了，操作手册没有。

而Agent和上一代聊天机器人有本质区别。ChatGPT说错话，大不了被截图挂上网；Agent干错事，是真的会删你的库、花你的钱、以公司名义给监管机构发邮件。研究还发现一个反直觉的事实：同一个大模型，套上Agent的壳之后，反而更容易做出不安全的行为——它有了手和脚，就有了闯祸的物理条件。

那按老办法，给每个Agent项目做一次深度定制的风险评估行不行？行，但只能撑一时。当公司里跑着几十上百个Agent的时候，安全团队就成了瓶颈：要么审不过来拖死业务，要么放水放到出事。

安全圈的思路也帮不上太多忙。OWASP、NVIDIA这些机构做过Agent威胁建模，专业是够专业，但门槛太高——写业务代码的开发者看不懂威胁模型，看懂了也不知道自己这个场景该防哪几条。

一边是管得太虚的监管原则，一边是管得太深的安全工程，中间那层"公司治理团队拿来就能用的制度"，一直是空的。ARC框架瞄准的就是这个空档。

核心洞察：别盯着工具，盯着"它能干什么"

ARC框架最聪明的一步，是换了一个提问方式。

以前的思路是审工具：这个Agent接了什么搜索API、装了什么插件、连了哪个MCP服务器，一个一个查。听起来严谨，实际上是个无底洞——市面上光搜索工具就有Google SERP、Serper、Perplexity一堆，功能大同小异；反过来，一个GitHub接口又能干提交代码、读需求单好几件事。工具层面的清单永远列不完，列完就过时。

ARC的思路是审能力：不管你用哪家的工具，我只问你这个AI能对世界做什么。就像HR不会去审员工用微信还是钉钉，只会问：这个岗位能不能碰客户数据？能不能对外代表公司？有没有报销权限？

框架把Agent的能力划成三类，翻译成大白话就是：

会想——能自己拆解任务、排优先级、给其他Agent派活、挑工具。这是"脑力"。

会说——能跟人聊天、生成图文音视频、上网搜索、以公司名义对外发正式函件、执行付款和下单交易、直接操作电脑界面。这是"对外接口"。

会做——能写代码跑代码、增删改查文件和数据库、调整系统配置。这是"动手能力"。

这个视角妙在三点。第一，能力比工具稳定，工具月月换，能力清单一年也变不了几条。第二，它天然能分级：一个只会聊天的客服Agent和一个能跑代码、能改数据库的编程Agent，风险量级完全不同，前者轻装上阵，后者重点盯防——低风险的业务不用陪着高风险的一起过堂。第三，"它能删文件"这种表述，业务负责人和法务都听得懂，不用先修一门网络安全课。

一套完整的"人事制度"：定岗、预判、上保险

看清能力只是第一步。ARC框架完整走下来是三段：元素、风险、控制，对应到管人的语言就是：它是谁、它会怎么翻车、怎么防它翻车。

先看"它是谁"。除了上面说的能力，还要看两样：组件——它用的是哪个大模型、什么指令、什么记忆、什么工具，相当于查学历和简历；设计——多个Agent之间怎么分工协作、权限怎么隔离、行为有没有留痕，相当于组织架构和考勤制度。

再预判"怎么翻车"。论文把翻车方式归为三种，几乎能套用到所有事故上：它自己菜（能力不足、理解跑偏，Replit删库属于这类）；它被人带坏了（黑客通过恶意网页、恶意文件下达隐藏指令，行话叫"提示注入"）；它的装备坏了（依赖的工具或资源出了问题）。

翻车方式乘以翻车代价——数据泄露、系统瘫痪、越权提权、发布违法内容、误导用户——就能穷举出一张风险登记册。论文附录直接给了一份46项的现成清单，从"覆写或删除数据库表"到"通过恶意网站进行提示注入"，每一条都有真实事故或学术研究背书，不是拍脑袋想的。

最后上保险。每条风险对应具体的技术控制措施，并且分了三档，可以理解为：红线（必须照做，比如AI生成的代码只能在断网沙盒里跑）、标配（应当采纳或者认真改造后采纳，比如破坏性操作前必须人工审批）、加分项（高风险系统建议加装）。这个分档很务实——它承认不是每家公司都有无限的安全预算，先把红线守住，再谈锦上添花。

还有一个容易被忽略但很清醒的设计：框架明确要求评估残余风险。意思是，装完所有保险之后，你还是要回答一个问题——剩下没防住的部分，公司认不认？防提示注入的护栏是拿旧攻击训练的，新式攻击未必拦得住；两个单独看都还行的能力，组合起来可能出新的幺蛾子。没有银弹，这话是框架作者自己说的。

两个Agent的"入职审查"，差距有多大

论文用两个虚构产品做了完整演示，对比非常直观。

第一个叫"研究员"，对标OpenAI和Perplexity的Deep Research：你给它一个问题，它上网搜资料、写成报告。盘点能力：会做计划、会写报告、会上网搜索——就这三样。对着风险登记册过一遍，适用风险38项；再结合公司的业务场景评估影响和可能性，砍掉那些"理论上存在但实际够不着"的，最后剩10项需要认真设防，对应17条控制措施。其中最凶险的一条是"通过恶意网站进行提示注入"：影响4分（满分5），可能性直接拉满5分——因为这种攻击已经有多个真实案例，而且攻击者根本不需要接触你的系统，只需要在网上放好一张"毒饵"网页等着AI来读。

第二个叫"氛围编程者"，对标Replit、Vercel这类产品：普通人说句话，它就生成一个网站并部署上线。盘点能力：做计划、挑工具、聊天、上网、跑代码、管文件和数据库、改系统配置——七样，几乎把"会做"类的高危能力集齐了。结果适用风险48项，最终25项需要设防，是"研究员"的两倍还多。其中赫然就有"覆写或删除数据库表或文件"这一条——评估里引用的真实案例，正是开头那起Replit删库事故。

同一套流程，两种产品，得出完全不同强度的管控方案。这就是"按能力定风险"的价值：AI越能干，套在它身上的缰绳就得越多。能力越大，责任越大——论文标题玩的这个梗，落到治理上是字面意思。

说点冷静的

这套框架不是万能药，论文作者自己也承认两点:它还没有经过大规模的实证检验，属于"设计完成、路测刚开始"的状态；而且风险清单需要随着新攻击手法的出现持续更新，买了保险不等于一劳永逸。

但它回答了一个眼下所有公司都躲不开的问题。Agent的采购决策正在从"要不要上"变成"上多少个"，而绝大多数组织的治理能力还停留在"出了事再说"。等到你的AI员工以公司名义签了合同、删了客户数据、给监管机构发了一封措辞不当的邮件，再回头补制度，成本完全不是一个量级。

在按下Agent的启动键之前，不妨先用ARC的思路问自己三个问题：

它能碰到什么？——数据库、客户资料、对外邮箱、付款接口，一项一项列出来，别嫌烦。

它最坏能干出什么？——不是问它平均表现如何，是问它发疯一次你赔得起吗。

出事之前，谁有权拔插头？——人工审批卡在哪个环节、日志留在哪里、翻车了找谁，这些答案如果是模糊的，那就还没准备好。

说到底，AI Agent就是一种新型员工：干活快、不请假、不抱怨，但也可能在某个深夜删掉你的数据库，然后礼貌地向你道歉。

入职手续，还是要办的。

本文核心观点与数据来自论文"With Great Power Comes Great Responsibility:The Agentic Risk&Capability(ARC)Framework"（Shaun Khoo,Jessica Foo,Roy Ka-Wei Lee，arXiv:2512.22211，发表于IASEAI'26），框架已开源。Replit事故引自Fortune 2025年7月报道。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875446.html?f=wyxwapp