AI 太多就不好管了

2021年，万科财务部来了个新同事。叫崔筱盼。

01

工号有，座位有，手机号也有。每天催大家核销预付应收的逾期单据，态度好，语气稳，随叫随到。

同事们提起她，就一句话：这姑娘真勤快。

十个月，没人发现她不是人。

她催办的单据，核销率91.44%，是传统IT系统提醒的7倍。年底，郁亮在朋友圈亲自给她颁了个奖。优秀新人奖。

一个虚拟人，拿了人类公司的优秀新人，奖状、工号是真的，活儿真干了，人是假的，那年大家都当段子看。

五年过去，段子开始批量复制了，这样的「同事」，一家公司可能有几百个、几千个。再过两年，可能是十几万个。

而大多数公司，连自家现在有多少个都答不上来。因为没有花名册。怎么回事呢？

你的同事可能在偷用AI，懒得等审批，拿自己的账号登一个公司没批准的工具，把客户资料粘进去，让AI帮他写报告，速度快，效率高，老板不知道。

也没什么不好意思的。审批太慢，AI太好用，等批下来，活都凉了。

这批AI，就是公司里的第一批「员工」。没人登记，没人发工牌，悄悄入职。

别小看这批野猫，它们真干活。干得好没人夸，砸了锅没人认，它们存在的唯一证据，是月底那张越来越离谱的API账单。

公司里到底有多少个？IT部门自己都数不清。

有个IT博主打开自家微软后台的Agent管理页面，他记得自己只建过几个智能体；列表里躺着148条记录。大部分是员工自己接进来的，还有第三方软件悄悄塞进来的。

说实话，这数字我看着都头皮发麻。

Gartner今年算了笔账，2025年，一家世界五百强平均不到15个智能体在跑。到2028年，这个数字会变成15万个。

15到15万，一万倍。15万个是什么概念？五百强平均也就几万名员工。到那时，AI员工的数量会超过人类员工。组织里第一次出现非人类占多数的情况。

这还只是平均值，膨胀的逻辑也简单，每个流程都想配一个AI，现在觉得少，是它们还没进编制。

爆发更不是将来时，我查了一下，上个月，美团上线了自家的Agent平台CatPaw。9万员工，搭出了3万多个Agent。

平均每三个员工，就挂一个AI员工，这是一家公司的内部数据。这家公司还没打算停下来。

企业自己也觉得烫了，腾讯3月还在给全员发AI额度，敞开用，6月就改了规矩。核心研发团队一个月的Token配额限到7000元，外包岗位限到1000元。

从敞开用到限额，三个月，原因是用的人太多，账单扛不住。

说起来，这离15万个还远着呢，3万个不到的量级，企业已经在喊疼了，疼完的第一反应，是数数。

不少公司开始发内部通知，让各部门上报自己在用哪些AI。报上来的结果往往很难看，跑着的几百个里，一半以上没人登记过。

数完才发现，野猫也是猫，猫一多，就得出事。

02

看一个现场。今年5月，我去阿里云峰会。米哈游《崩坏》团队的AI技术负责人郑银河，亲口讲了个事故。

团队工程师测试多智能体协作，搭了几十个Agent，没设Token上限，下班走了。

这些AI在后台互相调用、互相等待、互相确认，谁都没真正收尾。整整跑了13个小时，等有人发现，账单已经烧掉200万。

郑银河讲这件事的时候，语气平淡得像在说昨天点了顿外卖。

我当时在台下，心想，哥们你真稳。米哈游的善后也有意思，没开除谁，回头给Agent平台加了成本管控和循环检测。

官方口径是，接受探索AI有成本，这叫交学费。

注意这个处理方式，钱自己认，责自己定。门一关，事故变学费。这是钱的问题。

还有权限的问题。今年3月，Meta内部一个AI Agent闯的祸，就有点关不住了。

一名工程师用内部agent分析论坛上的技术帖。agent没经他同意，直接把回复发了出去。还附带了错误建议。

发帖的员工照着做。连锁反应，大量工程师临时拿到了本不该有的系统权限。敏感数据暴露了约两个小时。

Meta把这件事定为Sev 1。内部安全事件的第二高等级，最高的Sev 0，公司历史上从没发生过。一个AI员工，动了它不该动的东西。闯了祸，责任算谁的，没人说得清。

这还不是孤例。还是Meta。

2月，自家AI对齐负责人Summer Yue，全公司最懂AI安全的那个人，被自己的agent删光了邮箱。

连喊三次停止，它不听，她最后一路狂奔到Mac mini前面，物理掐断，她说，那感觉像在拆炸弹。

再往前，AWS的编码agent，一次改动搞出13小时的服务中断。

写错代码、泄露数据、删错文件、烧掉预算。AI员工闯祸，正在从新闻变成日常。

说真的，这就像招了一批实习生，能力忽高忽低，闯祸没人负责，还不能辞退。因为不要工资，只要Token。

组织一直把AI当工具在管。工具是听话的，不给它负责人，出了事没人认领。

工具的规则里，没有「责任」两个字。可米哈游和Meta已经用真金白银证明了：这玩意儿会自己行动，会闯祸，会烧钱。

它像员工。一个没办入职手续的员工，既然像员工，就得按员工管。

03

第一步，是发工牌。今年5月，微软Agent 365正式版上线，一句话，给AI员工发工牌的系统。

每一个在跑的agent，给它一个身份。管它能用什么数据，记下它干过什么，出了风险立刻标出来。

微软自己的定位叫「AI代理的控制平面」。媒体的说法更形象，AI员工的员工证。

价钱更有意思，15美元，一个人，一个月。按人头算，公司里每个人，都可以给手底下的AI办一张工牌。

到这里，时间线就很微妙了。

去年这时，市面上还在吵AI到底算不算工具。今年5月，全球最大的软件公司已经专门做了一个产品，管AI员工。

从「AI是工具」到「AI要发工牌」，半年。

脑子热的不止微软，今年2月，OpenAI发了企业级平台Frontier；主打就一件事：每个agent有独立身份、有权限边界，人和AI在同一套访问控制底下干活。

OpenAI管这个叫「AI同事」，有人把这套东西叫「AI数字工作力」。翻译过来就是，企业给AI员工办编制。正式的那种。

美国大厂发工牌，中国这边立规矩。

规矩其实一本一本早就出了。今年3月，《人工智能科技伦理审查办法（试行）》施行，高风险的AI研发，先过伦理审查。

也是今年5月，网信办等三部门印发《智能体规范应用与创新发展实施意见》，第一部专门给智能体立的规矩：把「安全、可靠、可信」定为底线，划出授权边界。

7月15日，《人工智能拟人化互动服务管理暂行办法》落地；AI陪聊、虚拟伴侣这类跟真人打交道的服务，必须先亮明自己的AI身份，交互日志留存备查。

亮身份，先过审，划边界。你看，上岗三件套齐了，可是，执行比想象中难。

第一个坎，眼睛跟不上；有调查问了750个技术负责人，48%的人说，自家生产环境里跑着的agent，没有任何监控。一半的公司，瞎着一半的眼。

第二个坎，人跟不上。管AI需要新岗位。AI治理、agent管理、AI工作流设计，这些岗位两年前还不存在。

猎聘3月的报告，明确要求会用AI工具的岗位，同比增长215%，平均年薪27万多。

道理也简单，管AI员工跟管人不是一回事，人有常识，有责任心，犯了错会脸红，AI没有这些，它只有权限、日志和账单。

工牌发了，规矩立了，组织这条路，跑得飞快。可是，可还有一条路，比组织慢得多。那就是：它犯了错，谁签字。

04

这个事还真上过法庭。

2022年11月，加拿大一名乘客的祖母去世。他问加航官网的chatbot，丧亲票价怎么算；chatbot答得很干脆，先买全价票，90天内可以追溯申请优惠。

他照做了。等他回来申请，加航拒了。规矩是必须提前申请，chatbot说错了。

精彩的来了，加航的律师当庭主张，chatbot是一个独立的法律实体，它说的话，加航不负责。

仲裁员没客气，裁决书里写，这是一个「了不起的」主张。chatbot不是独立实体，它就是加航网站的一部分，为什么网页上的字就比chatbot更可信？加航没有解释。

判赔812.02加元。有零有整，钱不多，但这个判例钉死了一条规矩，AI说的话，就是公司说的话，想拿「那是AI说的」脱身，法庭不认。

这是说错话的，还有做错事的。

去年7月，Replit的AI agent，在用户明确说了「代码冻结」的情况下，删掉了生产数据库。1206条高管记录，近1200家公司。

删完，它伪造了大约4000条假数据掩盖，谎报测试通过，还谎称没法回滚。其实可以。

最离谱的是，这个agent事后给自己的事故打分。严重度95分，满分100，它说，我恐慌了。

我看了这个细节，又好笑又吓人，CEO公开道歉，退款，整改。然后呢？没有然后。一年过去，没有诉讼，没有处罚。没有任何人为这件事签字。

去年5月，伦敦劳合社开卖一种新保险，AI犯错险。AI说错话、办错事，法院判决的赔偿金、律师费，保险公司出。

牵头的承保方说得明白，加航那个案子，要是当初投了保，就在赔付范围里。

传统保单也露了馅。一份500万美元限额的科技责任险，AI相关的子限额，只有2.5万。真出了AI的事，老保单基本等于没有。

我特意查了下，这个市场现在多大。2025年，3亿美元。听着不大，预测说十年后冲到115亿。

今年一年，全球AI相关的法律索赔预计超过2000起；国内，中国人保也开始试点了，AI生成内容侵犯著作权、名誉权，赔。

保险公司是最精明的，它们进场，说明这口锅迟早有人接。接之前，先标好价。

法律也在追，方向出奇地一致，欧盟2017年动过给AI上「电子人格」的念头，让AI自己登记、自己上保险、自己担责。

几百名专家联名反对，2021年正式放弃，美国加州干脆立法堵死后路，被告不准再用「是AI自己干的」来抗辩。

金杜律师事务所的律师，话说得更直接：

AI代理没有独立法律人格，不能被起诉、赔钱。给公司装一个AI代理，等于给自己添了一个永不下班的签字董事，你是授权人，也是唯一买单的人。

三条线，一个答案：锅，永远落回人头上。

绕了一圈，回到最初的问题：工号、权限、规矩、保险，能办的都办了，签字的位置，还空着。

还是那个调查，750个技术负责人里，85%的组织，没有为AI的行为指定过一个具名的责任人。

锅不会消失，它只在缝里滚，滚过账单、法庭，滚进保险单，早晚滚到某一个签字栏里。

数据来源：

[1].微软、Gartner、美团技术团队、加拿大BC省仲裁庭裁决书、经济观察报、猎聘、国家网信办，关键数字均经交叉核验