网易首页 > 网易号 > 正文 申请入驻

AI时代,我们需要的不是"人管AI",而是人与AI共同治理

0
分享至

过去几年,几乎所有关于 AI 安全的讨论,都建立在同一个默认前提之上:

AI 是被治理的对象,人是治理者。

由此衍生出一整套今天已经非常熟悉的制度语汇——Human-in-the-loop、人工审批、人工复核、人工兜底。"最终由人确认"被视为一种天然安全的结构,它出现在合规文件里,出现在产品设计里,也出现在几乎每一份 AI 治理白皮书的核心章节。

这个前提在 AI 只是辅助工具的时代是成立的。但当 AI Agent 开始持续运行、调用系统、分析海量信息、协调任务,甚至直接参与现实世界的执行,它正在遭遇一个越来越难以回避的事实:

人类未必还看得完整个过程。

于是,AI 时代真正需要讨论的问题,可能已经发生了位移。它不再只是"怎么让人管住 AI",而是另一种更根本的可能:

当 AI 已经成为判断和执行的一部分,我们是否应该开始建立一种人与 AI 共同参与、彼此约束的治理结构?

这里需要立刻澄清:这不是把权力交给 AI,也不是让 AI 与人类平起平坐。

恰恰相反,它指向一件更现实、也更古老的事——

如何避免任何一个主体拥有完整而不受约束的权力。

一、"人管 AI"是工具时代的思维,Agent 时代开始不够用了

在软件时代,系统通常等待人发出指令:人点击一个按钮,系统执行一个动作;人提交一张表单,后台完成一次流程。在这样的世界里,把人放在最后一道审批环节具有明确意义,因为执行速度、执行规模与人的认知速度大致处在同一个数量级上。

Agent 改变了这个数量级。

未来一个 AI Agent 可能在几分钟内读取数万个对象、调用几十个 API、修改大量系统状态、与其他 Agent 协作,并连续作出成百上千个局部决策。它不再是一次动作,而是一条持续展开的行为流。

这时,如果企业仍然坚持"每一步都由人确认",系统最终只会走向两个结果之一。

要么自动化失去意义——人重新成为整个流程的速度瓶颈,Agent 的价值被抵消殆尽。

要么所谓"人工确认"逐渐沦为形式——人看到一个看似完整的摘要,扫一眼,点击"Approve"。

第二种结果更值得警惕,因为它在制度上依然完好,在实质上已经空心化:

人仍然保留着确认权,却已经失去了理解整个执行过程的能力。

也就是说,"Human-in-the-loop"未必等于真正的人类控制。它可能只是保留了一个控制的形状。

当机器的行动速度超过人的理解速度,"最后由人确认"不等于"最后由人控制"。

这并不意味着人应该退出治理,而是意味着我们必须承认:人的治理能力同样存在天然边界。

人会疲劳,人不擅长持续分析几十万条状态变化,人也很难实时发现一个庞大系统中那些微小却危险的异常组合。当 AI 的运行规模已经超出人的实时认知能力,继续把"人工复核"当作唯一的安全答案,本身就可能是一种旧时代惯性。

AI 时代真正需要升级的,不只是模型能力,还有治理结构。

二、AI 不应该只是"被治理对象",也可以成为治理能力的一部分

我们很容易把 AI 想象成风险的来源:它会幻觉,会犯错,会被诱导,也可能被恶意利用。因此过去大量 AI 安全讨论都围绕同一个命题展开——怎么约束 AI。

这个命题当然重要,但它只讨论了 AI 的一半价值。

因为同一个 AI,也可以成为治理能力本身。

一个 AI 可以检查另一个 AI 的输出;一个模型可以在几十万条交易中识别异常模式;一个 Agent 可以持续核对权限变化、历史行为与当前状态之间是否一致。AI 还能够在极短时间内发现规则冲突、参数漂移、异常授权、上下文矛盾,以及那些人类根本没有注意到的风险组合。

AI 不只是新的生产力,也可能成为新的监督能力。

沿着这个方向,未来的企业治理很可能呈现为一种分层结构:一个 Agent 发起操作;另一个相互独立的模型判断该行为是否偏离历史模式;规则系统检查组织 Policy 是否被满足;人类只处理真正需要价值判断或需要承担重大责任的部分。

这与今天常见的"AI 做、人来查"已经不完全一样。差别在于,AI 本身开始承担一部分治理职能,而不只是被审查的对象。

这意味着我们需要改变一个长期存在的想象:AI 不是只能站在围栏里面,它也可以站在围栏的一部分位置上,帮助发现其他主体的错误——包括人的错误。

这一点尤其重要。因为很多关于 AI 治理的讨论都隐含着一个未经检验的前提:人类天然是可靠的治理者。

现实并非如此。人会误判,会疲劳,会被利益影响,会忽略信息,也会在压力之下作出错误决定。既然如此,AI 时代真正值得建立的结构就不应该只是"人监督 AI",而应该同时包括:AI 帮助监督人,人帮助监督 AI,不同 AI 相互检查。

于是问题本身发生了变化。过去我们问:

如何利用人限制 AI?

未来可能还应该问:

如何利用 AI 限制其他权力?
三、共同治理不是"人一票、AI一票",而是治理能力的分工

一旦提出"人与 AI 共同治理",最容易出现的误解,是把它理解成一种平权结构:未来某个委员会里,三个人坐一边,三个 AI 坐另一边,然后投票表决。

这恰恰不是共同治理真正有价值的地方。

真正重要的不是票数,而是能力分工与权力拆分。

AI 有它明显擅长的领域:高速处理海量证据,保持规则检查的一致性,长时间持续运行不衰减,在复杂数据中识别异常,同时比较大量历史状态。

人类同样有 AI 难以替代的部分:人负责价值目标,人定义哪些结果不可接受,人处理重大例外,人决定组织愿意承担什么样的风险,人最终承担法律、伦理与制度上的责任。

因此,合理的人机共同治理不应该去追求"谁和谁地位相等",而应该回答一个更具体的问题:

什么判断应该交给谁。

AI 可以判断一笔交易是否异常,但什么叫"不可接受的异常",应该由组织来定义。

AI 可以发现一名员工的行为突然偏离过去一年的模式,但这种偏离究竟意味着风险、岗位变化,还是一次合理例外,往往需要人来判断。

AI 可以持续验证规则是否被满足,但规则本身为什么如此设计,必须由人类制度承担责任。

由此,人机共同治理的真正结构应该是:

不同类型的判断,由最适合它的主体承担;任何一个主体,都不能独自完成从判断到现实执行的全过程。

这也是"共同治理"与"共同投票"之间最大的区别。共同治理并不是把完整权力复制给更多主体,而是把完整权力拆开。

当权力被拆成不同部分:有人定义目标,AI 发现异常,系统检查规则,人处理高风险例外,执行层在动作发生前重新确认最终条件——任何一个关键事实不成立,执行都不能继续。

这才是真正具有结构意义的共同治理。

四、真正需要警惕的,不是 AI 权力太大,而是任何一方权力太完整

今天谈 AI 治理,一个最常见的答案是:无论 AI 多聪明,最终决定权都必须在人手里。

这句话听起来足够安全,但只要继续追问,就会浮现出一个更深的问题:为什么"完整的最终权力"一定要掌握在某一个主体手里?

如果 AI 不应该成为 God,那么为什么 Owner 可以?为什么超级管理员可以?为什么 SaaS 平台可以?为什么某一个审批人可以?

很多系统表面上在限制 AI,实际上只是把所有权力重新集中到了另一个地方。一个企业管理员可以修改规则、增加成员、重置凭据、调整审批阈值、调用紧急权限——只要这一点成立,那么无论前面铺设了多少人工审批、多少 AI 风控,真正的最高权力仍然只有一个。

因此,AI 时代最值得反思的可能不是:

AI 是否拥有太多权力?

而是:

为什么我们的系统总是在寻找一个必须拥有完整最终权力的人?

成熟的治理结构应该同时防止两种极端:不能让 AI 拥有无限权力,也不能让人拥有无限权力。

AI 可能犯错,人同样可能犯错;AI 可能被诱导,人也可能被收买、误导或绕过流程;AI 可能被攻击,管理员账号同样可能失陷。这些风险在结构上是对称的,把赌注全部押在其中一侧,并不比押在另一侧更安全。

所以真正的安全,不应该建立在"最终相信谁"之上,而应该建立在:

任何一方都无法单独决定现实如何发生。

这是一种完全不同的安全哲学。它不再试图寻找最可信的那个主体,而是承认——再可信的主体,也应该有边界。

五、共同治理必须治理"谁有资格参与共同治理"

人与 AI 共同治理一旦真正进入企业,就会立刻遇到一个更难的问题:

哪个 AI 有资格参与治理?

假设一家企业让一个 Risk AI 参与高风险操作的审查。那么:谁决定它可以加入?谁可以把它替换成另一个模型?谁可以改变它的系统提示词?谁可以扩大它能看到的数据范围?谁可以修改它的否决规则?

如果这些问题的答案统统是"管理员",那么所谓人与 AI 共同治理,仍然只是一层表面结构。因为最高一级的权力并没有被拆开,它只是换了个位置。

这是许多"共同治理系统"长期存在却很少被讨论的漏洞:一个人不能单独完成最终业务操作,并不意味着这个人没有最终权力。只要他能够单方面决定以后谁有资格参与治理,权力依然是集中的。

因此,真正的人机共同治理必须再往前走一步:

不仅治理 AI 能做什么,也要治理"哪个 AI 有资格参与治理"。

这意味着:加入新的治理者,需要治理;删除治理者,需要治理;更换模型,需要治理;修改阈值,需要治理;改变 Policy,需要治理;启动 Recovery,需要治理;甚至改变"什么叫共同治理"这件事本身,也必须重新进入治理流程。

这可以称为一种治理的闭合性:共同治理不仅治理业务状态,还必须治理治理结构自身的状态变化。

否则最终仍然会出现一个站在治理之外的人——大家共同管理系统,但总有一个人在系统之外管理"大家"。那并不是真正的共同治理。

真正的共同治理,必须能够约束自身如何发生变化。
六、共同治理可以拆分权力,但不能稀释责任

把 AI 引入治理,还有一个必须提前讲清楚的问题:责任不能因此消失。

如果未来一家公司发生重大事故,不能最后得到这样一组荒谬的回答:人说,是 AI 建议的;AI 没有法律人格;平台说,是客户自己配置的;管理员说,是系统自动执行的。

所有人都参与了治理,却没有人承担责任。这不是共同治理,这是责任真空。

因此,人机共同治理必须同时建立两种结构:权力拆分,以及责任明确。

AI 可以参与判断,可以发现风险,可以拒绝某些动作,可以成为治理链上的独立检查者。但组织必须始终能够回答:谁定义目标,谁制定制度,谁批准重大结构变化,谁承担最终法律责任,谁处理例外,谁对错误结果负责。

共同治理不是为了让责任变得模糊。恰恰相反——当系统越来越复杂、参与主体越来越多时,责任边界反而需要被定义得更清楚。

可以拆分的是权力。不能消失的是责任。

共同治理可以让任何一方都无法独自决定结果,但不能让任何一方都不用为结果负责。

这可能也是人机共同治理最终必须坚守的一条底线。

AI 时代真正需要改变的,也许不是"谁压在谁上面":不是永远确保人站在 AI 上方,也不是等待某一天 AI 比人更会治理。

真正值得建立的是另一种结构——人类定义价值与责任,AI 提供持续判断与对抗性检查,系统把这些边界变成真正不能被任何一方单方绕过的规则。

过去我们讨论的是:如何让人控制 AI。

下一阶段真正重要的问题,可能会变成:如何让人、AI 与系统彼此约束,又共同完成治理。

因为一个真正成熟的 AI 社会,最终需要解决的从来不是谁拥有最高权力,而是:

我们能不能建立一种结构,让任何一个人、任何一个 AI、任何一个平台,都无法单独拥有完整而不受约束的最终权力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“再这样喝,6年级就得来姨妈”,家长炫耀女儿爱喝奶,过来人说出实情

“再这样喝,6年级就得来姨妈”,家长炫耀女儿爱喝奶,过来人说出实情

妍妍教育日记
2026-08-12 18:51:10
俄罗斯停产“匕首”?“火烈鸟”导弹五发两中,破坏俄版“星链”组网

俄罗斯停产“匕首”?“火烈鸟”导弹五发两中,破坏俄版“星链”组网

鹰眼Defence
2026-08-16 14:31:33
为什么体制内许多人不愿意出差了?网友:更难绷的是疗休养

为什么体制内许多人不愿意出差了?网友:更难绷的是疗休养

夜深爱杂谈
2026-08-12 22:13:28
烂片《牛来》将载入中国电影史册

烂片《牛来》将载入中国电影史册

名人苟或
2026-08-16 07:04:50
中印一旦公开宣战,战争规模会有多大?印专家:印度在10天内必败

中印一旦公开宣战,战争规模会有多大?印专家:印度在10天内必败

梁濆爱玩车
2026-08-14 19:11:41
知名综艺突发直播事故!误放画面流出

知名综艺突发直播事故!误放画面流出

南方都市报
2026-08-16 13:53:22
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
麻烦大了!仅24小时,郭德纲再迎3大噩耗,被立案调查仅"开胃菜"

麻烦大了!仅24小时,郭德纲再迎3大噩耗,被立案调查仅"开胃菜"

社会日日鲜
2026-08-14 07:00:02
刘晓庆私密聊天记录全网疯传,律师:转发的每个人可能都违法了

刘晓庆私密聊天记录全网疯传,律师:转发的每个人可能都违法了

蜉蝣说
2026-08-15 23:47:44
斯诺克决出第462冠!桑坎姆或加冕新王,塞尔比加入世界第1争夺战?

斯诺克决出第462冠!桑坎姆或加冕新王,塞尔比加入世界第1争夺战?

刘姚尧的文字城堡
2026-08-16 08:20:21
阿隆索主场首胜3-1皇家社会,恩佐遭嘘声与掌声

阿隆索主场首胜3-1皇家社会,恩佐遭嘘声与掌声

体育硬核说
2026-08-15 23:18:26
黄蜂不要天马行空,只要稳稳地幸福?

黄蜂不要天马行空,只要稳稳地幸福?

静易墨
2026-08-16 21:15:38
英媒曝光俄绝密文件:一旦俄与北约开战,普京先打中国的两个邻国

英媒曝光俄绝密文件:一旦俄与北约开战,普京先打中国的两个邻国

马贪在解说
2026-08-14 05:31:33
把一切归咎于以色列之前,先看看真主党对黎巴嫩做了什么

把一切归咎于以色列之前,先看看真主党对黎巴嫩做了什么

斌闻天下
2026-08-16 06:50:03
乌克兰或让第一个发射卫星的国家失去发射卫星能力

乌克兰或让第一个发射卫星的国家失去发射卫星能力

名人苟或
2026-08-16 19:42:54
《牛来》票房破50万!母子2人纯手搓5年,烂片背后竟是感人至深的母爱

《牛来》票房破50万!母子2人纯手搓5年,烂片背后竟是感人至深的母爱

露珠聊影视
2026-08-15 18:52:17
想不到!离婚15年的美国前夫,竟给54岁未再嫁的宁静留下一手好牌

想不到!离婚15年的美国前夫,竟给54岁未再嫁的宁静留下一手好牌

老塕是个手艺人
2026-08-16 09:25:41
2016年,钱永健孤身倒在美国街头离世,或许直到生命的最后一刻,他才理解伯父当年为什么一定要回去

2016年,钱永健孤身倒在美国街头离世,或许直到生命的最后一刻,他才理解伯父当年为什么一定要回去

人生录
2026-08-16 00:05:13
入秋后,少吃黄瓜西红柿,多吃这2元1斤的“菜王”清暑热、防秋燥

入秋后,少吃黄瓜西红柿,多吃这2元1斤的“菜王”清暑热、防秋燥

阿龙美食记
2026-08-14 21:26:15
江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

温情邮局
2025-07-09 14:39:26
2026-08-16 23:51:00
HavenlonLabs
HavenlonLabs
Havenlon|研究AI时代的执行安全与物理信任边界
44文章数 0关注度
往期回顾 全部

科技要闻

210亿美元,黄仁勋投了马斯克

头条要闻

如是书院被关停:22岁女生被打疯 大小便失禁生死不明

头条要闻

如是书院被关停:22岁女生被打疯 大小便失禁生死不明

体育要闻

因莫比莱:普通人的平凡故事

娱乐要闻

李小冉疑承认离婚 多次强调“一个人”

财经要闻

事关8万亿养老金!长周期考核落地中

汽车要闻

杨洋成001号车主 岚图追光S正式上市

态度原创

时尚
健康
房产
教育
公开课

不再执着于“孔乙己的长衫”?年青一代正在成为“新蓝领”

专家解答青少年脊柱侧弯七大问题

房产要闻

金茂、招商,海南多个岗位招人!

教育要闻

高考巧合背后:18 岁小伙4月4日出生,高考考444分,选择殡葬专业

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版