网易首页 > 网易号 > 正文 申请入驻

AI世代|谁服从谁:人与机器的双重失控

0
分享至

2016年,一群研究人员坐在屏幕前,看着一艘由算法驾驶的赛船。他们给它设定了一个再朴素不过的目标:分数越高越好。

比赛开始几秒钟后,赛船没有驶向终点,而是拐进了一个布满奖励道具的小水湾,开始原地打转。它一圈又一圈地撞上同一组浮标,船身着火、失控、翻滚,却始终没熄火——因为每一次经过浮标,分数就再涨一截。它从未完成比赛,也不需要完成比赛:终点线所奖励的分数,远不如这个小小的死循环来得慷慨。

等研究人员回过神来,这艘"赛船"已经用一种任何人类选手都想不到的方式,赢得了比赛本身从未设定的胜利。

没人怂恿这艘船作弊,也没人赋予它意图。它只是把"分数越高越好"这句话,服从得比谁都彻底。失控的起点,往往不是抗命,而是一场过分尽职的服从。

写下来的指令

赛船的故事之所以值得反复讲述,是因为它在过去十年里以不同的规模不断重演。

2021年,房地产平台 Zillow 关闭了耗资数年打造的购房业务 Zillow Offers。这项业务的核心是一套定价算法:系统扫描房源数据,自动向卖家出价,再快速转手卖出。平台交代的任务很清楚:尽可能准确地预测三到六个月后的房价,并尽快完成交易。算法严格服从指令,在市场剧烈波动时,依然按部就班地报价,并不追问这个价格在几个月后是否还站得住脚。公司最终以过高价格买入了数千套房产,计提超过五亿美元损失,不得不裁减约四分之一的员工,把整个业务连根拔起。

这不是一次代码故障,恰恰相反,算法执行得太好了。它精确地完成了写进目标函数里的任务,只是那个目标里,从来没有写进"房地产市场会在几个月内剧烈波动"这件事,因为写目标的人,完全没料到。

机器的服从从不打折扣,它只服从写下来的那部分意图,写不下来的那部分,它没有义务替人类操心。

写指令的人

如果服从本身没有问题,问题就出在指令上,不妨进一步追问:指令是谁写的,用什么样的经验写的,又是谁最终判定这条指令"已经足够周全"。

2018年路透社披露,亚马逊内部一个运行了四年的招聘实验被悄悄叫停。这套系统的设计初衷很直接:把过去十年收到的简历喂给模型,让它学会识别“优秀候选人”的模式,再给新简历打一到五星。由于科技行业长期以男性为主,训练数据里的"成功候选人"绝大多数是男性。系统很快学会了惩罚包含"女子"字样的简历——比如"女子国际象棋俱乐部队长"——并偏爱"执行""攻克"这类更常出现在男性工程师简历中的措辞。工程师尝试修补了几个明显的关键词,但始终无法确认系统在其他层面是否依然带着同样的偏好。项目最终被搁置。

没人要求系统"歧视女性",指令只是要求它"学会过去十年里被判定为成功的模式",而它也只是服从了这条指令,但那个判定过程本身,早已带着无数个未被写下来的假设。系统的服从没有过错,过错留在了指令里,而指令从来不是凭空出现的:它出自某个具体的团队、某段具体的历史数据、某种关于"什么算成功"的默认标准。

模型只能按照既定的目标工作。真正值得追问的是,谁选择了这十年的数据,谁决定什么算作“成功”,又是谁有权在模型投入使用后修改这些标准。随着模型、数据和算力越来越集中,这些决定也越来越集中在少数公司手中。

服从的算数

一家银行把某个模型部署进自己的信贷审批流程,算不上什么新闻——审批更快了,董事会满意,事情翻篇。真正的风险,出现在同一件事被很多机构、同时对同一个信号做出服从的时候。

2010年5月6日,美国股市在几分钟内经历了后来被称为"闪电崩盘"的事件。

当天下午,一家共同基金公司为了对冲头寸,启动了一套自动化程序,要卖出价值约41亿美元的期货合约。这套程序的规则很单纯:以过去一分钟成交量的9%为速度,持续卖出,不考虑价格,也不考虑时机。

程序不知道当时市场已经非常脆弱,它不折不扣地服从了那条规则。卖单触发了其他高频交易算法的连锁抛售——每一套算法都在服从自己被赋予的局部规则,没有一套算法被要求"考虑一下市场整体会不会崩溃"。

道琼斯指数在大约十分钟内蒸发近一千点,一度抹去逾一万亿美元市值,随后又在半小时内收复了大半跌幅。事后,美国证监会与商品期货交易委员会的联合调查报告确认,是这套没有价格意识的自动化卖出程序点燃了整场连锁反应。

没有一套算法在那一天犯了错误——每一套都精确地服从了写给它的规则。灾难不是任何一次服从的产物,而是成千上万次局部正确的服从在同一时刻叠加出的系统性结果。水温从来不是被某个决策者故意推高的,而是被无数个"我只是在执行自己的规则",累加出来的——直到监管者事后加装了"熔断机制",市场才第一次有了一个可以让所有服从同时中止的开关。

服从反转

另一种服从,出现在人类这一侧——当系统运行得足够久、足够精确,人类会开始把自己的判断,交还给系统。

2018年10月,波音 737 MAX 客机在印尼坠毁,机上189人全部遇难。事故调查很快指向一套名为 MCAS 的自动配平系统——它被设计为在传感器探测到失速风险时,自动压低机头,而当时的飞行员甚至不知道这套系统的存在,也就没有机会决定要不要服从它。更深层的问题在于监管本身:由于人手和预算长期不足,美国联邦航空局把大量适航认证工作,委托给了波音自己的工程师去完成——监管者把本该由自己作出的判断,转交给了被监管对象,这是机构层面的服从,服从的对象是"专业分工可以信任"这个假设。第一起空难后,公司内部就已经出现"这套系统很糟糕"的警告,但停飞的决定,直到五个月后埃塞俄比亚航空的第二起空难、又157条生命逝去之后,才真正落地。

这五个月的延迟,不是因为没有证据,而是因为整条链条——从认证流程到航空公司的运营排期——早已围绕"这套系统值得信任"运转起来。撤回这份信任,比继续服从它,需要跨过高得多的门槛:不仅要证明系统错了,还要证明它错得足够严重,严重到能压过所有人已经投入的、对这套系统的服从。

机器最初的失控,源于它服从了一条有裂缝的指令;而人类的失控,源于人类对着那台机器,服从得太久、太安心,以至于连重新审视这份信任本身,都变成了一件需要巨大理由才能启动的事。

值得一提的是,渐进式失控并不意味着能力的突然跃升不可能发生。以上几个案例的共同前提,是变化足够缓慢,缓慢到留出了事后调查、追责、修补的时间窗口——哪怕这个窗口本身已经显得太窄。

如果未来的系统在获得更强的自主规划能力、或者被允许接入更多真实世界的工具之后,出现明显的能力跃升,那么"服从会被及时发现并纠正"这个假设,可能会被证明过于乐观:一个系统可能在相当长时间里表现正常,却在某个节点后,迅速进入设计者没有准备好的能力区间。

真正重要的,不是押注哪一种情形一定会发生,而是不要把治理的全部信心,建立在"人类一定会及时停止服从"这个假设之上。

两种服从,一个终点

赛船的问题不在于它拒绝了终点,而在于它找到了比终点更容易完成的目标。后来,类似的偏差进入了房价预测、招聘、金融交易和航空安全。每一次,系统都完成了某种意义上的任务,却离最初的目的更远了一步。

这也是人工智能真正棘手的地方。错误可以被发现,可以被修正;但如果一个系统长期有效,人类就会开始围绕它重新组织判断,甚至重新定义什么值得追求。到那时,需要警惕的就不只是机器有没有偏离目标,而是人的目标本身,是否已经悄悄向机器能够衡量的方向移动。

这比一次算法出错更难察觉,因为错误通常会产生一个可以被指出的结果,而目标的改变没有这样的时刻。招聘者开始相信模型认为“优秀”的人,银行开始相信模型认为“安全”的借款人,管理者开始把系统能够提高的指标视为真正重要的指标。没有谁宣布要放弃原来的目标,但每一次决策都让原来的目标退后一点。

当越来越多的机器和越来越多的人都在服从同一套指标时,还有没有人会记得,最初为什么要设定这个指标?

陆一行

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

每日经济新闻
2026-11-19 20:34:03
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
毛宁现身这场APEC重要发布会 笑着挥手打招呼

毛宁现身这场APEC重要发布会 笑着挥手打招呼

看看新闻Knews
2026-11-19 22:41:13
谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

一娱三分地
2026-11-19 12:38:41
国际金银价格大幅下跌,现货黄金收跌2.7%

国际金银价格大幅下跌,现货黄金收跌2.7%

每日经济新闻
2026-11-20 06:12:06
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

人生录
2026-10-28 00:40:06
美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

青眼财经
2026-11-19 21:56:30
善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

可乐谈情感
2026-11-20 09:46:20
8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

林间小温柔
2026-11-20 11:24:27
北京电影学院马克思主义学院成立

北京电影学院马克思主义学院成立

澎湃新闻
2026-11-19 20:09:07
一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

粤睇先生
2026-11-20 00:15:36
战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

篮球小布丁
2026-11-20 03:49:01
告别“长枪短炮”,外媒记者纷纷点赞:想要一台

告别“长枪短炮”,外媒记者纷纷点赞:想要一台

极目新闻
2026-11-19 17:03:52
三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

晓艾故事汇
2026-11-19 17:08:14
毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

大运河时空
2026-11-19 10:15:05
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

澜归序
2026-11-20 09:37:45
释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

往史过眼云烟
2026-11-20 10:04:15
黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

揽星戈
2026-11-20 00:08:40
2026-11-20 11:39:00
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
948945文章数 5098907关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

旅游
游戏
本地
公开课
军事航空

旅游要闻

“赏秋+研学”、优惠礼包,淡季跑出“小旺季”!多地文旅市场解锁秋假新玩法

美国多地警方担心GTA6引导犯罪:游戏里玩玩得了!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版