长文解读机器的崛起：人类越来越无法掌控它们

摘要：技术正开始以智能和不可预知的方式运作，连它的创造者都无法捉摸。正当机器越来越多地改变全球事件时，我们该如何重新控制它们呢？

《卫报》网站今日撰文详述了机器的崛起。技术正开始以智能和不可预知的方式运作，连它的创造者都无法捉摸。正当机器越来越多地改变全球事件时，我们该如何重新控制它们呢？

你卧室角落里的智能音箱突然狂笑起来，还把你的枕边细语录音发给了一个同事。你蹒跚学步的孩子在YouTube上看动画片《小猪佩奇》，却出乎意料地看到了血腥和死亡的画面。你用来和老同学保持联系的社交网络被发现会影响选举结果和被用来煽动政变。

我们的思维方式发生了奇怪的变化——因此，这个世界发生了更奇怪的事情。我们开始相信，一切都是可计算的，都可以通过新技术的应用加以解决。但这些技术并不是中立的促进者：它们体现了我们的政治倾向和偏见，它们超越了国家和法律管辖范围的界限，甚至越来越超出了它们的创造者的理解。因此，随着这些强大的技术对我们的日常生活有了更多的控制，我们变得越来越不理解这个世界。

在科学和社会中，在政治和教育中，在战争和商业中，新技术不仅增强了我们的能力，还在积极地塑造和指导它们，无论好坏。如果我们不了解复杂的技术是如何运作的，那么它们的潜力会更容易被自私的精英和公司利用。由此带来的结果会在我们周围随处可见。我们每天遇到的复杂且不透明的系统和不平等、暴力、民粹主义和原教旨主义的全球问题之间，存在着因果关系。

我们似乎进入了一个充斥着更加离奇和不可预见的事件的新黑暗时代，而不是一个技术进步会给世界带来希望和解放的乌托邦式未来。更广泛地传播更多信息的启蒙运动思想，并没有让我们促进人们的相互理解和世界和平，相反，它似乎在助长社会分裂、不信任、阴谋论和后真相政治。要理解正在发生的事情，有必要了解我们的技术是如何运作的，以及我们是如何变得对它们抱有如此大的信心的。

云是互联网的核心隐喻：一个强大的、近乎无法捉摸的全球系统。

在20世纪50年代，一个新的符号开始进入电气工程师绘制来描述其所构建的系统的图解当中：一个模糊的圆圈，或者说一个马勃菌，又或者一个思想泡泡。最终，它的形状变成了云的形状。

不管工程师在做什么，它都可以连接到这个云上，这就是你需要知道的。另一个云可能是一个电力系统，或者一个数据交换系统，又或者另一个计算机网络。无论是什么，都不重要。云是降低复杂性的一种方式，它可以让你专注于处理手头的问题。随着时间的推移，随着网络变得越来越大，越来越互联，云变得越来越重要。它变成了一个商业热词和一个卖点。它变得不只是一种工程符号了；它变成了一种隐喻。

如今，云是互联网的核心隐喻：一个拥有巨大力量和能量的全球系统，不过它仍保留着某种难以捉摸、几乎无法把握的东西的味道。我们在它里面工作；我们从它那里储存和取回东西；它是某种我们一直在接触，但却没有真正理解的东西。但这个隐喻有一个问题：云不是某个神奇而遥远的地方：由水蒸气和无线电波构成的，上面的一切都在有效运转。它是一种物理基础设施，包含电话线、光纤、卫星、海底电缆以及放满计算机的巨大仓库，这些仓库需要消耗大量的水和能源。

被云吸纳的是许多以前在公众领域很重要的建筑：我们购物、获取银行服务、社交、借书和投票的地方。因此，被遮蔽起来以后，它们变得不那么显眼，也不那么容易受到批评、调查和监管的影响。

谷歌位于美国爱荷华州的的一个数据中心

在过去的几十年里，世界各地的交易大厅都陷入了沉默，因为人们被大量自动交易的电脑所取代。数字化意味着，股票交易所内部和之间的交易会越来越快。当交易落入机器手中时，机器几乎可以立即对市场的情况做出反应。前物理学博士学生设计的高频交易(HFT)算法进入了市场，交易员给它们起了诸如“The Knife”的名字，因为它们可以利用毫秒级的时间优势。它们能够从每笔交易中赚得一分一毫，而且一天可以做到数百万次。

在这些大规模加速且不透明的市场中，发生了某种非常怪异的事情。2010年5月6日，道琼斯指数开盘低开，在接下来的几个小时里因为希腊债务危机的消息而缓慢下跌。但在下午2点42分，该指数开始迅速下跌。

在不到五分钟的时间里，该指数被抹去了600点。在最低点时，该指数比前一天的平均水平低了近1000点，几乎是其总价值的10%，也创下了市场历史上最大的单日跌幅。到下午3点07分，在短短25分钟内，它几乎收复了所有的600点，这是有史以来幅度最大且最快速的震荡。

在那25分钟的混乱中，价值560亿美元的20亿股股票易手。更令人担忧的是，许多订单是在证券交易委员会所谓的“非理性价格”下执行的：低至一美分，高至10万美元。这一事件被称为“闪电崩盘”，多年后仍处在调查和争论的旋涡中。

交易员可能会做长线，而机器面对不确定性则会选择尽快退出市场。

监管机构的一份报告发现，高频交易员加剧了价格波动。在众多的高频交易程序中，许多都有硬编码的卖出价位：被程序设定为立即卖出股票的价格。随着价格开始下跌，许多程序同时被触发卖出。随着一个个的价位被跳过，随后的价格下跌触发了另一套算法自动卖出他们的股票，从而产生了反馈效应。因此，价格下跌的速度超出了人类交易者的反应速度。经验丰富的市场参与者或许能够通过做长线来应对崩盘，稳定局面，而机器面对不确定性则会选择尽快退出市场。

其他的一些理论则指责这些算法引发了危机。从数据中识别出的一种手法是，高频交易程序向交易所发送大量“不可执行”的指令——即指令中买入或卖出股票的报价远远超出正常价格范围，因此它们会被忽视。这种指令的目的并不是为了真正传达信息或者赚钱，而是为了故意给系统制造混乱，以便在混乱中执行其他更有价值的交易。许多从未要打算执行的指令实际上已经被执行，从而导致了市场剧烈的波动。

闪电崩盘现在是采用新技术的市场的一个公认特征，但人们对它仍然非常缺乏了解。2016年10月，算法对有关英国退欧谈判的负面头条新闻做出反应，在不到两分钟的时间里，英镑兑美元汇率下跌了6%，随后却几乎立即出现反弹。知道哪个头条新闻或者哪个算法导致这起崩盘事故，几乎是不可能的。2012年10月，一个乱七八糟的算法开始下达和取消订单，导致美国股市有4%的交易流量被吞噬掉。对此，一位评论人士讽刺地说，“这个算法的动机还不清楚”。

2013年4月，美联社向其200万关注者发出了一条推文：“突发新闻：白宫发生两起爆炸，巴拉克·奥巴马(Barack Obama)受伤。”这条消息的发出是因为美联社账号被侵入，隶属于叙利亚总统巴沙尔·阿萨德(Bashar al-Assad)的叙利亚电子军(Syrian Electronic Army)后来声称为此负责。

美联社和其他的媒体记者很快就在网站上发出警告，称那条消息是假的。然而，面对传出的突发新闻，算法并没有这种鉴别能力。下午1点8分，道琼斯指数暴跌。在大多数人还没看到那条虚假推文之前，该指数在两分钟内就下跌了150点，而后又反弹至之前的水平。期间，该股票市场的市值一度蒸发了1360亿美元。

华硕Zenbo机器人。作为一款智能家居助手，Zenbo使用摄像头来防止撞到墙上，并使用扬声器和麦克风来响应用户的语音命令。

计算技术越来越多地被跨层级，越来越多地隐藏在我们日常生活中的物体当中，随着它的扩张，不透明性和不可预测性也会增加。三星在2015年推出的“智能冰箱”系列的一大卖点是，它们与谷歌的日历服务整合在一起，让用户可以直接在厨房里安排食品杂货配送。这也意味着，黑客如果能够访问当时并不够安全的机器，就可以读取用户的Gmail账号密码。

德国的研究人员发现了一种方法，可以将恶意代码嵌入飞利浦支持WiFi的Hue灯泡中，然后恶意代码可以从一个灯泡装置传播到另一个传播装置，扩散到整个建筑，甚至是整个城市，让灯泡快速打开和关闭——在一种可能的情况下——还会引发光敏癫痫。这是托马斯·品钦(Thomas Pynchon)著作《万有引力之虹》(Gravity’s Rainbow)里的灯泡Byron所青睐的方法，这是小机器对其创造者的暴政进行的一场大起义。曾经虚构的技术暴力的可能性正通过物联网实现。

在金·斯坦利·罗宾逊（Kim Stanley Robinson）的小说《极光》(Aurora) 中，一艘智能宇宙飞船将一群人类船员从地球运送到一个遥远的恒星。这趟旅程需要花费好几辈子的时间，所以飞船的工作之一就是确保人类照顾好自己。当他们的脆弱社会分崩离析，威胁到使命的执行的时候，飞船会通过部署安全系统来实施控制：它能够通过传感器看到任何的地方，能够随意打开或密封船上的门，能够通过其通讯设备大声说话来引起人的身体疼痛，还能够使用灭火系统来减少特定的空间内的氧气水平。

这大致类似于现在来自谷歌及其合作伙伴的设备套装的运作：针对家庭安全的网络摄像机网络，智能门锁，能够给单个房间调整温度的恒温器，会发出刺耳警报声的火和侵入者检测系统。这意味着，任何一个成功的黑客都能够拥有像随意控制船员的Aurora或者反抗可恶的主人的Byron一样的能力。

在驳斥来自科幻小说作家的狂想的这类场景之前，不妨再想想证券交易所中的那些流氓算法。这些并不是孤立事件，而是复杂系统中的日常事件。那么问题就变成了，在更广泛的现实中，流氓算法或闪电崩盘会是什么样呢？

比如，它会不会像恶意软件Mirai那样呢？2016年10月，Mirai使大片互联网瘫痪了几个小时。当研究人员深入研究Mirai时，他们发现它瞄准那些安全性不足的联网设备——从安全摄像头到数字录像机——然后把它们变成了一群机器人。在短短几周内，Mirai感染了50万台设备，它只需要感染一小部分的设备就可以使得重要的网络瘫痪数小时。

2008年，伊朗总统艾哈迈迪 · 内贾德（Mahmoud Ahmadinejad）在探访位于纳坦兹的核设施。

事实上，Mirai看起来完全不像Stuxnet，后者是2010年在水力发电厂和工厂装配线的工业控制系统中发现的另一个病毒。Stuxnet是一种军用级别的网络武器；在进行解包分析时，它被发现是专门针对西门子离心机的，当它遇到一个拥有特定数量的此类机器的设施时，它就会爆发。那个数字对应于一个特定的设施：在伊朗的纳坦兹核设施。一旦启动，该程序会悄悄降解离心机的关键部件，导致它们崩溃并破坏伊朗的铀浓缩计划。

该攻击显然取得了部分成功，但这种攻击对其他受感染设施的影响尚不可知。直到今天，尽管有明显的嫌疑，但没有人知道Stuxnet来自哪里，或者是谁制造的。也没有人知道是谁开发了Mirai，或者它的下一个版本可能来自哪里，但它现在有可能就在你办公室的闭路电视摄像头里，或者在放置于你厨房角落的支持WiFi的水壶里。

或者，也许攻击会是这样的：一系列大片电影变得迎合右翼阴谋和生存主义幻想，从准法西斯主义超级英雄(《美国队长》和蝙蝠侠系列)到酷刑和暗杀的辩护(《刺杀本·拉登》，《美国狙击手》)。在好莱坞，电影公司通过一个叫做Epagogix的公司的神经网络来运作它们的剧本。

Epagogix系统利用数以百万计的电影观众在过去几十年里形成的隐含偏好数据进行了训练，目的是预测什么样的台词会最能引起人们的共鸣——也就是最有利可图的。算法引擎借助来自Netflix、Hulu、YouTube和其他网站的数据得到强化，同时能够了解数百万视频观众的实时偏好，因此它们能够获得某种程度的认知洞察力，这是以往的机制完全无法实现的。通过直接滋养消费者的追剧欲望，那种网络本身就会变得兴奋起来：反思、加强和升高系统固有的偏执性。

游戏开发人员在A/B测试界面和对玩家行为的实时监控的指导下，进入无休止的游戏更新和应用内购买循环当中。他们对人类产生多巴胺的神经通路有着极为细致的把握，以至于严重上瘾的青少年昼夜不停地玩那些游戏，最终因为精疲力竭而死在电脑前。

或者，闪电崩盘也许看起来就像是一场网上人人都能看到的噩梦般的直播？2015年夏天，雅典一家医院的睡眠障碍诊所比以往任何时候都忙碌：希腊债务危机正处于最动荡的时期。患者当中不乏高级政府官员和公务员，但是那些在夜间监控他们的呼吸、移动甚至大声说出的梦话的机器，将那些信息以及他们的个人医疗信息发送回了设备制造商位于北欧的诊断数据中心。什么样的窃窃私语才会逃过这些这种设施的追踪呢？

用户被鼓励把手机放在床上，以便记录他们的睡眠模式。但这些数据都到哪里去了呢？

我们可以通过将技术附在身体表面来记录我们日常生活的方方面面，技术提供商让我们相信我们也可以像我们的设备一样进行优化和升级。智能手环和智能手机应用集成了步数计数器和皮肤感应监测器，它们不仅可以跟踪我们的位置，还可以跟踪我们的呼吸和心跳，甚至是我们的脑电波模式。

用户被鼓励晚上把手机放在床边，这样就可以记录他们的睡眠模式。所有的这些数据都跑到哪里了，谁拥有它，什么时候有可能会泄露出来？关于我们的梦、我们的夜惊和清晨的流汗（我们潜意识自我的本质）的数据，变成了进一步驱动冷酷无情和不可理解的系统的燃料。

或者，现实中的闪电崩盘也许看起来就像我们现在正在经历的一切东西：经济不平等日益加剧，全球监控增加，个人自由缩减，跨国公司和神经认知资本主义的胜利，极右翼组织和本土主义意识形态的崛起，自然环境的恶化……这些都不是新技术的直接结果，但所有这些都是因为普遍无法感知个体和公司行动更广泛的、网络化的影响所导致的，而那些行动正是由不透明的、技术增强的复杂体系促成的。

1997年，国际象棋世界冠军加里·卡斯帕罗夫(Garry Kasparov)在纽约与“深蓝”(Deep Blue)进行了第二次对决。深蓝是IBM专门设计的用来击败该大师级棋手的电脑。在输掉比赛以后，他声称深蓝的一些棋步非常聪明，富有创意，它们一定是人为干预的结果。但我们理解深蓝为何会作出那些棋步：它的决策过程说到底是一种暴力破解，其背后是一个由1.4万个定制设计的象棋芯片组成的大规模并行架构，每秒能够分析2亿个棋盘位置。卡斯帕罗夫并不是输在智力上，只是输在“火力”上而已。

国际象棋冠军加里 · 卡斯帕罗夫与IBM深蓝电脑(Deep Blue)对战。

到谷歌由Google Brain驱动的AlphaGo软件在2016年与韩国职业围棋选手李世石(Lee Sedol)较量时，发生了某种变化。在五局比赛的第二局中，AlphaGo下出了让李世石十分惊讶的一步棋：将一颗棋子放在棋盘的远端。“那步棋非常奇怪。”一位解说员说道。“我觉得这是一次失误。”另一位解说员说道。6个月前，经验丰富的围棋手樊麾成为了第一个输给这台机器的职业选手。在他看来，“人类是不会这么下的，我从来没见过有人这么做。”

AlphaGo后来赢得了那一局以及整个系列赛。AlphaGo的工程师训练该软件的方式是，给神经网络输入涵盖大师级围棋棋手数百万棋步的数据，然后让它不停地跟自己对战，开发出超越人类棋手的策略。但它展现出的那些策略是难以辨认的：我们可以看到它怎么下，但看不到它背后的决策过程。

已故的著名作家伊恩·班克斯（Iain Banks）将那个想出这些棋步的地方为“极乐空间”（Infinite Fun Space）。在班克斯的科幻小说中，他的文化文明是由仁慈的、超智能的人工智能(简称Mind)治理的。虽然Mind最初是由人类创造的，但它们早已重新设计和重构了自己，成为了无所不能的存在。在控制船只和行星的时候，在指挥战争和照顾数十亿人类的时候，Mind也有它们自己的乐趣。一些Mind有能力在其想象中模拟整个宇宙的运行，它们会永远地退回极乐空间——一个具有元数学的可能性的领域，只有超人的人工智能才能进入。

2016年，谷歌的三个网络开发了一种私密的加密形式。那些机器正在学习保守秘密。

我们很多人都熟悉谷歌翻译（Google Translate），它是在2006年推出的，使用了一种叫做统计语言推理的技术。该系统并没有去试图理解语言的实际机制，而是吸收了大量已有的翻译资料：以不同语言提供相同内容的平行文本。通过简单地将一种语言的字词映射到其它语言的字词，它免去了习得人类般的理解能力的需要，而是依靠由数据驱动的相关性。

谷歌翻译因其让人啼笑皆非的错误而众所周知，但在2016年，该系统开始使用Google Brain开发的神经网络，其能力呈指数级增长。该网络不是简单地交叉引用成堆的文本，而是构建自己的世界模型。这么做带来的结果不是单词之间的一组二维连接，而是一整个版图。在这个新的体系结构中，单词在一个含义网格中是根据它们与其它单词之间的距离进行编码的——该网格只有计算机才能理解。

虽然人类可以很容易地在“tank”（坦克）和“water”（水）之间划一条界线，但要在一张地图上画出“tank”和“revolution”（革命）之间的界限、“water”和“liquidity”（流动性）之间的界线以及从那些联系中产生的所有情绪和推断，一下子就变得不可能了。因此，这张地图是多维的，延伸的方向比人脑所能理解的要更多。。正如一位谷歌的工程师所说的那样，当一位记者索要一张这样的系统的图像时，他说：“我通常不喜欢尝试在三维空间中可视化千维向量。”这是机器学习系统理解语言含义时所在的看不见的空间。除此之外，对于我们无法想象的空间，我们也无法去理解。

同年，Google Brain的其他研究人员建立了三个网络，它们分别叫做爱丽丝（Alice）、鲍勃（Bob?）和伊芙（Eve）。他们的任务是学习如何加密信息。爱丽丝和鲍勃都知道一个数字——一个密码学术语中的密钥——而伊芙不知道。爱丽丝会对一串文本执行一些操作，然后将其发送给鲍勃和伊芙。如果鲍勃能解码该信息，爱丽丝的分数就会增加；但是如果伊芙能做到，爱丽丝的分数就会减分。

经过数千次的迭代，爱丽丝和鲍勃学会了在伊芙没有破解他们的密码的情况下进行通信：他们开发了一种私密的加密形式，它类似于现在用于私人邮件的加密工具。但关键的是，我们不了解这种加密是如何运作的。它的运行被网络的深层结构所阻断。伊芙不知道的东西，我们也不知道。那些机器正在学习保守秘密。

"我们不能不思考那种网络；我们只能把它彻底思考清楚，并在它里面思考。"

我们如何理解和思考我们在世界上的位置，以及我们与他人和机器之间的关系，最终将决定我们的技术将把我们带向什么地方。我们不能不思考那种网络；我们只能把它彻底思考清楚，并在它里面思考。那些影响和改变我们当前对现实的看法的技术不会消失，在许多情况下，我们也不应该希望它们消失。

在这个拥有75亿人口的星球上，我们目前的生命维持系统依赖于它们。理解那些系统以及我们在它们的设计中做出的有意识的选择，仍然完全在我们的能力范围内。我们不是无能为力。我们只需要思考，再思考，持续不断地思考。网络——我们、我们的机器以及我们一起思考和发现的东西——需要我们那么做。

作为工具，计算系统强调人类最强大的一面：我们在世界上有效行动，以及根据我们的欲望塑造世界的能力。但揭示和阐明那些欲望，并确保它们不会贬低、否定、抹去或消除他人的欲望，仍然是我们的特权。

在1997年被击败以后，卡斯帕罗夫并没有放弃比赛。一年后，他以一种新的形式回到了竞技场上：高级象棋，或者说半人马象棋。在高级国际象棋中，人类是与机器合作，而不是竞争。很快我们就明白这种模式带来了有趣的结果。即便是中等水平的国际象棋电脑，也能把大多数的大师打得一败涂地；而一个普通水平的棋手联手一台普通的电脑，就能打败最高级的超级计算机——这种结合不同思维方式的玩法，彻底改变了这项比赛。人机合作是否可行——将来又是否准许——仍有待观察，毕竟现在有各种各样的复杂机器和管理系统在开发当中，但相比模糊处理和一方统治，人类和机器共同理解和思考提供了一种更有希望的出路。

我们的技术是我们自身的延伸，被编码到了机器和基础设施当中，采用由知识和行动构成的框架。计算机的存在并不是为了给予我们所有问题的答案，而是为了让我们以新的方式向宇宙提出新的问题。