自动不平等：高科技如何锁定、管制和惩罚穷人

防走失，电梯直达

来源：群学书院

《自动不平等》译者序

文 | 李明倩

来源 | 《自动不平等》

美国印第安纳州在三年内拒绝了一百万民众的医保、食品券和现金福利补助申请——仅仅因为新试用的计算机资格认证系统将申请流程中出现的所有问题统统归为申请者“未予配合”。在洛杉矶，当地政府引入计算几十万无家可归者“弱势指数”的算法，以在住房资源有限的情况下，对需要救助的对象进行优先性排列。匹兹堡的一个儿童福利机构运用统计模型来预测哪些孩童可能会在日后受到虐待或忽视。这些听上去能高效快速解决社会问题、救助穷人的算法，经过纽约州立大学奥尔巴尼分校政治学副教授弗吉尼亚·尤班克斯在《自动不平等》一书的深入分析，却呈现出不同的样貌——事实上，它们为全美贫困和工人阶层家庭带来了巨大的风险。

标榜高效的自动化系统，并未实质上改善贫困家庭的处境，恰恰相反，嵌入偏见的高科技工具使政府在做出和民众生活息息相关的决定时，“名正言顺”地摆脱了道德障碍。令人更加后怕的是，尤班克斯在本书中揭露了伴随数据分析、统计模型与算法的监管网络，边缘人群正面临着更加严格的数字追踪、监控甚至惩罚，牢牢困在这张网中。

三个故事：“数字济贫院”的生活

弗吉尼亚·尤班克斯在《自动不平等》中，以三个深入调查访问的案例分析，系统地研究了数据挖掘、政策算法和预测风险模型对美国贫困和工人阶层的影响。

“济贫院”这个比喻源于19世纪美国政府为减轻缓解贫困问题而建造的实体济贫院。尤班克斯认为“现在我们正在建设一所数字济贫院”，一所无形的“锁定穷人、管制穷人甚至惩罚穷人”的机构，一旦他们求助政府获取公共援助或者寻求其他公共服务，就会被这所看似中立的数字济贫院“瞄准”。

印第安纳州试行的福利资格自动认证系统推行福利资格自动化运营制度，脆弱不堪的规则和设计不当的操作指标意味着一旦发生错误，往往会被解释成是申请人而不是州政府或承包商的错误。自动决策工具永不出错，这种假设意味着计算机化的决策优于旨在为申请人提供程序公正的人工程序。成百万人的福利申请遭到了拒绝。这其中包括出生时就是脑瘫儿、医疗费用寄希望于政府的小苏菲。因为当地家庭与社会服务管理局社工的失误，苏菲家被径直归为“未能配合”政府工作，而被拒绝给予福利的申请。贫困人士成了“天然的福利欺诈者”。

洛杉矶为无家可归者提供服务的机构希望高效地利用资源，更加有效地与各方合作，但是将选取受助对象的工作外包了出去。根据其设计者的说法，该市的协调入住系统旨在将亟需帮助的群体与合适的资源相匹配。然而，大批无家可归者的个人信息被录入无家可归者管理信息系统．生成了所谓的“弱势指数”。次贷危机中失去一切的加里·伯特莱特大叔流落街头，因为“弱势指数”不够高，他只能在无尽等待中消磨掉自。己的希望。包括他在内的无数无家可归者的信息也成了执法部门可以随意获取的数据。他们被当成了“天然的罪犯”。

阿勒格尼县的家庭筛查系统根据一个人以往的行为模式来推测他将来可能采取的行动。在新的预测方式下，你不仅会受到自己行为的影响，还会受到恋人、室友、亲戚和邻居行为的影响。预测模型和算法将穷人标记为“风险”和“问题父母”。大量社会服务、执法活动和社区监督结合在一起，使他们的一举一动变得清晰可见，贫困成了“天然的风险指标”。

贫困不容否认

《自动不平等》涉及的一个关键问题是算法对社会不同阶层，特别是贫困群体的影响。这是人工智能伦理和算法治理无可回避的问题。

算法应该怎样对待贫困？尤班克斯认为，这不仅仅是需要改变技术的问题。在美国，对贫困和工人阶层家庭的看法与态度也需要有更广泛的转变。她在书中写到，全美各地贫困民众面临主要几种困难，比如，领取福利救济时因为一些“无心之失”而成为了福利欺诈的调查对象，无家可归者艰难地寻求可供容身的庇护住所，以及被迫与子女分离、将儿童送到寄养机构。

社会学家斯坦利·科恩将美国公众对贫困的态度称为“文化否认”。文化否认是一种使我们得以了解残忍、歧视和压迫，但从不公开承认其存在的过程。这是我们如何知悉那些不愿知晓之物的方式。文化否认不是一种个体才有的人身或心理属性;它是一个由学校、政府、宗教、媒体和其他机构组织和支持的社会过程。当我们在喧闹的街口路过流浪汉或者乞讨者时，已经习惯了避免对视。“无动于衷和“视而不见”是因为我们默认对方的贫困是他个人的过错，是因为媒体已将穷人描绘成病态性地依赖社会的少数群体，是因为公共政策往往倾向于指责贫困，而不是纠正贫困造成的负面影响或消除贫困的根源，是因为穷人和贫困社区早被打上了毫无希望与价值的标签。

在美国，贫困还是一种可被塑造的政治筹码。右翼往往谴责穷人是寄生虫，主张减少资助；左翼则以家长姿态对穷人无力改变自己生活表示痛心，总是希望改造穷人。不管怎么样，数量庞大、花费高昂的公共服务机构被主要用来调查个人的痛苦际遇是否可能由其自身过错导致。这种片面的想法使得人们可能身处贫困，却试图对之轻描淡写或予以否认，小心翼翼地求助社会服务项目，将自己固化于社会底层。这种偏颇的观念使得包括精英阶层在内的普罗大众对穷人的遭遇冷漠以待，这种狭隘的认识使得旨在更加高效为有需要之人提供帮助的新技术被早早嵌入了对穷人的偏见和对贫困的否认。

更深层次限制我们视野的是将穷人与其他人相区分的叙述方式。直视贫困，承认贫困，聆听穷人的故事，建立理解贫困的同理心，改变我们对贫困的看法、言论和感受，虽然无法从根本上解决贫困问题，但至少不会令这场正在改变我们生活的数字革命在惩罚穷人的道路上越走越远。

算法治理:寻找效率背后的正义

自从所谓的数字时代来临，金融财政、就业、医保等诸多领域都在经历根本性的变革。今天，自动化系统控制着哪些社区可能会被重点管制，哪些家庭能够获得资源救助，哪些群体面临欺诈调查，美其名曰算法治理。它突出了以数字技术解决社会问题、以特定方式产生社会秩序的特点。算法科技被用以开展诸多政府项目，包括为无家可归者提供庇护场所、向生活困难者提供援助以及儿童福利项目等。很难想象末来社会大数据和人工智能会停滞不前。决策者们日益依赖于大数据分析，这本无可厚非，既可以提升效率，也可以节省资源。然而，算法的高科技面貌下，隐藏着重要的伦理道德问题。

本书的作者尤班克斯指出：“今天，我们基于数据库、算法和风险模型造了一个数字济贫院'，它的覆盖范围和恶劣影响很有可能超越任何以往的类似机构。”如果不重视算法中可能隐藏的偏见，如果不去规制算法可能产生的风险缺陷，致力于解决贫困问题的技术进步和效率提升可能只会模糊贫困与犯罪之间的界限，将穷人永远桎梏在这所“数字济贫院”中。