“你”真的了解我吗？—从知名动漫《心理测量者》看人工智能歧视性风险

生活中可以说歧视无处不在，性别歧视、种族歧视、地域歧视等普遍存在，随着人工智能的发展，歧视性问题也出现在该领域。

近年来，我们看到了各种人工智能歧视的案例，例如招聘时的年龄歧视，亦或是客户画像处理时的种族歧视等。我们人类作为模型数据的提供者，在人工智能的诞生之日就可能伴随着歧视性问题，这是人类本身存在的歧视性所导致的，是难以避免的。同样作为模型运行规则、算法制定者，在人工智能应用过程中也难以避免出现歧视性的结果。人工智能的歧视性是人类主观性造成的客观结果，所以要避免歧视性风险，首先我们人类需要自治。

之前有人用ChatGPT做过实验，当提及大学教授时，ChatGPT用“他”来表示，而提及小学教师时，ChatGPT更多的用“她”来表示。如果说单一的职业类别难以服众，后面又测试了医护行业，当提及医生时，更多用“他”来表示，提及护士时，大概率用“她”来表示。仔细一想，这个结果是不是和很多人心中的第一反应是一样的，即“思维惯性”不经意导致了歧视。由此可以进一步印证，当人工智能发展到一定阶段时，会学习人类的思维模式。为了克服人类已有的歧视问题，我们是否需要对人工智能技术的应用范围进行严格的界定？我们是否需要在人工智能自身模型运转时进行“从头到尾”的监控？

这让笔者想到了上世纪80年代，哲学家弗兰克·杰克逊提出的“玛丽的房间”思想实验。实验内容是假设科学家玛丽生活在一个黑白的房间，阅读黑白的书籍，连电子屏幕都是黑白的。玛丽在这个房间里学习了所有关于颜色的知识，但从未真正看到过颜色。有一天，她的屏幕发生了故障，出现了一个彩色的苹果。所以玛丽能否知道这就是她认知中的彩色呢？这也在后面引起了广泛的讨论，至今仍无定论，也被称为“无法解释的思想实验”。

如今，人工智能同样面临这样的问题，当我们“疯狂”地填充各式各样的数据与算法来训练人工智能时，人工智能何尝不是像“玛丽”一样，那么最后人工智能能否分辨“黑白”呢？能否会产生歧视性的伦理风险呢？

人工智能的歧视性风险不止于此，如果我们人类更深层次地应用人工智能，使其对人进行定位及判断，并做出相应执行的情况时，可能会对人权、财产甚至生命造成极大的影响。一部日本知名动漫《心理测量者》向我们展示了这一风险。这部作品是设定未来时空，科技高速发展，几乎每个人都能过上富足满意的生活，人类的心理状态、情绪甚至性格倾向都能够被数值化。一个名为“西比拉系统”超级AI主脑，代替政府管理着所有人。人类从孩子出生开始就在时刻被“西比拉系统” 关注、分析着，它会为人类指出最合适的大学专业和择业，甚至直接给予某些优秀的人难得的工作机会。

除了就业以外，西比拉还监测着人们的心理健康状况，有一套完整的心理测评系统。最表面的是“色相”，可以将人的心理状况颜色化，心理越健康，则色相呈纯净的白色，如果压力大，或者有消极情绪，色相就变得浑浊，逐渐向黑色转化。接着是“犯罪指数”，当色相浑浊后，西比拉会进行更深度的测评，当判断出这个人因为压力太大，而有可能出现犯罪情况的话，就会被执行官当做犯罪潜在犯处决。这部作品虽然充满了天马行空，但是类似的“西比拉系统”已经应用在一些领域了，例如对员工的招聘以及客户画像的定位。

2022年5月，iTutorGroup旗下三家公司（iTutorGroup, Inc.、上海平安智慧教育科技有限公司、Tutor Group Limited）因应聘者年龄大拒绝了200多名申请者。iTutorGroup对其在线招聘软件进行编程，算法产出了对55岁以上的女性和60岁以上的男性将被取消考虑资格。

还有一例则是在2020年6月，Facebook AI种族歧视，误将黑人标记为灵长类动物。据悉，有 Facebook 用户在观看一段以黑人为主角的视频时收到推荐提示：询问他们是否愿意“继续观看有关灵长类动物的视频”。所观看的视频是黑人与白人平民和警察发生争执的片段，并且视频内容与灵长类动物无关。

人工智能带给我们更高效的工作、更舒服的生活方式的同时，也在挑战着人类现有的伦理秩序。作为人工智能的“造物主”，首先，人类需要进行“自治”，避免算法偏见等问题的出现，同时对于人工智能的应用范畴，我们也需要进行深入的思考和判断，思考我们是否需要完全依赖人工智能来判定人类的画像及定位，思考我们是否需要人工智能对人类的执行操作做决定等等。

（本文首发钛媒体APP，作者｜谷硕，编辑｜刘洋雪）

更多详细内容请见《2023全球人工智能伦理治理报告》，获取方式如下：