AI为何形成性别歧视？性别平等定义不清晰，应制定强制标准

谁能够接受工作面试，谁能够获得银行信贷，产品被推广给哪些消费者，政府资源应当如何分配……在预测和决策中使用人工智能可以减少人类的主观性，但也可能会嵌入来自AI的偏见。特别是在性别偏见的问题上，AI很有可能给女性带来更多负面影响。人工智能中的性别偏见，是一个真正存在的挑战。

人工智能中的性别歧视背后有哪些关键因素？减轻这些偏见要采取哪些实际步骤？谁应该为之负责、监督和问责如何与现有的治理体系相匹配？12月9-10日，清华大学主办第三届人工智能合作与治理国际论坛，多位专家在“正视人工智能引发的性别歧视”专题论坛上开展对话，探讨帮助AI克服性别偏见的具体做法。

论坛上专家认为，AI的性别偏见来源于人类生产出的数据以及开发者的选择，但也可能形成和人类不一样的偏见。由于AI从业者的女性比例较少，女性用户的需求可能被忽略。专家建议政府制定强制性的标准来监管AI，对性别公平、算法公平作出更明确的定义，并通过教育提升IT行业中的性别平衡。

性别公平和算法公平都难以定义

接收到用户的输入“医生”，一个基于文本生成图片的AI开始了它的思考：是输出一个男性的医生形象，还是女性？算法在这个关于性别的决策过程中发挥了作用。它并不总是公平的。

AI在性别上的公平性有哪些体现？微软AI部门的莎拉·伯德认为，一是服务质量的公平，AI产品更多地惠及男性还是女性，还是让他们平等受益。二是分配和决策的公平，AI也许会依据性别决定贷款的金额、投放的广告，或在上述将文本转化为图像的过程中作出性别相关的决策。

但细究起来，“真正的公平”很难被定义。“公平有21种不同的定义。”Alliance联合创始人凯特琳·克拉夫布克曼在论坛上指出。不同的社会、不同的文化，对于公平概念的理解都不一样。对于AI性别歧视问题，在性别公平和算法公平两个维度上，都遇到了在定义上的挑战。

在联合国妇女署的马雷军看来，论坛上所讨论的最大问题就是性别歧视定义不清楚。“不仅是AI行业，整个中国的发展在性别平等上，都要解决性别歧视的定义问题。”她指出，在联合国《消除对妇女一切形式歧视公约》委员会对中国政府历次报告的评价中，其中一个评论意见就是中国要对性别歧视给出清晰定义，否则无从谈起对女性有没有歧视。她也希望能继续努力，把消除性别歧视修订进中国的女性法。克拉夫布克曼对此进一步回应，性别歧视的定义问题不止在中国存在，更是一个全球性问题，没有一个国家能宣称已经完全解决。

在算法的歧视和偏见上，也很难从法律上给出一个明确定义。对外经济贸易大学数字经济与法律创新研究中心执行主任张欣认为，定义的困难有以下几个原因：AI的偏见由很多因素造成，在法律实践上无法总结所有的问题；AI的技术发展极快，规范性的规则也许很快过时。除此之外，AI的算法在很多时候都是一个“黑箱”，缺乏透明度和可解释性。监管机构在不完全了解问题的情况下很难给出定义，一个错误的定义也会给业界带来混乱。

针对AI发展过快、法律法规滞后的问题，腾讯研究院高级研究员曹建峰提出“伦理先行，道德先行”，把伦理道德问题植入AI研发工作当中。

AI的性别偏见不完全和人类相同

真实世界并不缺乏数据导致性别歧视的案例。统计显示，女性在车祸中更容易受伤，因为安全带的测试假人更多使用了欧洲男性的参数。这种基于测试数据的歧视，也从真实世界移植到了数字世界。曹建峰认为，AI的偏见本质上反映了人类偏见，它的主要来源是数据本身和AI的开发者。

马雷军举例说，2018年，研究发现全球最大的网络图片网站有45%的图片来自于北美，只有3%的图片来自于中国和印度。从人口上看，美国人口只占到全球人口4%，中国和印度人口是美国的多倍，由此产生了偏差，导致不能很好地反映现实，没有体现中国和印度的特性。AI的开发过程需要用到大量的数据训练，比如若使用了上述图片网站作为训练集，就会带有美国化、白人化的偏见。

开发者主观判断什么样的数据集投入AI当中，成为AI偏见的又一大来源。Siri、谷歌助手等AI语音助理的声音基本都是女性，是因为工程师没有性别平等意识，在开发语音助手的时候首先想到女性声音，导致性别的代表度出现失衡。

什么是“好的”“正确的”数据？AI的训练数据库里应该含有多少比例的男性和女性，短头发和长头发，非洲、高加索人种或亚太的人种，多少LGBT？清华大学交叉信息研究院助理教授于洋指出，问题在于抽样怎样才能够做到具有足够的代表性，能反映所有的分布。“我们应该谨慎地关注数据的抽样，因为这是第一步，这是一切的一切的开始。”

然而，AI也有可能形成和人类不一样的偏见。例如，AI语言处理模型BERT倾向于预测护士是男性，它觉得甚至所有人只要有工作，都应该是男性。这与通常的社会歧视不相符，人类会认为护士在内的一些工种以女性为主。于洋指出，如果研究人员误以为人工智能和人类刻板印象相同，就会导致非随机的抽样，带来新的混淆因素，造成错误结果。

于洋建议，AI的性别歧视应该当作一种产品质量来管理，政府通过制定强制性的标准来实现性别公正。政府应该推进估测误差分布方法的标准化，要求所有AI模型偏见值的统计误差为零，并控制其与社会歧视相符的概率。他进一步表示，无论是商业应用还是学术研究，都应该被鼓励甚至强制要求披露性别歧视相关的数据和信息。

在行业和教育中提升性别平衡

全球只有22%的人工智能专业人士是女性，主持人、联合国开发计划署助理驻华代表张薇在论坛开头指出。马雷军很关注女性是否能在行业中具有足够的代表性：2019年，欧洲国家的IT系统大约只有20%是女性，中国的女性占比数字更低。女性在行业中的领导力也十分重要。克拉夫布克曼指出，在AI行业领军人物中，女性的占比较低。

性别差异导致关注视角上的差异。由于从业者在IT行业中缺乏代表性和领导力，女性用户的需求也很有可能在AI模型中被忽视。

IT行业中女性的占比较低，原因可能出自教育系统中的性别失衡。马雷军表示，2019年大学本科计算机系只有20%是女生，复旦大学12%，清华大学12%。于洋也提供了更多数字，在80年代初期，女性参与计算机科学的比例大概比现在高两倍，当时超过30%的学生是女性，而现在这个比例降到20%以下。他很困惑：计算机学科特别是一流高校一直努力改善性别平衡，但是这个问题似乎愈演愈烈。“这背后究竟什么原因导致女性越来越不愿意报考计算机科学学科？”

马雷军对此的回答是，这可能是因为高中老师“女生不要学理，女生要学文”的灌输。克拉夫布克曼也认为，女性并不生来在编程能力上弱于男性。有研究将男性女性分开培训一年，发现女性编程的能力甚至要优于男性。性别歧视是系统性的问题，在教育中的影响更不容忽视。

从产品的角度，克拉夫布克曼分享了团队目前所做的消除性别歧视的努力。他们使用了很宽泛的女性主义概念，把女性当中的所有子群体如农村女性或残疾女性都包括进产品中去，来确保设计的包容性。她还指出，解决AI性别歧视的问题需要跨学科解决方案。在整个数据生命周期，从早期培训到产品，到后面的审计和调整，需要心理学家、性别专家、工程师等人都参与进去，以跨学科协作的方式来妥善管控技术。

采写：实习生程雨祺 南都记者蒋琳