系统推荐“看人下菜碟”竟是因为AI的“歧视”.....

"浙里洞见"

ZJUSOM

很多人发现自己被“歧视”了！

男性用户和女性用户同时在同一个平台上搜索“粉红色”相关商品时，却显示出了不同价格；同一时间、同一个航班，不同用户却被给出了不同的票价；不同的人能够搜索和看到的短视频内容截然不同......

不少用户对于这类价格歧视、大数据杀熟、曝光偏差等问题非常不满。

然而，这样的“不公平”有时候并不是平台商家刻意为之，而是来自AI推荐算法模型的“歧视”。

平台AI系统中的算法模型会自动基于用户特征对其偏好做出判断，并针对不同用户给出差异化的推荐结果。

图片来源：©千库网

纠正算法偏差，在不损失AI精度的前提下合理实现AI的公平性，有利于提升用户体验、增加平台效益，是平台和企业关注并急需解决的难题。

如何消除AI系统的“歧视性”？

如何让AI系统实现准确、公正、安全？

如何让负责任的AI为各行各业创造更多价值？

在日前举行的“负责任的人工智能”（Responsible AI）研讨会上，浙江大学管理学院数据科学与管理工程学系特聘副研究员陈刚分享了自己的看法。

他以推荐场景为例，分析了AI算法产生歧视的原因，提出并阐述了“通过消解模型内在歧视性偏差从而实现准确性与公平性统一 ”的建模思想。

学者介绍

陈刚：浙江大学管理学院数据科学与管理工程学系特聘副研究员。

研究方向：多模态商业数据分析、深度学习、可解释人工智能

*以下整理自陈刚在研讨会上的分享

我们所聚焦的AI公平性旨在维护不同属性（如，性别、年龄、收入等）用户（群组）能够从AI模型中获得效用的平等性，而非追求AI智能决策结果的绝对公平性（即，平均主义）。

通俗理解，AI公平性是指对不同用户（群组）而言，AI决策能力的平等性，而非AI输出结果的平等性。

01

推荐系统中有哪些歧视性的现象？

推荐系统的歧视性偏差源于两类模型偏差，即信息接收偏差与建模偏差。前者是指模型在接收输入信息时产生的偏差，这种偏差可能来自于原始输入信息的非均衡分布，也可能来自于模型输入感受野的非均衡偏差；后者是指模型在进行信息建模时产生的偏差，这种偏差一般来自于模型有偏的建模操作或流程（如选择性偏差）。

这种模型偏差使得推荐系统在进行个性化推荐时表现出“歧视性”。该“歧视性”是AI模型性能优劣的体现，会直接影响用户使用AI系统的效用与体验。

#1

群组歧视

很多系统用户可能都遇到过这样的现象，比如自己预订酒店和朋友去预订酒店，同样的酒店同样的入住日期，会显示不同的价格，这叫价格歧视。

此外，很多平台用户在购买机票的时候，机票价格是实时波动的，同一机票对不同人群会显示不同的价格，这些都是推荐系统“群体性歧视”的表现。

#2

活跃度歧视

系统内不同用户有着截然不同的活跃度，这种差异本质上是由于不同活跃度用户留给系统可挖掘的历史信息量的不同。

高活跃度用户在与商品的历史交互过程中留下了非常丰富的浏览足迹，得以让平台能够精准挖掘其显示化与潜在的偏好，从而准确把脉用户未来的偏好。

相反，冷启动用户或者新用户因缺乏有效信息而无法让平台挖掘其偏好，所以他们所获得的推荐结果通常带有推测性质或者随机性质的揣测。这导致不同用户所获得的推荐体验存在很大差异，这类歧视是由活跃度偏差或者曝光偏差所导致的。

图片来源：©千库网

#3

偏好的同质化歧视

我们通过大量二手数据分析发现，在短视频平台有过主动搜索行为的用户其完播率更高，也就是说在给定同等偏好程度的信息（商品）时，推荐异质化的信息（商品）给具有多样化偏好的用户更能够提升其推荐效用。

相反，如果推荐同质化的短视频给偏好多样化程度较高的用户，虽然这些短视频或多或少都能触达用户兴趣点，但是很难被用户完全接受（完全播放），此时，用户往往在播放一半，有时候播放三分之一就跳过去了。

上述推荐系统的歧视源自推荐模型的三类偏差，即群组偏差、活跃度偏差、偏好同质化偏差。这些推荐偏差对应于推荐系统中完整信息流闭环的三个重要环节：信息抽取，偏好建模，个性化推荐。

图片来源：©千库网

02

如何有效破除信息茧房，

维护用户信息获取的公平性

上述推荐系统的歧视性偏差本质上损害了用户获取和接收有效信息的公平性。在推荐系统的作用下，用户（群组）会习惯性地被自己的兴趣所引导，从而将自己的生活桎梏于像蚕茧一般的“茧房”中，这就叫做信息茧房。

信息茧房是推荐模型“误解”用户信息偏好的结果，消解模型多阶段、全链路的歧视性偏差，打造满足“准确性与公平性相统一”原则的闭环推荐生态，能够有效消除模型对用户偏好的误会，将用户从信息茧房中解放出来，从而实现用户获取有效信息的公平性。

1

用户/商品信息（特征）抽取

首先，我们要对用户和商品的信息做抽取或者特定构建，从而解决第一个环节中的群组偏差问题。例如，“粉红税”或者“粉红歧视”，在同款同质的商品，男性跟女性去搜索得到的价格展示完全不一样。

在模型训练时，训练样本在性别维度上存在非均衡偏差，因而性别用户受到推荐模型的歧视。因此，需要消除性别属性维度上的信息非均衡偏差，确保模型接收均匀、均衡的有效信息。

2

偏好建模

其次，模型对历史用户和商品之间的交互关系做建模，从而挖掘用户对商品的偏好，我们叫做偏好的表征。

在这一环节中，我们关注的核心是活跃度偏差。本质上是大家入驻平台的时间长短或者活跃量的差异，表现为商品和用户这两组对象的历史“交互”关系的密集性或稀疏性。

这里交互的强度有高有低，交互数量有多有少，这就是偏好交互的非均衡分布。有研究发现高强度交互和低强度交互会导致推荐系统获得截然不同的推荐准确率。

3

基于偏好表征的推荐

最后，模型基于这样的偏好表征对未来的偏好做一个推断，也就是推荐列表的生成逻辑。推荐结果决定了用户下一阶段的选择范围，用户选择行为又形成新的用户-商品交互关系，用于用户偏好的进一步挖掘和推荐。

这一环节需要解决的就是推荐信息的同质化问题。个性化推荐是将用户锚定在某个特定信息域内，以减缓其面临的信息过载问题，追求所推荐的商品能够精准命中用户偏好。推荐系统本身就是要把你锚定在某一个信息圈里面，这本身就是一个茧房。

而信息茧房破除致力于将用户从某个固定的信息域内解放出来、扩大信息圈，追求向用户推荐相对多样化的商品。显然，个性化推荐与信息茧房破除是两个互逆的过程。从这个意义上理解，信息茧房是无法被根除的，但如果能够有效挖掘用户个性化的偏好域，信息茧房问题就可以有条件、个性化地得以解决。

在模型的推荐阶段，有些专一用户在某一时期更喜欢同质化的商品，但是面临过度多样化的推荐；相反，有些用户在某一时期偏好多样化的商品，但是面临过度单一化的推荐。上述偏差即为推荐的同质化偏差。在该偏差的作用下，用户多样化的偏好受到了模型同质化推荐的歧视。

图片来源：©千库网

上面提到，信息茧房虽然不能被根除，但是可以被有条件地破除——当我们把用户个性化的偏好域引入后，就可以实现。

例如，我们采用最基本的二分法对用户进行分类，一类是偏向于多样化偏好的用户，这类用户通常会采用主动搜索等策略获取其目标偏好信息，所面临的信息茧房在推荐系统的作用下收敛速度较慢。另外一类是偏好相对同质化的用户，对这类用户而言，他们被动接收推荐信息，信息茧房收敛速度相对较快。

当引入这两类（同质化偏好与异质化偏好）用户不同的偏好域后，我们就可以有选择地给推荐系统注入多样性，使推荐结果的多样性与用户偏好域的多样性相适应。比如，为偏好同质型用户的推荐注入较少的多样性，为偏好异质型用户的推荐注入更多的多样性。

值得注意的是，这里的多样性注入不应该以损失推荐系统原有的准确率为前提。我们提出一个核心的建模思想，在推荐准确率公平的前提下，追求推荐多样性的平等。

举个简单的例子，推荐模型的准确率对两组用户而言都达到了90%，在这90%的推荐准确率前提下，模型给A组用户推荐三种商品就能满足其90%的效用，而给B组用户推荐10种商品才能满足其90%的效用。这里面推荐商品的多样性要与用户偏好域的宽度相适应，对于不同用户而言，其偏好域中推荐密度要实现均衡。

03

如何消解模型内在的歧视性偏差？

现有研究采用公平性目标约束、对抗训练、强化学习等方法实现公平性推荐，不可否认的是这些方法对于维护推荐公平性是有一定效果的，但同时它们也面临一些挑战。例如，对抗学习方法，用生成器生成不同的用户表征，尤其是敏感信息的表征，同时用判别器判别能不能从生成的表征里面推断出敏感信息来。通过这样一种博弈的方式，生成所谓“公平性”。上述对抗网络是一个“黑箱”，其难以解释公平性表征产生的原因，模型的歧视性偏差何以消解，以及这样的做法对原有推荐准确率是否会造成损失。

对于公平性目标约束而言，其面临着与准确性目标协同的难题。模型的优化总量是一定的，原来只用于所有模型优化精力去优化准确目标的时候，模型的准确率一定是最优的，现在要分一部分精力给到公平性目标，就分散了优化准确率的精力。所以从这个意义上讲，公平性的约束损害了准确性，这也是用户不希望看到的。

图片来源：©千库网

这里所提出和倡导的“准确性与公平性统一”原则不是简单的多目标协同，而是通过消解模型内在的歧视性偏差，同时实现准确性的提升与公平性的维护。

在这一原则的指导下，公平性建模不需要显示化地设立公平性学习目标，而需要从模型内在入手，识别并消解模型的歧视性偏差，确保其决策结果准确、公平、可靠。

图片来源：©千库网

首先，保留敏感特征，通过样本加权在高维特征空间重构特征，去除特征相关性，同时补偿特征重构损失；通过样本加权确保模型对特征信息提取/选用的均匀性。我们关注到近期的一些研究采用隔离敏感特征的办法来维护AI模型在不同用户（群组）之间的公平性。

需要指出的是，敏感用户属性本身没有错，作为特征而言，其对模型效果的提升而言是有价值、有意义的，问题在于模型是否能够合理无偏地提取并利用敏感属性信息。基于这样一种思考，我们创新性地提出“在保留敏感属性前提下进行AI公平性建模”的建模思想。

其次，通过“曝光推断→选择推断→偏好推断”的系统流程，推断冷启动用户对未知商品潜在的选择与偏好行为，确保模型视野下不同活跃度用户的选择/偏好记录的均匀性。

最后，构建用户对商品信息的个性化偏好域，在满足推荐准确率的同时，确保用户能够获得与其偏好域相适应的多样性，即偏好密度的公平。

“浙里洞见”系列专题

Vol.26

Vol.24 ！

Vol.20

Vol.19

Vol.18

Vol.17

Vol.11

Vol.8

Vol.7 郭斌：为何那些根基深的行业龙头反而倒下了？

编辑：王婧莼

审核：佟庆、陈刚