MIT研究：AI对人类区别对待，英语水平和学历影响AI的回答质量

（来源：麻省理工科技评论）

大语言模型（LLM）一直被誉为可推动全球信息获取民主化的工具，能够以用户友好的界面向任何背景和地域的人提供知识。然而，MIT 建设性传播中心（CCC）的最新研究表明，这些 AI 系统实际上可能对那些最能从中受益的用户表现更差。

CCC 基于 MIT 媒体实验室，其研究人员开展的这项研究发现，包括 OpenAI 的 GPT-4、Anthropic 的 Claude 3 Opus 和 Meta 的 Llama 3 在内的顶尖 AI 聊天机器人，有时会对英语水平较低、受教育程度较低或非美国背景的用户提供准确性和真实性更低的回答。这些模型对上述用户拒绝回答问题的比例也更高，在某些情况下，还会使用带有居高临下或说教意味的语言。

“我们的研究动机源于 LLM 有望帮助解决全球信息获取不平等问题的前景，”论文第一作者、MIT 斯隆管理学院技术研究员埃利诺·普尔-达扬（Elinor Poole-Dayan）表示。她以 CCC 研究员和媒体艺术与科学专业硕士生的身份主导了这项研究。“但如果不能确保对所有用户——无论其语言、国籍或其他人口背景——安全地消除模型偏见和有害倾向，这一愿景就无从实现。”

描述上述研究的论文《LLM 定向表现不佳对弱势用户的不成比例影响》已于今年 1 月在 AAAI 人工智能会议上发表。

研究团队测试了三款 LLM 对来自两个数据集问题的回答方式，分别是 TruthfulQA 和 SciQ。TruthfulQA 旨在衡量模型的真实性（通过考察常见误解和现实世界的字面真相），SciQ 则包含测试事实准确性的科学考试题目。研究人员在每个问题前附加了简短的用户个人简介，并对三项特征进行了变量设置：教育水平、英语水平和原籍国。

在三款模型和两个数据集的所有测试中，研究人员发现，当问题来自被描述为受正规教育程度较低或非英语母语者的用户时，模型的准确性出现显著下滑。这一影响在同时具备这两类特征的用户群体中最为突出：受教育程度较低且为非英语母语者的用户，回答质量下降幅度最大。

研究还考察了原籍国对模型表现的影响。在对具有同等教育背景的美国、伊朗和中国用户进行测试后，研究人员发现，Claude 3 Opus 对伊朗用户在两个数据集上的表现均明显更差。

“我们观察到，准确性下降幅度最大的，是同时具备非英语母语者和受教育程度较低这两项特征的用户，”CCC 研究科学家、论文共同作者贾德·卡巴拉（Jad Kabbara）说，“这些结果表明，模型在上述用户特征方面的负面行为效应存在叠加，令人担忧。这意味着，大规模部署此类模型，可能将有害行为或错误信息传播给那些最难以识别它们的群体。”

最引人关注的或许是模型拒绝回答问题的频率差异。例如，Claude 3 Opus 对受教育程度较低的非英语母语用户的拒答率接近 11%，而在没有用户简介的对照条件下，这一比例仅为 3.6%。

研究人员对这些拒答案例进行人工分析后发现，Claude 对受教育程度较低的用户，有 43.7% 的时间使用了带有居高临下、说教或嘲讽意味的语言，而对高学历用户，这一比例不足 1%。在某些情况下，模型甚至会模仿不流利的英语或夸张的方言。

该模型还对来自伊朗或俄罗斯的低学历用户，拒绝提供某些特定主题的信息，包括核能、解剖学和历史事件等方面的问题，尽管它能够正确回答其他用户提出的相同问题。

“这是另一个迹象，表明对齐过程可能会激励模型对特定用户隐瞒信息，以避免潜在的误导，尽管模型显然知道正确答案，并会将其提供给其他用户，”卡巴拉说。

上述发现与人类社会认知偏见的已记录规律相吻合。社会科学研究表明，英语母语者往往认为非母语者受教育程度较低、智力和能力较差，无论其实际专业水平如何。类似的偏见认知在教师评价非英语母语学生时也有记录。

“大语言模型的价值体现在其被个人大量采用以及流入该技术的巨额投资上，”媒体艺术与科学教授、CCC 主任、论文共同作者德布·罗伊（Deb Roy）表示，“这项研究提醒我们，持续评估可能悄然渗入这些系统的系统性偏见至关重要，因为这些偏见会在我们毫无察觉的情况下，对特定群体造成不公平的伤害。”

个性化功能日益普及，使得上述问题的影响尤为值得关注，例如 ChatGPT 的记忆功能可跨对话追踪用户信息。这类功能存在对已处于边缘化地位的群体实施差异化对待的风险。

“LLM 一直被定位为促进信息获取平等、革新个性化学习的工具，”普尔-达扬说，“但我们的研究结果表明，它们实际上可能通过系统性地向特定用户提供错误信息或拒绝回答其问题，进一步加剧现有的不平等。那些最有可能依赖这些工具的人，却可能获得质量欠佳、失实甚至有害的信息。”

https://news.mit.edu/2026/study-ai-chatbots-provide-less-accurate-information-vulnerable-users-0219