Nat Human Behaviour 跨74 国结论 | 大语言模型模拟的偏好，能代替问卷吗？

● 认知神经科学前沿文献分享

论文信息：Simulated responses from large language models are weak proxies for human economic preferences across 74 countries

发表期刊：Nature Human Behaviour

大语言模型模拟的经济偏好，能代替跨国问卷吗？

让大语言模型扮演一位 35 岁的米国女性，问她愿不愿意为了拿到更多的钱再等一年，或者觉得陌生人值不值得信任，它答得出“米国人的样子”吗？

Fadong Chen, Qijun Wang, Lei Wang 和 Sudeep Bhatia 在 Nature Human Behaviour 上给出的答案是：答得出一部分。模型大致能说对性别、年龄和认知能力带来的差异方向，这类人口学梯度与真实数据一致的比例是 77.8%；换成国家之间的文化差异，一致率只有 48.1%，接近抛一枚硬币。把提示词里的国家标签去掉，结果几乎没变；去掉人口学信息，结果才变差。作者的结论是，AI 模拟答案目前还不能替代跨国问卷。

照着真实受访者造一批“虚拟人”

Fig. 1 | Study design. Following the GPS, we focused on six economic preferences: risk-taking, patience, negative reciprocity, positive reciprocity, altruism and trust.

参照物是 Global Preference Survey（GPS），一项测量风险偏好、耐心、正向互惠、负向互惠、利他和信任的跨国调查。本研究用到其中 67,201 名受访者，来自 74 个国家。研究者为每名受访者建一个条件相同的虚拟受访者（persona）：把年龄、性别、认知能力和国家写进系统提示词，让模型用受访者的调查语言回答同一份问卷。12 种模型配置各做一遍，再和真人答案逐层比较。

个人答案对不上，模型之间却很像

先看个体。模型答案与真人答案的相关多半为正，方向对得上；数值却差得远。偏好指数标准化后，模型与 GPS 的均方误差（MSE）平均为 1.827，模型预测只解释了真人偏好方差的 1.3%（个体层）和 4.2%（国家层）。

更有意思的是，模型彼此比和真人更像：个体层的跨模型 MSE 只有 1.377。作者认为，各模型即使共同偏离人类，输出也会趋于相似。换成更新的模型，也没有看到改善：检验没有发现 GPT-5.4 和 GPT-5.4-mini 优于较早的 OpenAI 模型。

Fig. 2 中，作者比较了个体层与国家层 LLM 与 GPS 偏好误差的 MSE 及 95% bootstrap 置信区间。

性别和年龄说得对，国家差异说不对

研究者接着问，GPS 里性别、年龄和认知能力带来的偏好差异，模型能不能复现。判断标准是：模型和人类数据在同一个梯度上给出同方向的显著差异，或者都没有显著差异。结果一致率为 77.8%，性别和认知能力都在 80% 以上，年龄低一些，为 66.7%。

Fig. 4 中，作者展示了六类偏好上 GPS 与 LLM 人口学梯度的 Cohen’s d 对照，以及两者是否一致。

这个成绩可能偏高。GPS 数据收集于 2012 年，题目可能已进入模型的训练数据，成功预测因此可能部分来自记忆。作者改写了题目，也做了英文-only 实验，都没有为这个假设找到统计上显著的支持。过去十年经济偏好的世代变化，则可能让研究低估当前群体的对齐程度。

文化层面的结果弱得多。研究者把 World Values Survey、Hofstede 和 Schwartz 三套文化维度，各按国家中位数分成高低两组，每个人沿用所在国家的分类，再看模型能否复现高低组之间的偏好差。一致率为 48.1%，低于人口学的 77.8%。一些被广泛研究的关系几乎没复现出来：Hofstede 的长期导向与耐心的关系，12 个模型里只有 3 个恢复。

Fig. 5 中，作者展示了六类偏好上 GPS 与 LLM 文化梯度的 Cohen’s d 对照，以及两者是否一致。

作者认为，一个国家名对文化的刻画可能太粗；研究没有试更丰富的文化描述、检索增强提示或显式文化校准，这些做法可能改变结果。另外，非英语题目由 Google Translate API 翻译，每个国家通常只模拟样本最多的一种语言，翻译和单语言设定也可能影响跨文化比较。

提示词里拿掉国家，几乎没有影响

为了看模型到底靠什么作答，研究者用 GPT-5.4-mini 把提示词里的信息逐项拿掉。只保留人口学信息时，个体层 MSE 为 1.835，和完整 persona 的 1.838 几乎一样；只保留国家信息，MSE 升到 1.961。国家标签加不加，差别只在小数点后第三位，人口学信息一拿掉，误差就上去了。这组消融主要用 GPT-5.4-mini 和单一的 persona 提示设计，其他模型和国家编码方式没有覆盖。

Fig. 7 中，作者展示了不同提示词消融条件下的个体层 MSE 与人口学效应量。

拿已发表的结果再试一遍

研究者还让模型去复现已发表研究报告的国家层关联，要求方向和显著性都与原研究一致。表现最好的模型在 35 条关联中复现了 16 条；这里沿用了原研究 10% 的显著性标准，按 5% 计则是 12/29。

偏差也有固定的方向。模型系统性高估女性的亲社会偏好，利他在 12 个模型中全部如此，信任在 11 个模型中如此，性别刻板印象更强的国家，错配更大。作者认为，输出不只受 persona 影响，也带着训练语料里各国的性别规范。另一个问题是回答太集中，LLM 的回答比 GPS 更同质。主分析把温度设为 0，这可能加重同质化；调到 1 只部分恢复了多样性，仍明显低于人类水平。

解读时要留意的地方

论文的结论是，LLM 模拟答案尚不是跨国代表性调查的可靠代理，不能据此直接替代政策评估中的人类调查。作者提出，LLM 或许可用于探索潜在动机、早期假设和研究设计诊断，这些用途仍需实证验证；后续可以用同步数字孪生面板区分记忆与真实推理。本研究的分析样本只是 GPS 原始样本的一部分，为 67,201 人、74 个国家，原始样本有 80,000 多人、76 个国家，结论不覆盖完整基准。

分享人：天天
审核：PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI：10.1038/s41562-026-02611-4

获取原文：

1. 三连后添加小助手：PSY-Brain-Frontier 获取

版权归属作者团队和出版社，本文仅做分享