OPeRA Dataset: 首次系统评估LLM的人类行为模拟能力

近年来，大语言模型（LLM）正在快速从「语言生成器」走向「行动者」。在越来越多的 agent 系统中，模型已经不仅仅是回答问题，而是开始执行任务：它会搜索、浏览网页、点击商品、比较选项，甚至在过程中给出一段看似合理的解释。很多时候，这些行为已经足够自然，以至于我们会产生一种直觉 —— 它们已经「很像人」。

但一个更关键的问题往往被忽略了：这些行为，真的接近人类吗？

换句话说，我们现在看到的，是一种「看起来合理」的行为；但它是否准确地反映了真实用户在相同情境下的决策，其实仍然是一个未知数。

为此，来自美国东北大学等机构的研究者提出了OPeRA（Observation, Persona, Rationale, Action）数据集。该数据集采集真实用户的 step-wise 在线购物行为，并首次支持对 LLM 在个体化行为预测任务中的能力进行系统评测。

• 论文：https://arxiv.org/pdf/2506.05606
• 数据：https://huggingface.co/datasets/NEU-HAI/OPeRA

Believable，并不等于 Accurate

随着越来越多工作尝试使用 LLM 来模拟人类行为，模型已经能够生成连贯且情境合理的多步决策过程。在许多场景中，这些行为在直觉上已经「足够像人」。

然而，现有研究大多停留在看起来「believable」的层面，但对于其与真实人类行为之间的偏差，仍缺乏系统性的量化分析。我们能够判断这些行为「看起来像」，却难以回答它们「到底有多像」。

这一问题的核心瓶颈并不在于建模能力，而在于评估基础的缺失。过去的大多数数据主要记录最终结果，例如用户是否完成任务或购买商品，但这类结果导向的信号无法反映决策是如何逐步产生的。真实的人类行为本质上是一个连续过程：用户在具体情境中，基于自身背景、当前环境以及历史交互，不断做出条件化的选择。如果缺少 step-wise 的行为轨迹，我们就无法判断模型是否在关键节点上做出了符合人类的决策。

与此同时，现有数据往往并非来自真实用户，而是由标注者构造或模型生成，这使得「像人」的行为缺乏真实分布作为参照。更进一步，即使具备完整的行为序列，如果缺少用户身份（persona）以及决策动机（rationale），行为本身仍然是不可判定的：同一情境下，不同个体可能做出不同选择；而相同的 action，也可能对应完全不同的决策原因。我们关心：在这个具体上下文中，这个具体的人，会不会这样做？

然而，由于缺乏同时包含行为过程、上下文信息、个体信息以及决策动机的高质量数据，这一问题长期以来难以被量化刻画。

OPeRA：让「人类行为」第一次可以被评估

基于上述思考，该工作提出了OPeRA（Observation, Persona, Rationale, Action）dataset，一个面向人类行为模拟的真实数据集及评测框架。OPeRA 选择在线购物（online shopping）作为研究场景，一方面，这一场景天然包含丰富的多步交互与决策过程（如搜索、筛选、对比与购买），能够充分体现人类行为的序列性与条件依赖；另一方面，其具有明确的目标驱动，同时又允许个体差异充分体现。

OPeRA 采用了基于浏览器插件的真实用户行为记录方式。研究者邀请参与者在日常在线购物过程中使用定制插件，自动记录其在网页中的交互行为，包括点击、搜索、页面跳转等操作，从而获取完整的 step-wise 行为轨迹。同时，在关键决策节点，系统会以轻量化的弹窗方式提示用户输入当前操作的原因，以实时的形式收集对应的 rationale，避免事后回忆带来的偏差。此外，研究者通过问卷与访谈收集用户的 persona 信息，包括人口统计特征、购物习惯与偏好等。

基于此，研究者从 51 名真实用户中收集了近 700 个购物 session。每一个 session 都是一个带时间戳的行为序列（time-stamped action sequence），用于刻画用户在连续交互过程中的逐步决策，累计记录了 28904 条行为数据。在每一步用户行为中，数据同时涵盖了用户的操作（action）和对应的页面信息（observation），包括网页内容、关键元素以及截图等；同时，还收集了用户在当下做出该操作的原因（rationale）。此外，数据中还包含用户的基本画像（persona），如人口统计信息和购物偏好。通过将 persona、observation、rationale 和 action 统一在同一条行为序列中，OPeRA 提供了一个更完整的人类决策过程表示。

基于 OPeRA 的人类行为模拟实验

为了研究 LLM 模拟人类行为的能力，作者基于 OPeRA 定义了一个「下一步行为预测」（Next Action Prediction）任务。具体来说，给定用户在当前购物 session 中的历史行为序列、对应的页面信息（observation）、已有的决策理由（rationale），以及用户画像（persona），模型需要预测用户在当前时刻的下一步操作。

基于上述任务，研究者对一些主流 LLM 进行了系统评测：

整体来看，当前模型在该任务上的表现仍然有限。以最优的 GPT-4.1 为例，其下一步行为预测的准确率仅在20% 左右，而其他模型普遍低于这一水平。尽管在更粗粒度的指标（如 action type 分类）上，模型可以达到约 40%–50% 的 F1，但在更细粒度的 click type 或具体 action 预测上，性能明显下降 。这表明，模型可以大致判断「要做什么类型的操作」，但难以精确预测「具体会点哪里、做什么」。

进一步分析发现，不同输入信息对模型表现的影响具有明显差异。首先，persona 的引入对性能提升并不稳定：虽然在 action type 等粗粒度任务上有所帮助，但对最终 action 预测准确率影响有限，甚至在部分情况下带来噪声。这说明当前模型尚无法有效利用 persona 信息进行细粒度决策建模。相比之下，rationale 对模型更为关键。移除历史 rationale 后，大多数模型在多个指标上均出现明显下降，尤其是在 session outcome 等高层决策任务上。这表明，rationale 作为中间决策信号，可以帮助模型更好地理解用户意图并进行推理。

从错误类型来看，模型的主要失败模式高度集中。超过 60% 的错误来自「点击了错误的按钮」，是最主要的错误来源 。这说明模型虽然能够判断「需要点击」，但难以准确定位具体交互目标。此外，模型在 input 和 terminate 行为上也存在明显问题。一方面，模型经常无法正确生成搜索输入（例如生成错误输入信息，或选择错误输入框）；另一方面，对于「终止行为」（terminate），模型普遍预测不足。尽管真实用户在部分情况下会放弃购物，但模型往往倾向于继续操作。这些现象揭示了一个重要偏差：当前 LLM 更倾向于「完成任务」，而不是「模拟真实人类」。

结语和未来展望

本文提出了 OPeRA 数据集，一个面向人类行为模拟的在线购物行为数据集。通过记录完整的购物轨迹，包括用户的操作序列、页面环境、个体画像以及显式的决策理由，OPeRA 为个体化的人类行为建模提供了一个可验证、可分析的数据基础。在此基础上，作者构建了一系列评测任务，并对多种主流 LLM 进行了系统评估。实验结果表明，当前模型在复杂决策过程建模以及个体化行为刻画方面仍存在明显不足。总体来看，OPeRA 不仅提供了一个更贴近真实场景的数据集，也揭示了当前 LLM 在人类行为模拟中的能力边界。与此同时，近期一系列工作从不同角度探索了改进方向：例如 Shop-R1 通过强化学习对「rationale–action」进行分阶段建模与分层奖励优化，See-Think-Act 框架引入多模态感知以统一「感知–推理–行动」流程，Customer-R1 强调个体化用户建模与行为对齐，而 Yuxuan 等人的研究则进一步凸显高质量行为数据与中间推理信号在提升模拟真实性中的关键作用。这些工作共同表明，结合强化学习、多模态信息与个体建模，是推动人类行为模拟能力提升的重要路径。未来，如何更好地建模长程决策过程、利用个体信息进行个性化推理，仍是值得进一步探索的重要方向。

作者介绍

本文由美国东北大学 Human-Centered AI Lab 团队联合南加州大学、石溪大学、俄亥俄州立大学、圣母大学及哥伦比亚大学等多家机构研究者合作完成。其中论文一作王子奕为东北大学计算机科学专业二年级博士生，师从王大阔副教授。本科及硕士毕业于清华大学。其研究方向主要聚焦于大语言模型（LLM）Agent，围绕 LLM 对人类行为的建模能力，以及 tool-calling agent 的数据构建与训练展开研究，致力于提升 Agent 在复杂真实场景中的行为一致性与决策能力。欢迎相关方向研究者交流探讨。