ConvApparel：量化并弥合用户模拟器的真实性差距

我们推出了ConvApparel——一个全新的人机对话数据集，以及一套用于量化大语言模型用户模拟器"真实性差距"的综合评估框架，旨在提升对话智能体的训练效果。

现代对话式AI智能体通常能够处理复杂的多轮任务，例如主动提问以澄清用户意图，以及为用户提供主动帮助。然而，面对较长的交互过程，这类系统往往表现不佳，容易忽略限制条件或给出无关紧要的回复。持续改进这些系统需要不断训练和反馈，但依赖真人测试这一"黄金标准"成本高昂、耗时较长，且难以大规模推广。

作为一种可扩展的替代方案，AI研究社区越来越多地转向用户模拟器——即明确指示其扮演人类用户角色的大语言模型智能体。然而，现代基于大语言模型的模拟器仍然存在明显的真实性差距：它们往往表现出异常的耐心，或具备不符合实际的、近乎百科全书式的领域知识。这就好比飞行员使用飞行模拟器训练：最好的模拟器应尽可能真实，包含不可预测的天气、突如其来的阵风，甚至偶尔发生的鸟击事故。要弥合大语言模型用户模拟器的真实性差距，首先需要将其量化。

在我们近期发布的论文中，我们介绍了ConvApparel——一个专为此目标设计的人机对话新数据集。ConvApparel能够揭示当前用户模拟中隐藏的缺陷，并为构建值得信赖的AI测试工具提供可行路径。为了捕捉从满意到极度不满的完整人类行为谱系，我们采用了一种独特的双智能体数据收集协议：参与者被随机分配至一个乐于助人的"好"智能体，或一个故意表现不佳的"坏"智能体。这一实验设置结合了三支柱验证策略——群体级统计、人类相似度评分以及反事实验证——使我们能够超越简单的表层模仿。

基于大语言模型的用户模拟器往往表现出与真实人类交互系统性偏差的行为，例如过度冗长、缺乏一致的角色设定、无法表达连贯的偏好、知识储备不切实际，以及缺乏合理的耐心底线。由于大多数大语言模型在训练时的目标是成为出色的助手，因此当它们被要求扮演容易沮丧、并非完美的人类用户时，表现不佳也就不足为奇。如果我们仅用这些不真实的模拟器来训练对话智能体，那么它们在面对真实用户时极有可能失败。

利用真实用户行为来训练模拟器是一种有效的方法。然而，一个真正真实的模拟器不仅应反映训练数据中的行为，还应能对未见过的新情境（例如新的对话智能体策略）做出合理反应。这一点至关重要，因为模拟器的主要目标之一是帮助改进智能体，其中通常包括对与训练数据差异显著的新智能体进行实验。一个过度拟合训练数据的模拟器，对于测试全新的、未经验证的AI智能体毫无用处。这引出了一个关键的方法论挑战：我们如何测试模拟器的适应能力？

为解决这一问题，我们引入了反事实验证的概念：如果模拟用户遇到一个令人沮丧的系统——与它在训练中接触过的那些友好系统截然不同——它会作何反应？通过评估模拟器在面对意外出现的"坏"对话智能体时的表现，我们可以判断它们是否真正学会了合理的人类行为，还是只是在盲目重复训练模式。

反事实验证旨在测试用户模拟器面对分布外的助手行为时，能否做出真实的适应性反应。

对话推荐系统（CRS）是对话式AI智能体最具前景的应用场景之一，在这类系统中，AI智能体充当复杂的决策支持工具，能够进行深度推理并提供个性化指导。为了建立CRS中人类行为的基准，并实现上述反事实验证，我们构建了ConvApparel数据集——该数据集包含4000余条人机多轮对话（共计近15000轮），聚焦于服装购物领域。

ConvApparel的独特之处在于其双智能体数据收集协议。参与者并不知情，他们的购物请求被随机分配至两种截然不同的AI推荐系统之一：一个表现良好的"好"智能体和一个故意设计为表现不佳的"坏"智能体。这一双智能体实验设计是ConvApparel的核心特色，它提供了两种不同的受控环境，捕捉了从愉悦到极度不满的广泛用户体验。此外，ConvApparel还包含细粒度的逐轮标注。我们要求参与者在每轮对话结束后，回顾并报告自己的内心状态，包括满意度、沮丧感和购买意愿，从而提供了一份罕见的第一人称用户体验真值数据集，为验证实验设置和模拟行为提供了重要依据。

基于这一丰富数据集，我们建立了一套由三大支柱构成的综合数据驱动框架，用于评估模拟器的逼真度，并对三种模拟器进行了比较：提示式模拟器（Prompted）、上下文学习模拟器（ICL）以及监督微调模拟器（SFT）。

群体级统计对齐：将真实用户与模拟交互在总体行为分布（如话语长度）上进行比较。

人类相似度评分：为捕捉细微的风格差异，我们训练了一个自动判别器，基于人类与模拟对话的混合数据，输出一个反映对话"人类感"的单一概率评分。

人类相似度评分（HLS）利用训练好的判别器，检测真实对话与合成对话之间细微的风格差异。

反事实验证：利用双智能体数据，我们仅基于与"好"智能体的对话来训练模拟器，再让其与未见过的"坏"智能体进行交互。高逼真度的模拟器应能自然地做出调整，在沮丧感上呈现出与真实人类相似的显著上升，以及满意度的明显下降。

ConvApparel框架将双智能体数据收集协议与三支柱验证策略相结合，有效衡量模拟器的真实性。

我们将三支柱评估框架应用于三种基于Gemini模型系列构建的大语言模型用户模拟器：一是提示式模拟器，仅依赖高层次行为指令，无需专项训练；二是上下文学习（ICL）模拟器，利用检索增强生成技术，在每一轮交互中为模型提供来自ConvApparel的语义相似人类对话示例；三是监督微调（SFT）模拟器，通过直接在ConvApparel人机对话记录上对Gemini 2.5 Flash模型进行微调，使其行为与目标人群高度对齐。

每种模拟器各生成600条对话，其中300条与"好"智能体交互，300条与"坏"智能体交互，以便与人类基准进行对比。

为保障研究的伦理完整性，我们对所有参与者保持完全透明，并给予公平报酬。评估人员均为签署了知情同意书的付费承包商，所获薪酬高于其所在国家的生活工资标准。此外，我们明确要求参与者以真实购买意愿使用推荐系统，并告知所有参与者，他们正在与一个仍处于开发阶段的实验性原型进行交互，并特别说明该系统可能存在表现欠佳的情况。

我们的实验得出了若干重要发现：

在人类相似度评分方面，经过训练的判别器能够以极高的置信度将几乎所有模拟对话识别为合成内容。即便是我们最优秀的SFT模型，仍会产生细微的人工痕迹——例如无懈可击的语法和过于规律的轮次切换——从而暴露出其"合成"本质。

在群体级测试中，数据驱动型模拟器（ICL和SFT）的表现始终优于简单的提示式基线，在话语长度和推荐接受率等行为分布上与人类高度吻合；然而，严格的统计检验显示，即便是这些较优的模拟器，仍存在持续的真实性差距。

在与令人沮丧的"坏"智能体交互时，提示式基线基本无法适应，行为依然异常礼貌和耐心。而数据驱动型的ICL和SFT模拟器则表现出了出色的分布外泛化能力。尽管从未在训练数据中见过"坏"智能体，它们仍能真实地调整自身行为，表现出明显更高的模拟沮丧感与拒绝倾向。

构建可靠的用户模拟器是开发下一代健壮、有益且高效对话AI的基础性工作。我们的研究表明，尽管基于大语言模型的用户模拟器前景广阔，但盲目依赖它们存在重大风险。"真实性差距"依然存在，若将AI智能体优化为仅取悦于不真实的模拟器，可能会损害其在真实世界中的实际表现。

通过引入ConvApparel数据集和三支柱验证框架，我们为研究社区提供了严格衡量并最终弥合这一差距所需的工具。反事实验证证明，我们必须超越表层模仿，确保模拟器能够真实地适应新颖的对话动态。我们诚邀研究人员和开发者探索ConvApparel数据集，并利用我们的框架，为对话AI的未来构建可靠的合成用户。

尽管我们的实验表明数据驱动型模拟器远优于提示式模拟器，但创建高度真实的人工用户仍是一项尚未完全解决的挑战。我们的框架能够有效衡量真实性差距，但要确定训练出健壮对话智能体所需的精确逼真度阈值，目前仍是一个开放性问题。

未来的工作应聚焦于利用这些高逼真度模拟器从零开始训练和优化CRS智能体，并衡量其在真实世界中的最终表现。打通这一完整闭环，将使我们最终能够量化构建有效、用户就绪的AI系统所需的"人类相似度"程度。

本研究由以下合著者共同完成：Krisztian Balog、Avi Caciularu、Guy Tennenholtz、Jihwan Jeong、Amir Globerson 和 Craig Boutilier。

Q&A

Q1：ConvApparel数据集是什么，有什么特别之处？

A：ConvApparel是一个包含4000余条人机多轮对话（近15000轮）的服装购物领域数据集。其最大特色是采用双智能体数据收集协议：参与者在不知情的情况下，被随机分配与"好"智能体或"坏"智能体交互，从而捕捉从满意到极度不满的完整用户行为谱系，并配有逐轮的满意度、沮丧感等细粒度标注。

Q2：什么是用户模拟器的"真实性差距"，为什么重要？

A：真实性差距指的是大语言模型用户模拟器的行为与真实人类用户之间的系统性偏差，例如过度冗长、异常耐心、知识储备不切实际等。如果用不真实的模拟器来训练对话AI智能体，该智能体在面对真实用户时可能表现不佳，因此量化并弥合这一差距对提升AI实际应用效果至关重要。

Q3：反事实验证是什么，如何检验模拟器质量？

A：反事实验证是一种评估方法，让仅在"好"智能体对话上训练的模拟器去与从未见过的"坏"智能体交互，测试其能否真实地表现出沮丧感上升和满意度下降。若模拟器能做出与真实人类相似的适应性反应，说明它真正学会了人类行为，而非仅仅记忆训练数据中的模式。