北京
如果一项研究只访谈了五个人，你会觉得它不靠谱吗？一位研究者原本的答案是：不靠谱也比没有强。但合成用户（synthetic users）的出现，让他开始重新考虑这条坚持多年的原则。
他的担忧不是"AI会出错"这么简单。当合成回答被当成真实用户的反馈来对待，它制造的是一种比不确定性更危险的东西——虚假的确定感。
什么叫"不完美的研究"
在合成用户出现之前，"不完美的研究"仍然意味着你接触到了想理解的对象：真实的用户、他们的行为和体验。样本可能很小，招募过程可能很乱，原型可能很粗糙，有时候只来得及做五场访谈。
这些局限确实重要，它们决定了你能得出什么结论。但有一件事始终成立：你观察或交谈的对象是真实的人。没有哪项研究是完美的，研究者的职责是理解这些局限，不去声称研究支撑不了的东西。当局限是已知的、被理解的，而我们仍在直接从想理解的人或行为中学习时，不完美的研究好过没有研究。
合成用户改变了这个等式
使用一个合成参与者，和用一个小样本做研究、和真实用户做一场有缺陷的访谈、或者依赖便利样本，不是一回事。它是对用户可能会说什么的模拟。回答取决于模型、合成用户如何被构建，以及用来支撑它的数据。
合成用户不是对相似人群说过什么话的数据库查询。即便它基于真实研究，大语言模型仍然是在根据学到的模式加上提供的上下文，生成一个预测性的回答。
更麻烦的是，有时候用来创建合成用户的"数据"，其实就是团队自己的假设，被记录成了原型人物（proto personas）。合成参与者可能不是建立在访谈记录、问卷结果、分析数据或客服日志这类真实研究材料之上，而只是建立在假设和未经证实的观点之上。
团队可以用自己的假设构建出合成参与者，然后把回答当成假设已经被验证过一样对待。返回来的东西看起来像新洞察，实际上可能只是团队原本的假设，被更多细节和自信包装了一遍，还披着"有依据"的外衣。
没有研究和假装有研究
当完全没有做研究时，至少研究的缺席是可见的。团队可能基于假设做决定，但这些假设还没有披上研究结论的外表。
合成用户的"发现"能让同样的假设看起来像是被验证过了。设想两种情形：
- "我们还没和客户聊过，但我们相信他们会理解这个定价模式。"
- "我们用50个合成客户测试了这个定价模式，78%的人表示理解。"
第二种说法显得有证据得多。有参与者，有百分比，甚至可能有引语或主题。但取决于这些合成用户是怎么构建的，组织对客户的了解可能并不比第一种情形多多少，只是感觉更确定了。这正是让人担心的地方。
当"接近"还不够接近
一项来自MeasuringU的研究引起了注意。研究者Lucas Plabst、Jeff Sauro和Jim Lewis为420名已经给ChatGPT、Claude、Gemini或Grok评过可用性的人创建了数字孪生（digital twins）。数字孪生是一种合成用户，基于某个具体真实人物的数据构建。
研究者为每个人创建了两个版本的孪生。"摘要孪生"收到一份700字的角色描述，由该参与者的问卷回答生成。"完整孪生"收到同样的摘要，外加该参与者几乎全部的原始问卷回答。两种情况下，参与者的系统可用性量表（SUS）回答都被隐去，要求孪生去预测这些分数。
乍看之下，合成结果相当不错。摘要孪生在100分制的SUS量表上平均比真人高4.4分，更详细的完整孪生高6.7分。研究者指出，你可以把这些结果描述为95.6%和93.3%的准确率。听起来让人安心。
直到你看这些差异对解读造成了什么影响。真实参与者的分数对应的等级从B+到A不等。而每一个完整孪生的均值都对应A+。看真实参与者结果的团队，可能看到的是表现良好但仍有改进空间的产品；看合成结果的团队，可能会觉得一切都非常出色。
这触及了一个比"合成结果在数值上是否接近人类结果"重要得多的问题：它们是否决策等价？两组数字可以相对接近，却讲述不同的故事。如果故事的变化足以影响什么被修复、被优先处理、被资助或被忽略，那么"93%准确"听起来就没有那么让人安心了。
还有一个发现引起了注意：给数字孪生提供更多关于真实参与者的信息，并没有让它们更准确。完整孪生几乎能拿到每个人的全部问卷回答，但平均而言，它们的SUS分数反而比更简单的摘要孪生离真人分数更远。
一项发表在《Science Advances》上的更大规模研究提出了一个相关的担忧。它在19项预注册研究和164个不同的……
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
