![]()
针对人工智能生成式数据评价标准缺乏针对性的问题,从“是否锚定真实经验数据”和“是否旨在提出新的经验主张”两个维度,可将其划分为经验拓展型、经验复刻型、经验虚构型和理论模拟型四类,并据此明确差异化评价标准。
原文 :《社科研究中人工智能生成式数据的类型》
作者 |华侨大学政治与公共管理学院讲师 钟本章、赵静
图片 |网络
随着大语言模型的发展,人工智能(AI)生成式数据已广泛渗透至社会科学研究。尽管现有实践已日益多样,但学界往往对其一概而论,导致评价标准缺乏针对性和有效性。因此,要真正评估AI生成式数据的效度和限度,当务之急是构建一套能够区分不同实践的类型学框架。本文基于数据生成“是否锚定真实经验数据”和“是否旨在提出新的经验主张”两个维度出发,将其划分为经验拓展型、经验复刻型、经验虚构型和理论模拟型四种类型,并据此明确不同的评价标准。
![]()
以AI 延伸经验观察的经验拓展型
经验拓展型既锚定真实经验数据,又旨在提出新的经验主张。其基本路径是将真实调查、访谈或实验所得的数据输入大语言模型,使模型习得其中的变量关系和分布特征,进而针对原始数据中尚未观测的变量生成新数据。例如,在既有调查问卷的基础上,利用AI模拟受访者对新增题项的回答,以补充原始研究未能测量的信息。这类实践近年来常被冠以“硅基抽样”(silicon sampling)等名称,其核心目标并不是用AI替代真实调查,而是在真实样本的基础上延伸经验观察,拓展数据所能支撑的研究问题。
该类型之所以被界定为“锚定真实经验数据”,是因为其生成过程始终以真实数据作为经验基础。AI的生成内容受原始样本约束,并非凭空虚构,而是基于真实经验分布进行的推断。同时,它亦属于“提出新的经验主张”,因为研究者旨在利用新增数据回答原始数据无法解答的问题,从而形成新的经验发现。例如,通过AI补充受访者对新增变量的回答,进而分析这些变量与其他社会现象之间的关联。这本质上是在扩展经验认识的边界,而非仅仅复现已有事实。
![]()
现有研究对该类型总体持较为谨慎的定位。AI生成的数据更多被视为经验研究的辅助工具,常用于预调查、问卷设计、假设生成、方法测试等环节,或与真实调查形成交叉验证,而较少直接作为完整经验研究的唯一数据基础。这种审慎并非源于技术能力的局限,而是反映了学界对“经验锚定”的坚守:AI可以扩展经验数据,但不应轻易脱离经验数据的根基。正因如此,该类型亟需回应的核心问题是:AI生成的数据是否仍能有效代表其所锚定的真实经验总体。在此意义上,经验效度、外部效度以及真实数据中的偏差在生成过程中是否被继承乃至放大,构成了评价经验拓展型数据最核心的标准。
![]()
以AI 促进开放科学的经验复刻型
经验复刻型同样锚定真实经验数据,但并不旨在提出新的经验主张。其基本做法是利用真实数据训练生成模型,在保留原始数据统计特征和变量关系的基础上,构建一个新的合成数据集(synthetic dataset)以供公开使用。一般来说,这类数据集不对应任何具体的真实个体,而是通过算法重现原始数据的整体分布,从而在一定程度上兼顾数据可用性与隐私保护。近年来,这一路径已逐步应用于医疗、公共卫生、犯罪学等涉及敏感信息的研究领域,成为开放科学背景下重要的数据共享方案。
这一类型之所以仍被界定为“锚定真实经验数据”,是因为合成数据始终来源于真实数据。其目标在于尽可能保留原始数据的统计特征、变量关系和分析价值,使公开数据能够作为真实数据的代理(proxy)或替代(stand-in)。然而,它并不属于“提出新的经验主张”。研究者利用合成数据的目的,通常不是重新发现社会规律,而是降低真实数据的获取门槛,使其他研究者能够复现数据处理流程、验证分析代码、理解变量构造,或开展教学训练和方法测试。换言之,经验复刻型所追求的是经验研究的可共享性,而非经验认识的扩展。
因此,该类型的核心评价标准也不同于经验拓展型。研究者首先关注的是合成数据与真实数据之间的保真度,即其能否较好地保留原始数据的统计结构和分析结果;同时,还需评估合成数据能否有效降低隐私泄露和重新识别的风险,从而在数据可用性与数据安全之间取得合理平衡。近年来犯罪学关于合成数据的讨论表明,尽管合成数据不能替代真实数据进行新的经验推断,但它能有效促进研究复现、数据共享和开放科学的发展,为敏感数据领域提供一种兼顾科学研究与伦理规范的解决方案。
![]()
以AI 替代经验调查的经验虚构型
经验虚构型并不锚定真实经验数据,却旨在提出新的经验主张。其基本路径是不再向AI提供任何真实调查数据,而是直接赋予其特定身份、社会背景或人口学特征,由AI模拟相应个体回答问卷、表达态度或作出行为选择,最终汇集形成新的数据集,并据此分析社会现象。此类研究与经验拓展型在形式上颇为相似:二者都利用AI生成新数据,且都试图回答经验研究中的现实问题,因此极易混淆。然而,两者最根本的区别在于,经验虚构型的数据生成过程已脱离了真实样本,其经验基础完全源自大语言模型自身。
该类型之所以不属于“锚定真实经验数据”,是因为AI的回答不再受真实调查样本的约束,而主要依赖于预训练过程中习得的大规模语料和参数结构。与此同时,它明确属于“提出新的经验主张”,因为研究者往往希望借助这些AI生成的数据分析公众态度、社会行为或群体差异,并据此对现实社会作出经验判断。换言之,这一类型实际上是以AI直接替代传统经验调查,将原本应由现实受访者提供的数据交由模型生成。
正是在这一背景下,经验虚构型成为当前争议最大的AI生成式数据实践。近年来,一些研究开始比较经验拓展型与经验虚构型的结果差异,即对比AI在“锚定真实数据”和“脱离真实数据”两种条件下生成数据的表现,以检验真实数据对生成质量的影响。多数研究认为,真实经验数据仍能为AI生成提供重要的质量约束,虚构型数据不可直接用于经验推断,或至少应降低其作为经验证据的权重。这意味着,经验虚构型真正需要回答的问题,并不是AI能否生成足够逼真的回答,而是这些回答能否构成关于现实社会的有效经验证据。因此,经验代表性、生成偏差以及经验主张的可验证性构成了评价这一类型数据最核心的标准。
![]()
以AI 拓展理论模拟的理论模拟型
理论模拟型既不锚定真实经验数据,又不旨在提出新的经验主张。其基本路径是赋予AI特定的行为规则、制度环境或行动情境,使其作为主体参与互动、决策或演化,并观察由此产生的宏观结果。此类研究并不试图描述现实社会的实然状态,而是考察某种理论机制在给定条件下能否产生预期结果。从这一意义上看,它与传统的基于主体建模(agent-based modeling,ABM)一脉相承,只是将过去依赖人工设定规则的行为主体,部分替换为具有自然语言理解与生成能力的大语言模型。
![]()
该类型之所以不属于“锚定真实经验数据”,是因为其生成过程并不依赖任何现实调查或观察数据,而是建立在理论假设和模拟情境之上;同时,它也完全不属于“提出新的经验主张”,因为研究者关注的并不是现实社会中是否存在某种现象,而是理论逻辑能否推出某种结果,或者不同理论假设之间会产生怎样的差异。理论模拟型所生成的数据,本质上属于理论推演的一部分,其价值主要体现为检验理论机制、探索因果过程以及比较不同制度安排可能带来的结果,而非作为现实社会的经验证据。
值得注意的是,大语言模型的引入也使这一传统方法面临新的挑战。传统ABM中的主体通常依据研究者预先设定的行为规则运行,模型结构相对透明,每一种模拟结果都能够追溯到相应的理论假设,因此具有较强的可解释性。而大语言模型主体的行为则更多源于预训练过程中形成的参数结构和知识表征,其内部决策机制难以完全解释,使得理论模拟由“透明”逐渐转向“黑箱”。这意味着,大语言模型在增强模拟能力、提升主体行为真实性的同时,也削弱了理论推演的透明性和可解释性。由此,理论模拟型最核心的评价标准,不再是经验代表性或隐私保护,而是理论机制是否得到准确表达、模型运行是否具有可解释性,以及模拟结果是否具有稳定的可重复性。
文章为社会科学报“思想工坊”融媒体原创出品,原载于社会科学报第2022期第5版,未经允许禁止转载,文中内容仅代表作者观点,不代表本报立场。
本期责编:狄书一
![]()
《社会科学报》2027年征订
点击下方图片网上订报↓↓↓
![]()
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.