AI学术写作：方法论意义大于文本本身

自2022年底生成式人工智能兴起以来，人文与社会科学各领域的学者纷纷响应，试图厘清它对语言、知识生产以及学术传播意味着什么。这类讨论在写作研究领域体现得尤为突出。研究人员把人类作者撰写的文章与人工智能系统生成的文章进行了比较，分析了它们各自的词汇与论证模式，并就机器生成文本与“真正的”学术写作是否相似展开了辩论。研究进展得十分迅速，短短数年间已有大量成果问世，聚焦于人工智能生成文本的语言特征及其对教育与学术研究的潜在影响。我本人也参与了相关探讨，例如，我的一篇合著论文《探究生成式人工智能大语言模型之于学术写作中的立场建构与文本互动的可供性》（Exploring the affordances of generative AI large language models for stance and engagement in academic writing）2025年发表于《学术英语杂志》。然而，随着研究的发展成熟，一个重要的方法论问题浮现出来：当我们比较人工智能生成文本与人类写作时，的确是在比较可比的事物吗？

01

比较作者抑或比较提示词

乍看之下，这种比较似乎一目了然。研究人员让人工智能系统围绕特定主题生成文章，再将文章与学生或专家撰写的内容进行对比分析。倘若二者呈现出差异，例如在论证结构、与读者互动的方式等方面有所不同，研究人员便可能得出以下结论：人工智能缺乏人类作者具备的某些精巧的修辞能力。然而，看似简单的比较背后隐藏着更深层次的问题。人类写作建立在复杂的学习过程、经验和学科实践的基础之上，有别于此，人工智能生成文本则高度依赖于接收到的指令。换言之，系统生成什么内容更多取决于任务是如何被设定的，而与其固有能力关系不大。

这引出了一个根本的方法论问题，但之前的诸多研究并未对此进行充分探索。人类作者通常在相对稳定的条件下产出文本：他们接受任务，凭借自身知识和经验，按照长期习得的规范来写作。相比之下，人工智能系统则是通过交互来运转的。提示词的措辞、其中包含的指令乃至语言表达上的微小变化，都可能显著改变最终生成的文本。如此说来，在没有认真考量上述状况的前提下比较人工智能与人类写作，可能会得出误导性的结论。

要理解这一问题为何重要，可以先想一想生成式人工智能系统是如何生成语言的。这些模型不像人类那样“书写”，而是根据指令生成文本。提示词（即提供给模型的文本）是整个过程的起点。早期的研究通常将提示词视为单纯的任务描述。一个典型的指令可能是要求系统“以公共交通为主题写一篇议论文”，并说明预期的大致篇幅与风格。随后，研究人员把系统生成的文本与由学生撰写的类似主题的文章进行对比分析。在这种情况下，研究人员经常会注意到两者间存在明显的差异。比方说，人类作者倾向于使用更细致的表述来表达不确定性和作出评估，如作为模糊限制语的“可以”（could）和作为态度标记语的“重要”（significant），而人工智能生成的文本通常会显得更加统一且缺乏个人色彩。因此，一些研究认为，人工智能写作缺少某些精妙的修辞策略，这些策略使人类作者得以在论证中确立自身站位或与读者直接互动。这些发现被广泛理解为研究证据，表明人工智能或许能够模仿学术写作的表面特征，但难以复刻更深层的修辞结构。然而，深入观察人工智能系统对提示词的反应后会发现，这一结论可能过于轻率。

02

任务指令影响人工智能生产内容

为了检验人们的论断是否以人工智能“能够”完成什么为基础，我同南开大学外国语学院助理研究员孙淑怡、北京航空航天大学外国语学院教授姜峰共同开展了一项比较人类写作与人工智能写作的新研究。在实验的第一阶段，我们让人工智能系统根据基本的提示词来撰写文章，该提示词描述了任务但并未提供具体的修辞指令。然后，我们将这些文章与学生撰写的文章进行对比分析，结果显示，两者间有着明显差异。人类作者使用了更多的模糊性表述，诸如“或许”“这显示”“这可能表明”等，体现出学术论证中典型的审慎姿态。人类作者也会更直接地面向读者表达（如通过使用“我们”一词）或更清楚地示意论证结构（如“现在转向……”）。人工智能生成的文章则显得更加中立、疏离，展现作者立场或与读者互动的标记语也更少。

基于此，可能有人会得出结论：人类写作表现出更丰富的修辞复杂性。换句话说，“人工智能能做什么，不能做什么”这类说法。但这样的说法公允吗？我们能否将由人工智能生成的语料库视为固定的数据集？又或者这只是某种提示条件的产物——目标语言特征隐含在任务指令中（人类写作亦是如此），而没有在提示词中明确陈述？因此，在实验的第二阶段，人工智能系统被给予了额外的指令。除生成文章外，还要求它应用特定的修辞策略，例如在观点之间增加更多的过渡、更直接地与读者互动并在论证中展现评价立场或谨慎性的表态。就像人类写作场景中那样，这些指令并未在最初的提示词中被提及。我们在第二阶段有意地将其加入。

输出结果出现了惊人的差异。当接收到更具体的指令之后，人工智能系统开始生成包含更多此类特征的文本，有时与在人类写作中观察到的频率相当，有时远远超出。对提示词稍作调整就可以带来输出上的巨大不同。我们还注意到，这些修辞元素往往以夸张或程式化的方式呈现。由于模型直接响应我们的指令，它会放大指令所要求的特征，而不是像人类作者那样在论证中策略性地进行运用。也就是说，对于被明确要求生成的内容，人工智能会过度生成并一遍又一遍地加以重复。

这项简单的实验有着重要的启示意义。它表明，人工智能写作与人类写作之间的诸多差异未必是技术本身的固有局限（即“能做什么，不能做什么”）所致，而是仅仅反映了文本生成时所接收的提示条件。

03

研究问题的转向

这一洞见指向了人工智能生成语言研究面临的更广泛的挑战。与一旦产生就保持固定的传统文本数据不同，人工智能输出天然是可变的。收到何种提示、交互的重复次数以及任务如何随着对话过程演变，可能导致同一个系统生成截然不同的文本。从这个意义上说，人工智能生成的语言更像是人类指令与机器回应之间的一种交互，而非静态的文档集合。从这种交互中产生的文本不仅受到模型本身的影响，也受到用户选择的影响。

对于试图分析人工智能写作的研究人员来说，这带来了一个移动的目标。倘若两项研究探讨同一现象，可能会仅仅因为使用不同的提示词而得出非常不同的结论。这种不同引发了关于应如何对此类文本进行分析的疑问。如果人工智能写作的语言特征在很大程度上取决于交互过程，那么，将这些文本视为固定的数据集——如同人类写作文本的集合——可能无法准确反映实际发生的情况。更有效的路径可能是将提示本身作为研究设计中的一个重要变量来处理。

认识到提示词的作用，并不意味着人类写作与人工智能写作之间的比较毫无意义。恰恰相反，这种比较对于理解人工智能系统的运转机制及其对学术传播的影响至关重要。然而，这确实表明未来的研究需要更加清晰地说明人工智能生成文本的生产方式。研究应清晰地记录所使用的提示词，解释其设计背后的逻辑，并考虑不同的替代性提示词可能对结果造成的影响。更重要的是，研究人员可能需要超越单一提示下的比较，转而探索不同提示条件下语言模式的变化。这种路径不仅可以揭示人工智能系统能够生成什么内容，还能展现其输出在交互过程中如何演变。换句话说，探讨的问题应从“人工智能写作与人类写作有何不同”转变为“人工智能写作在何种情况下与人类写作相似，何种情况下与人类写作相异”。这一转变看似细微，却折射出研究生成性技术时所必需的更深层的方法论调整。

04

确保分析框架迭代升级

这些议题对教育领域也有实际意义。如今，许多学生在思路构想、论文起草、文本修改等环节利用生成式人工智能工具来辅助写作任务。如果人工智能输出结果的修辞特征会因提示方式的不同而有所变化，那么，一些不加批判地依赖此类系统的学生就可能在无意中采用扭曲变形的学术表达模式。

因此，教育工作者或许会发现，将人工智能生成的文本作为分析对象而非去仿效的范本或模板，是更有成效的做法。学生可以考察不同提示词如何影响人工智能生成文章的结构与语气，将人工智能输出结果与人类写作案例文本进行比较，并反思修辞选择如何塑造学术论证。这类活动有助于培养一种新型的人工智能素养：评估人工智能生成语言并批判性地与其进行交互的能力。从这个意义上说，生成式人工智能可能不再只是传统写作方式的替代，而更多成为探索写作本身运作机制的一种手段。

生成式人工智能的迅速普及无疑为人文社会科学研究创造了新的机遇。与此同时，它也迫使研究人员不得不面对此前不熟悉的方法论问题。在研究由人工智能生成的语言时，我们不只是在分析文本，更是在分析人类指令与机器回应之间的交互。提示词、对话以及任务背景，都成为研究对象的一部分。认识到这一点，或许有助于该研究领域超越早前关于人工智能写作是否“足够好”或“类似人类”的争论。研究焦点可以转向理解人工智能系统如何生成语言、用户如何影响这一过程，以及最终生成的文本如何在学术环境与社会环境中传播。从长远来看，生成式人工智能对写作研究最重要的贡献可能并非其所产出的文本，而是由此引出的方法论问题。当前，研究人员面临的挑战是，确保我们所用分析框架的演进能够跟上技术发展的步伐。

中国社会科学报特约通讯员 彼得·克罗斯威特（Peter Crosthwaite）/文 陈禹同/译

作者系澳大利亚昆士兰大学语言与文化学院副院长

来源：中国社会科学报

责任编辑：赵琪

新媒体编辑：常畅

如需交流可联系我们