长期研究发现：课堂上使用 AI 的学生成绩更差

一项干预时长为一个学期（2023 年秋期），试验学生群体为 1000 人（ 9 年级、10 年级和 11 年级的学生）的研究发现：像 ChatGPT 这样的 AI 工具可以短暂提高学生测试成绩，但最终却削弱了学生的学习能力和知识保留。

很多关于AI对学生学习的帮助的研究都只是文献综述，而另一些班级实验性质的研究也是短期研究。当然，很多好的综述性质研究早就点明：AI 对学习的影响仍然缺乏长期研究的支持。虽然和大多数人一样我也认为 AI 在学习中会起更多积极作用，但是口说无凭，我们要基于证据说话。

论文发表于沃顿商学院校报（The Wharton School Research Paper），题目为《生成式 AI 可以伤害学习（Generative AI Can Harm Learning）》，被美国知名教育媒体 Edutopia 称为 2024 年 10 大重要教育研究之一。

一、验证生成式 AI 是否降低学习能力

生成式 AI 技术迅速发展，已经在许多领域展现出能够显著提高人类工作效率的潜力，并且在一些任务中达到了人类水平的表现。例如，在医疗考试和编程竞赛等任务中，生成式 AI 都有出色的表现。随着这种技术在各个领域的广泛应用，人们开始关注它在教育领域的影响。教育是培养人类技能和知识的重要场所，而生成式 AI 的应用可能会对学生的技能学习产生重要影响，这种影响可能是正面的，也可能是负面的。

关于学生能否有效地将人工智能辅助融入学习并区分人工智能辅助与自己的理解能力成为问题。这项研究要求学生先上节数学复习课，然后上一节练习课（可以使用传统方法——如笔记和教科书——或人工智能工具，包括 ChatGPT 的基本版本和专门开发的 AI 辅导师来做课堂练习），最后是闭卷考试。

这项研究在土耳其一所高中进行了实地实验，涉及近 1000 名 9 年级、10 年级和 11 年级的学生，旨在研究生成式 AI（特别是 OpenAI 的 GPT - 4）对数学课堂上学生学习的影响。实验设计为随机对照试验（RCT），在 2023 - 2024 学年秋季学期进行。

研究包括每个年级的四次 90 分钟课程，辅导程序占该学期数学课程内容的约 15%。每次课程分为三个主要部分。首先，教师像正常复习课一样复习之前学过的主题，并在黑板上解决一些示例问题。其次，有一个辅助练习阶段，学生解决由教师设计的练习题，以巩固所学概念。这是随机干预的部分。学生被分配到三个组别之一：对照组、GPT 基础组和AI 导师组。

对照组使用标准资源，如课程书和笔记。对于 GPT 基础组和AI 导师组，学生使用笔记本电脑访问相应的辅导程序。GPT 基础组是一个类似于 ChatGPT 的简单聊天界面，而AI导师组的提示词中包含额外的保护措施，只是指导学生而不直接给出完整答案。

完成了复习课讲授，复习课练习，学生进行闭卷考试。考试中的问题与前一部分的练习题类似。

最初，使用人工智能工具的学生表现出显著进步，使用ChatGPT和AI辅导师的学生分别比仅使用纸笔的同学们高出 48%和 127%。

然而，这种成功是短暂的：在后续的闭卷测试中，使用人工智能的学生分数急剧下降：使用 ChatGPT 做复习指导的班级比普通班级成绩低了 17%；而使用 AI 导师的班级和普通班级无明显差异。

这表明，虽然生成式 AI 可以在短期内提高学生的学习表现，但可能会在长期内削弱学生的学习能力（顺便说一句，很多类似的班级试验研究都是只在短期内测了学生的成绩，没有做长期的研究）。

研究指出，人工智能正在快速发展，但并不能取代教师。当这些工具被设计用于指导学生学习时——例如拒绝给出答案或提出深入追问（参见此处、此处和此处的研究）——它们的表现良好；但该类软件仍然受制于其起源的悖论：人类能否聪明到设计出比自己更聪明的工具。

三、为什么短期提升，长期退步文章讨论了实验中学生测试成绩短期表现提升的原因：

1. 快速获取答案：ChatGPT 能够迅速提供问题的答案或解题思路，帮助学生在短时间内完成更多的练习题，从而在短期内提高学习成绩。

1. 个性化辅导：ChatGPT 可以根据学生的问题提供个性化的解答，帮助学生更好地理解知识点，解决学习中的困惑

1. 提高学习效率：ChatGPT 可以提供大量的学习资源和信息，帮助学生更高效地学习，节省时间和精力。

1. 过度依赖：学生在使用 ChatGPT 时，可能会过度依赖其提供的答案，而缺乏独立思考和解决问题的能力。这种依赖性会导致学生在没有 ChatGPT 的情况下，难以独立完成学习任务。

1. 缺乏深度理解：ChatGPT 提供的答案可能过于简洁或直接，学生在使用过程中可能只是机械地接受答案，而没有深入理解其背后的原理和逻辑。这种浅层次的学习方式不利于学生的长期发展。
2. 错误信息：ChatGPT 的回答并不总是完全准确，学生在使用过程中可能会接触到错误的信息，从而影响学习效果。如果学生缺乏辨别能力，可能会将错误信息当作正确答案，导致学习偏差。
3. 学习动机下降：长期使用 ChatGPT 可能会导致学生的学习动机下降。由于 ChatGPT 能够轻松提供答案，学生可能会减少对学习的投入和努力，从而影响学习效果。
4. 缺乏实践机会：学生在使用 ChatGPT 时，可能会减少自己动手实践的机会（比如列竖式计算）。实践是学习的重要环节，缺乏实践机会会影响学生对知识的掌握和应用能力。

进一步研究学生和 AI 的对话记录，研究者发现，使用基础版 ChatGPT 的学生参与的是肤浅（Superficial）的互动，经常直接向 AI 提问，如“答案是什么？”。

研究人员得出结论，在技能培养阶段未经指导使用 AI 可能会成为一种障碍——并可能限制学习。研究人员得出结论，一旦有机会，学生会将软件当作“外挂”，经常直接跳到答案（我想起自己高中看到周末作业上写的是某市联考然后去网吧搜答案的经历）。在学习的关键阶段部署这项技术实际上“有削弱学习能力的风险”。

这项研究表明，直接给学生在课堂上使用 ChatGPT 辅助学习在短期内可以提高学生的成绩和学习效率，但长期来看，可能会导致学生过度依赖、缺乏深度理解、接触到错误信息、学习动机下降以及缺乏实践机会等问题，从而影响学生的学习效果和长期发展。因此，在使用 ChatGPT 时，学生应该注意合理使用，避免过度依赖，同时加强独立思考和实践能力的培养。