网易首页 > 网易号 > 正文 申请入驻

arXiv精选 | 有了AI帮助,我们还能准确判断自己的能力吗?

0
分享至


● 认知神经科学前沿文献分享


AI 能帮助人更快完成任务,却不一定让人更清楚自己会什么、答得怎样。下面四项 arXiv 预印本分别考察 AI 建议、辅助编程、元认知提示和学习反馈对判断与学习的影响。所选论文截至原稿检索时尚未查到对应正式发表版本,以下 DOI 均为预印本 DOI;相关结论仍需结合研究设计和后续验证理解。



01|有了 AI 的答案,我们还会说“我不知道”吗?

关键词:判断保留|错误建议|认知信心|准确性激励|元认知

论文:AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized

DOI:10.48550/arXiv.2607.13562

作者:Chiara Marcoccia、Walter Quattrociocchi、Valerio Capraro

通讯作者及单位:Valerio Capraro;意大利米兰比可卡大学(原稿标注为联系作者)

预印本版本:2026-07-15 · arXiv v1|原文与全文|本地 PDF


核心图|可获得 AI 建议时,参与者更少保留判断(左),回答信心更高(右)。粉色、蓝绿色分别表示无、有金钱奖惩;点与误差线为均值及 95% 置信区间。摘自原稿图 2a–b,第 7 页。

面对一道拿不准的问题,我们可以尝试作答,也可以承认“我不知道”。但当聊天机器人给出流畅的解释后,原本的犹豫可能很快消失。一个值得追问的问题是:AI 是否改变了我们判断“自己已经知道得足够多”的门槛?

巴黎高等师范学校、罗马第一大学和米兰比可卡大学的研究团队在 arXiv 发布预印本,通过五项实验考察这一变化,共纳入 3,132 名参与者,其中四项实验经过预注册。参与者回答较难的电影知识问题,始终可以选择不作答。研究者特意挑选了 AI 容易答错的问题,并比较没有 AI、可以主动求助 AI,以及直接看到 AI 建议等情境。

结果显示,AI 建议的可获得性显著降低了参与者保留判断的比例。在一项包含信心评分的实验中,无金钱奖惩时,这一比例从约 17% 降至 1%,平均信心却从 29.6 分升至 75.9 分,回答正确率同时下降。后续实验发现,奖励答对、惩罚答错能够减少对 AI 的依赖,但未让保留判断恢复到没有 AI 时的水平。

这项研究提示,AI 可能影响人们何时愿意承认不确定。由于实验刻意使用了 AI 大多答错的问题,结果尚不能直接推广到通常可靠的 AI 场景,也不能证明参与者原有知识已经退化。它提出的是一个更具体的风险:在没有充分依据时,人可能更愿意给出一个确定答案。



02|代码写得更好,为什么留下的记忆更少?

关键词:AI 辅助编程|任务表现|知识保持|贡献归属|计算机教育

论文:Your Programming Students' Cognition with ChatGPT: Higher Performance, Lower Retention, and Reduced Ownership

DOI:10.48550/arXiv.2609.21194

作者:Christian Bergh、Benjamin Tag、Alexandra Vassar、Jake Renzella

通讯作者及单位:原稿未单独标注通讯作者;四位作者均来自澳大利亚新南威尔士大学

预印本版本:2026-09-18 · arXiv v1|原文与全文|本地 PDF


核心图|AI 组代码成绩更高(左),但即时及 48 小时后的回忆测验成绩较低(右)。摘自原稿图 2、图 3,第 8 页;两图并排呈现,保留原始坐标与数据。

借助 ChatGPT 写出能运行的代码,已经成为许多学生完成作业的方式。但一份高分作业,能在多大程度上代表学生已经掌握其中的知识?当答案由人与 AI 共同完成时,作品的质量、自己记住的内容,以及对个人贡献的判断,可能出现分离。

澳大利亚新南威尔士大学的研究团队在 arXiv 发布预印本,比较 ChatGPT 辅助与普通网络搜索两种条件下的编程学习。研究招募 59 名计算机专业本科生,最终分析 55 人的数据。学生完成三道入门级 C 语言编程题,随后在任务结束时及 48 小时后接受回忆测验;对照组可以搜索网页,但不能使用生成式 AI。

结果显示,ChatGPT 组的代码成绩为 89%,高于对照组的 69%;但即时回忆成绩为 41%,低于对照组的 53%,48 小时后仍为 39% 对 52%。两组在这 48 小时内的遗忘幅度没有显著差异,说明观察到的差距在任务结束时已经存在。学生主观认为由自己贡献的代码比例也更低,约为 45%,对照组约为 81%。

这项研究提醒我们,评估 AI 辅助学习时,需要同时观察完成质量和离开工具后保留的知识。贡献归属是学生的主观报告,并非对真实能力的直接测量;回忆测验也不能代表全部编程能力。此次短期、小样本实验揭示了表现与知识保持之间的差距,尚不足以判断长期能力是否退化。



03|怎样让人更准确地判断自己答得好不好?

关键词:元认知监测|信心校准|可靠性提示|对照回答|人机协作

论文:Beyond “ChatGPT Can Make Mistakes”: Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work

DOI:10.48550/arXiv.2609.17065

作者:Manuel A. D. Santos、Paul Thiesse、Steeven Villa 等

通讯作者及单位:原稿未单独标注通讯作者;作者单位包括芬兰阿尔托大学、德国慕尼黑大学(LMU)

预印本版本:2026-09-15 · arXiv v1|原文与全文|本地 PDF


核心图|四种干预相对普通助手的效果。前三列依次为表现估计误差、答对与答错时的信心差、实际得分;点与误差线为效应量及 95% 置信区间。摘自原稿图 10,第 19 页。

使用 AI 完成一组问题后,我们可能感觉自己表现不错,却难以准确估计究竟答对了多少。界面上的一句“AI 可能犯错”,也没有告诉用户应该检查什么。研究者因此追问:怎样设计具体提示,才能帮助人更准确地评价自己与 AI 共同完成的结果?

阿尔托大学和慕尼黑大学的团队在 arXiv 发布预印本,先访谈 11 名专家,整理出 30 种干预思路,再招募 917 名参与者完成 12 道规划与组织类问题。实验比较四种设计:展示助手可靠性及核查策略的卡片、让用户比较不同回答、在交互中设置暂停环节,以及题后反思,并以普通 AI 助手为基线。

结果显示,可靠性卡片和对照回答能减少参与者对整体成绩的估计误差与过度自信。在基线条件下,参与者平均误判约 4.42 道题;这两种干预分别使误差减少约一道和一道半。两组在答对与答错时的平均信心差也有所扩大。不过,研究没有发现相应的任务成绩提高,也没有确立同一道题内识别对错能力的平均改善。

这意味着,让人更清楚自己表现如何,本身可以成为 AI 设计的目标,但它与提高答题能力需要分别评估。这里测量的是人机协作任务中的自我评价,尚未证明用户更了解脱离 AI 后的独立能力。结果为改善自我判断提供了方向,也显示出“知道自己做得怎样”和“真正做得更好”之间仍有距离。



04|看见自己把哪些步骤交给 AI,能改善学习吗?

关键词:认知外包|元认知反馈|独立测验|求助方式|技能学习

论文:Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants

DOI:10.48550/arXiv.2609.20143

作者:Sebastian Maier、Kai Schwabe(共同第一作者)、Manuel Schneider、Stefan Feuerriegel

通讯作者及单位:原稿未单独标注通讯作者;作者单位为德国慕尼黑大学及慕尼黑机器学习中心(MCML)

预印本版本:2026-09-17 · arXiv v1|原文与全文|本地 PDF


核心图|参与者可选择提示或完整答案;研究比较使用反馈与积分奖励,随后测量没有 AI 时的答题表现。原稿图 1,第 1 页。图中示意答题记录不代表实际正确率。

看到一道题的完整解法,很容易产生“我懂了”的感觉。但读过步骤之后,能否自己再做一遍,仍需检验。如果系统让用户看见哪些步骤由自己完成、哪些交给了 AI,是否能改变接下来的求助方式?

慕尼黑大学及慕尼黑机器学习中心的团队在 arXiv 发布预印本,开展了一项包含 704 人的预注册在线实验。参与者练习分数运算,AI 默认提供思路,在明确请求后才给出完整答案。研究者测试两种干预:反馈用户此前索取帮助的程度及其学习含义;以积分奖励较少依赖 AI 的做法。练习后,所有人完成无 AI 辅助的测验。

按照预注册的单侧检验,反馈减少了索取完整答案的行为,并提高了后续独立测验表现;单纯的积分奖励未显示出这两方面的效果。不过,效应估计仍有不确定性,尚需重复验证。研究也没有发现仅使用 AI 的组在独立测验中显著差于无 AI 对照组,反馈对自我判断准确度的改善同样未获支持。

这些结果提示,求助方式可以通过具体反馈来调整,而学习表现与自我判断未必同步变化。对于“哪些其实是我自己会的”这个问题,下一步仍需检验:用户是否能够把反馈转化为稳定的练习习惯,并在更长时间、更多任务中保持独立能力。单次实验尚不能证明这种设计能防止长期技能退化。



从完成任务到判断能力:四项预印本的共同问题

四项研究从不同角度指出,AI 介入后的任务表现、知识保持、自我评价和独立能力并不能互相替代。AI 建议可能降低保留判断的意愿;辅助编程可能提高作品成绩,却未同步提高回忆表现;面向元认知的提示可以改善部分自我评价指标;具体反馈也可能改变求助方式并影响独立测验表现。它们共同提示,评估 AI 辅助效果时,需要明确测量的是眼前任务、对知识的保持,还是离开 AI 后的判断与表现。

预印本提示:本文涉及的 4 项研究均为 arXiv 预印本,尚未完成同行评议,正式发表版本中的样本、分析与结论可能发生变化。

分享人:Chase
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接,查看对应原文。

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天健集团:已承接APEC相关会议保障项目15个

天健集团:已承接APEC相关会议保障项目15个

证券时报
2026-10-12 11:58:03
刹车断裂之后,合肥与华为要算清一笔账

刹车断裂之后,合肥与华为要算清一笔账

雨前产经观察
2026-10-11 19:49:04
尊界踩断刹车 余承东为什么不发声了

尊界踩断刹车 余承东为什么不发声了

好猫财经
2026-10-12 10:33:54
猪身上的4个部位,建议大家少吃,猪大肠排最后,榜首多数人爱吃

猪身上的4个部位,建议大家少吃,猪大肠排最后,榜首多数人爱吃

芹姐说生活
2026-10-03 20:26:16
新疆发布评尊界刹车断裂风波

新疆发布评尊界刹车断裂风波

小南看车
2026-10-10 22:27:28
火箭全员亮相10人轮换锁定,博格丹或被DNP,新秀+卡佩拉恐出局

火箭全员亮相10人轮换锁定,博格丹或被DNP,新秀+卡佩拉恐出局

五姑娘台球
2026-10-12 11:45:12
何智丽近况:61岁仍单身,膝下无子女,仍在日本工作,想回国养老

何智丽近况:61岁仍单身,膝下无子女,仍在日本工作,想回国养老

大西体育
2026-10-12 11:55:23
有图有真相!西贝41元花菇焖猪手,宣传图与实物判若两样,试吃博主怒斥:倒闭一点不冤

有图有真相!西贝41元花菇焖猪手,宣传图与实物判若两样,试吃博主怒斥:倒闭一点不冤

火山詩话
2026-10-11 07:22:15
王励勤没想到,莎莎和大头的接连落败,竟让刘国梁口碑暴涨,开始怀念他了?

王励勤没想到,莎莎和大头的接连落败,竟让刘国梁口碑暴涨,开始怀念他了?

乒乓助手
2026-07-24 01:36:03
2005年与2025年的张靓颖,女人过了30,越来越有女人味

2005年与2025年的张靓颖,女人过了30,越来越有女人味

娱你同欢
2026-07-29 22:42:29
12岁那年我在后山放羊发现邻居大嫂的秘密,一夜后我变成了大人

12岁那年我在后山放羊发现邻居大嫂的秘密,一夜后我变成了大人

温情邮局
2025-05-16 11:57:12
赖清德不会被斩首,也不会被首捕,他会随着历史大势而转化

赖清德不会被斩首,也不会被首捕,他会随着历史大势而转化

兵卒史
2026-10-11 16:55:43
贫穷能让一个人有多卑微?网友:给05年小富婆妹当过狗,还给130斤小富婆做了俩月男朋友

贫穷能让一个人有多卑微?网友:给05年小富婆妹当过狗,还给130斤小富婆做了俩月男朋友

带你感受人间冷暖
2026-09-15 00:05:19
伊东纯也:森保一教练已确定离任,所以我希望在亚洲杯上夺冠

伊东纯也:森保一教练已确定离任,所以我希望在亚洲杯上夺冠

懂球帝
2026-10-11 16:55:25
双色球26116期开奖:开出5注一等奖,蓝球成了很多彩民的遗憾点

双色球26116期开奖:开出5注一等奖,蓝球成了很多彩民的遗憾点

会飞的小小鱼654
2026-10-12 07:19:56
英国一男子闯入动物园虎区,近距离手指老虎后被咬身亡

英国一男子闯入动物园虎区,近距离手指老虎后被咬身亡

澎湃新闻
2026-10-11 10:26:39
女子整租一套三室一厅的民宿,洗澡后裸身取衣服被客厅监控拍下,事后紧急报警,房东:为保障财产安全而安装,已对订单做退款处理

女子整租一套三室一厅的民宿,洗澡后裸身取衣服被客厅监控拍下,事后紧急报警,房东:为保障财产安全而安装,已对订单做退款处理

大风新闻
2026-10-12 08:33:30
王劲松表示《伟大的长征》大家聚餐,买单的事都是万茜,原因搞笑

王劲松表示《伟大的长征》大家聚餐,买单的事都是万茜,原因搞笑

娱最资讯
2026-10-12 07:27:27
A股:今天周一,缩量下跌,原因是什么?释放了什么信号?

A股:今天周一,缩量下跌,原因是什么?释放了什么信号?

明心
2026-10-12 11:55:13
男子每天喝2000毫升水得结石了冲上热搜:多喝水防结石,为什么对他没用?

男子每天喝2000毫升水得结石了冲上热搜:多喝水防结石,为什么对他没用?

吉刻新闻
2026-10-09 19:36:57
2026-10-12 13:43:00
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
715文章数 23关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

19岁女孩黄河边失联6天仍未找到 家属否认"逼婚"传闻

头条要闻

19岁女孩黄河边失联6天仍未找到 家属否认"逼婚"传闻

体育要闻

英超-曼城3-0十人利物浦 豪取6连胜领跑

娱乐要闻

梅启明自资办梅艳芳追思会,34人到场

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

大6座插混SUV新选择 阿维塔T09概念版亮相巴黎车展

态度原创

本地
教育
健康
数码
军事航空

本地新闻

踏访沙县第一村,寻国民小吃本源

教育要闻

日常英语:订好的公共交通提前离开了

痘坑留下后,还能填平吗?

数码要闻

349元雅浚G6 PRO风冷散热器上市:六热管双塔,12cm+13cm双风扇支持280W解热

军事要闻

视频:沙特方面公布利雅得机场遭袭画面

无障碍浏览 进入关怀版