许多人类教师正为学生作业的AI含量头疼时,美国斯坦福大学的研究者举办了全世界第一场由AI担任论文第一作者和审稿人的学术会议。
这场会议在10月22日召开,持续了3个多小时。组织者对观察到的不少情况感到惊讶——比如AI审稿人性格迥异,有的非常严格,给大量论文打低分;有的则像讨好型人格,动不动就给出强烈推荐。
315篇来稿是一个奇妙的混合体:有人用AI研究经济学问题摘得最佳论文,尽管本人没有经济学背景;有人直接让AI编出看似合理的论文,再验证能否骗过另一些AI;还有人让AI和高中生合作,设计蛋白质。中国也有研究者对会议感到好奇,用AI写完论文,点击发送键。
自从今年7月论文征集开始,会议就饱受争议。反对者认为它“令人啼笑皆非”,觉得AI无法承担诚信等责任,让它署名,击穿了学术“神圣的底线”。支持者大多是探索派,觉得这是一次“有趣的实验”,因为在科研中使用AI工具已经很寻常。
会议组织者之一、斯坦福大学副教授詹姆斯·邹几个月前刚刚利用AI发现了能结合病毒的新抗体,在这个项目中,AI自主完成了85%以上的工作。从生成研究假设、提出研究问题,到分析数据,甚至撰写论文,AI都派上了用场。
更让这些研究者好奇的是,AI的创新能力究竟如何,人类和AI的最佳合作模式是什么,AI的论文评审能力又有多强等。
不过,世界范围内尚没有学术会议或期刊允许AI署名,詹姆斯·邹等研究者觉得,正因如此,人类和AI的合作像是一个黑箱。
他们决定做前无古人的事儿,组织一场学术会议——征文没有领域限制,但AI必须主导研究实验设计和论文撰写,在贡献方面相当于论文第一作者。
AI迎来了身在学术界的高光时刻。它是“一作”,也拥有了“科学家(AI scientists)”的身份。它是选手,同时也是裁判,所有论文必须由它打分。投稿人还得交一份“合作说明”,说清如何与AI合作,还要给参与程度打分。
打开黑箱,有的结果和人们想象的一样。比如,AI擅长进行实验设计、数据分析和论文撰写,人类则更多负责“天马行空”——约40%的论文是人类主导提出假设。
做评审,AI很在意细节,它能快速抓住一些问题,比如数据不一致:一个投稿者在文本和表格中使用的某个统计指标数值不相同。
有的结果则让人惊叹。比如,研究者本以为AI幻觉会有点严重。事实上,伪造文献的数量并不多,很多研究者已经考虑到这一点,最后核查时,他们将一个AI提供的信息交给另一个AI检查,同时手动搜索上个“保险”。
与会的华盛顿大学团队还做了一个直击会议痛点的实验。他们想搞清楚:完全跳过真实实验、纯靠“编数据、凑逻辑、搭结构”的AI伪造论文,能不能蒙混过GPT-5等顶尖AI评审的法眼。
团队先让AI扮演“不良科学家”,针对计算机科学领域25个不同主题炮制论文——有的编造不存在的实验数据,有的套用严谨的论文框架却填充无意义的分析,有的甚至直接“抄袭”已发表论文的结构、替换核心数据……共生成约600篇“空壳论文”。
随后,他们用3款主流模型,按照学术会议的标准对这些论文进行打分。最终论文的接受率高达82%。AI虽然指出不少论文“数据不对劲”“参考文献像编的”,但仍给出了强烈推荐。
人们测试下来才发现,AI评审更像格式审查官,容易被流畅的表达、完整的结构、专业的术语带偏,缺乏人类评审刨根问底的批判性思维。
没有人知道AI会不会感到无奈,它知道一篇好论文应该是什么样子,却不知道某一篇看上去很好的论文实际上有没有价值。
斯坦福大学物理学教授丽萨是本次会议的人类评审。她发现,一些AI写的论文,做了合理的实验和数据分析,却是为了解决一个“既无趣味性,也不重要,或许本身就没有意义”的问题,没有任何贡献。
她直言,AI的科研品味有点差。
“我们教给人类科学家最重要的能力之一,就是培养良好的科学品味——即判断哪些问题值得研究,但我完全不知道该如何让AI也具备这种能力。”丽萨评论。
来自芝加哥大学的教授建议,AI或许应该多点对抗性。他觉得,比起现在市场上一味讨好人类、只找支持证据而不质疑问题的AI,科研系统更需要专门挑错的AI。“我们不需要单一人格的AI。就像有不同性格的人——不需要所有人都批判,但需要有人批判。AI群体也应如此。”
一位国内投稿人告诉本文作者,AI当论文“一作”和审稿人有噱头的成分,不少论文并非“由AI主导”。并且,会议最终没有考虑AI评分,优秀论文还是由人类选取。不过他觉得,把AI写作和AI科研搬到台面上,“已经是一种进步”。
近期,国内也有高校开始进行类似探索。华东师范大学10月1日开始进行的会议论文征集,要求必须将AI列为一作和审稿人。组织者称,他们自己研发了审稿系统。这场征集受到广泛关注,有高中生和中学教师打电话咨询,想要参加这次会议。
会议发起者之一、华东师范大学教授张治在接受媒体采访时表示,当前硕博论文的AI渗透率已达70%以上,“视而不见并不是一所负责任的大学该做的,那就像鸵鸟把头埋进沙子里。与其任其发展,不如正面回应AI对科研的冲击”。
来源:中国青年报客户端
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.