![]()
2021年3月,四位语言学家和计算机科学家联合发表了一篇如今已成为里程碑式的论文——《随机鹦鹉的危险:语言模型能否过于庞大?》。五年过去,这篇论文的第一作者埃米莉·本德(Emily Bender)在ChatGPT风靡全球的今天,重新审视了这项研究的意义与影响。
论文诞生的背景与争议
这篇论文发表时,恰逢自然语言处理领域高速扩张的前夜。彼时,以GPT-3为代表的大规模语言模型刚刚引发业界轰动,研究者们普遍沉浸在"规模即进步"的乐观情绪中。本德等人却选择逆流而上,提出了一个让许多人感到不安的问题:当语言模型变得越来越大,我们究竟在付出什么代价?
论文围绕"随机鹦鹉"这一隐喻展开——它描述的是大语言模型本质上是一台极为复杂的统计机器,能够以看似合理的方式拼接语言片段,却对语言背后的含义毫无理解。这一比喻不仅挑战了当时业界对模型能力的过度乐观解读,也率先点出了大规模训练所带来的环境代价与社会风险。
令这篇论文声名大噪的,还有其发表前后发生的一段插曲:谷歌以论文内容有损公司声誉为由,向参与撰写的内部研究员施压,最终导致AI伦理团队的核心成员蒂姆尼特·格布鲁(Timnit Gebru)和玛格丽特·米切尔(Margaret Mitchell)相继离职。这场风波让这篇原本属于学术圈的论文,一夜之间成为全球科技媒体关注的焦点。
五年后,本德如何看待这篇论文?
时隔五年,本德表示,这篇论文中提出的核心担忧不仅没有过时,反而随着ChatGPT的爆发式传播变得更加迫切。她指出,当下公众和媒体对大语言模型的讨论,依然充斥着拟人化的误解——人们习惯将模型的输出理解为"思考""理解"甚至"感受",而忽视了这些系统本质上是在做大规模的统计预测。
本德强调,"随机鹦鹉"的隐喻从未是在否定这类技术的实用价值,而是在呼吁人们保持清醒的认知边界。她认为,当一项技术被赋予超出其实际能力的期待时,真正的风险往往会被掩盖:错误信息的扩散、对弱势群体的系统性偏见、训练数据中隐含的价值观倾斜,这些问题在ChatGPT普及后愈发突出。
对于生成式AI的现状,本德持审慎态度。她认为,目前业界在推动技术落地的速度上,远远超过了对其社会影响进行严肃评估的节奏。监管的缺位、公众AI素养的不足,以及商业利益对研究议程的主导,都让她感到忧虑。
论文的持久意义
《随机鹦鹉》论文的贡献,不仅在于它提前预警了大语言模型时代的诸多问题,更在于它开创了一种将技术批评与社会责任相结合的研究范式。它提醒研究者和开发者:构建一个系统的代价,不能只用基准测试分数来衡量,还必须纳入能源消耗、数据来源的合法性、对边缘化群体的潜在伤害等维度。
本德表示,她希望这篇论文能持续发挥"减速器"的作用——不是阻止技术进步,而是促使整个行业在奔跑之前,先想清楚自己究竟要跑向何处。
Q&A
Q1:《随机鹦鹉》论文的核心观点是什么?
A:《随机鹦鹉》论文的核心观点是,大语言模型本质上是复杂的统计机器,能够拼接出看似合理的语言输出,但对语言背后的含义并无真正理解。论文同时指出,盲目追求模型规模会带来环境代价、社会偏见和错误信息扩散等多重风险,呼吁业界在推进技术发展时保持批判性反思。
Q2:埃米莉·本德为什么在ChatGPT时代重新审视这篇论文?
A:因为ChatGPT的爆发式普及,使《随机鹦鹉》论文中提出的担忧变得更加现实和紧迫。本德认为,公众和媒体对大语言模型的拟人化误解依然普遍,商业利益主导研究议程、监管缺位等问题也愈发突出,这些都与论文当年的预警高度吻合,因此有必要重新将这些观点带入当下的讨论。
Q3:"随机鹦鹉"这个比喻具体是什么意思?
A:"随机鹦鹉"是论文用来描述大语言模型工作机制的隐喻。就像鹦鹉能模仿人类语言却不理解其含义一样,大语言模型通过海量数据训练,能以统计概率生成连贯的文本,但并不具备真正的语义理解或推理能力。这一比喻旨在纠正外界对模型"智能"的过度解读,而非全盘否定其实用价值。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.