网易首页 > 网易号 > 正文 申请入驻

数学论证GPT-4不是随机鹦鹉:真如此的话整个宇宙都会坍缩

0
分享至

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

对于ChatGPT的工作原理,一个常见的解释是根据统计学规律预测下一个词。

但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论:

若是如此,所需的信息量足以让整个宇宙都坍塌成黑洞

这一数据量是50000^8000,根据贝肯斯坦上限(Bekenstein bound)原理,如果把这些信息分配到空间当中,所需要的信息密度已经远超宇宙能承受的最大值。

而这仅仅是把数据存储起来的消耗,更不必说还要进行运算了。

而ChatGPT与单纯统计预测的区别,可以做这样的类比:

如果天文学家通过历史观测记录推算出月食的周期,这可以算是统计学。

但当他们总结出牛顿万有引力定律的时候,就已经超越了统计学。

什么是“随机鹦鹉”

一个流传很广的说法,所谓大语言模型实际上相当于一个“随机鹦鹉”——

  • 与我们观察其输出时的情况相反,语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起,根据概率生成文本,但不清楚文字背后的任何含义,就像一个随机的鹦鹉。
    出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big

这对过去的语言模型,或许确实成立。

比如曾经流行的n-gram算法。

比如当我们在搜索引擎中进行搜索时,出现的联想词就能用此方法实现。

具体来说,下面的三行文本中,第一行纯粹是随机生成,第二行考虑了单词在英语中整体的出现概率,第三行则考虑了单词在前一个词后面出现的概率。

  • n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…
    n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…
    n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…

不难看出,随着n值的升高,文本越来越接近人类语言。

而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念,就能生成像模像样的句子。

据此有人猜想,GPT-4会不会也只是一种高级的n-gram呢?

Bayless提出,GPT必须学会抽象才能有如今的效果,至少GPT-4肯定如此。

GPT-4不只是“随机鹦鹉”

要证明这一点,可以先看下棋机器人的例子。

如果有一种下棋机器人,存储了巨量棋谱数据,对于每个棋局都能推荐下一步。

那它就能通过“背谱法”模仿其他任何棋手或程序的下法

比如Stockfish是最先进的国际象棋程序,如果仅通过对战而不看源码,是无法确定Stockfish是否在背谱。

但实际上,包含所有情形和步骤的棋谱数据量可能超过2^154。

而Stockfish的程序只占用了不到50MB的空间,根本不可能存下需要的所有棋谱。

所以Stockfish肯定是通过更高级的方法来实现下棋的。

人类语言的复杂度远超过棋类游戏,因此GPT的数据量更是同理。

仅在上一代的GPT-3的token字典中就有超过5万token。

如果对每个词都逐一建立统计信息,n-gram模型中n值将高达8000。

届时,需要存储的情景数量将达到50000^8000。

正如文章开头所提到,这简直是天文数字,足以让整个宇宙坍缩。

因此,GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。

“随机鹦鹉”达不到的高度

仅在理论上进行说明是不充分的,因此研究人员还进行了两个实验,意图证明大模型在学习过程中已经抽象出了算法。

第一个实验关于一个经典的农夫过河问题。

  • 一个农夫有一条船,和狼、羊、菜,农夫要把这3样东西运到河道另一边,农夫每次最多只能通过这个船运一样东西,要防止狼吃羊、羊吃白菜(即不能在没有农夫在的情况下同时在同一岸边),该怎么过?

研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。

狼、羊和菜则分别换成火星人、金星人和月球人。

替换的目的是因为互联网上不太可能出现类似语料,可以判断大语言模型是不是真的掌握了通用方法。

如果GPT不是“随机鹦鹉”,那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。

GPT-4针对替换后的问题给出了正确的回答,GPT-3.5则没有。

但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。

回答中使用的句子,也无法在互联网中被检索到。

这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。

第二个实验则是数字排序。

如果让GPT学习数字排序,它们究竟是只会记住给出过的数字顺序,还是真的研究出排序算法呢?

其实只要从GPT的输出当中就可以看出来了。

假如从1-100中随机选择10个数字,并将其顺序打乱,将一共有这么多种情形:

如果再考虑数字的重复出现,又或者数字的数量发生变化,根本不可能存储如此之多的情形。

因此,只要GPT能够针对未知的排序问题给出正确的回答,便可以说明它们是真的研究出了排序算法。

研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT,专门让它做数字排序。

结果显示,随着训练步数的增加,模型给出的数字顺序越来越完美。

虽然在训练步数达到16万左右时突然出现了大量错误,但也很快得到了纠正。

这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序,而是已经掌握了背后的方法。

这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。

更不必说GPT-4了。

参考链接:
https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国防部:做好应对突发事件的一切准备

国防部:做好应对突发事件的一切准备

华西都市报
2024-03-29 03:53:08
媒体人徐江:16年鲁能拒绝了200w要求,导致保级很困难

媒体人徐江:16年鲁能拒绝了200w要求,导致保级很困难

直播吧
2024-03-28 23:00:21
魔笛绝响?西媒:皇马已接受莫德里奇离开,将以最特别方式告别

魔笛绝响?西媒:皇马已接受莫德里奇离开,将以最特别方式告别

直播吧
2024-03-28 18:34:40
甩开俄罗斯,国产C929大飞机再传喜讯,交付进入倒计时

甩开俄罗斯,国产C929大飞机再传喜讯,交付进入倒计时

科技小张
2024-03-28 18:25:43
随着火箭10连胜,湖人勇士赢球,快船1分逆转,NBA西部排名如下

随着火箭10连胜,湖人勇士赢球,快船1分逆转,NBA西部排名如下

刺头体育
2024-03-28 18:38:12
宁德时代曾毓群:电动汽车安全性比燃油车好一千倍 我们可以让电动车发生火灾概率降到千万分之一【附动力锂电池行业趋势】

宁德时代曾毓群:电动汽车安全性比燃油车好一千倍 我们可以让电动车发生火灾概率降到千万分之一【附动力锂电池行业趋势】

前瞻网
2024-03-28 16:58:15
️船人L2M:乌布雷绝杀上篮被乔治犯规 漏吹乌布雷抢板犯规

️船人L2M:乌布雷绝杀上篮被乔治犯规 漏吹乌布雷抢板犯规

直播吧
2024-03-29 08:03:13
中俄千万合作告吹!俄海军向全世界宣布“全面弃用中国发动机”,国产技术差在哪?

中俄千万合作告吹!俄海军向全世界宣布“全面弃用中国发动机”,国产技术差在哪?

司马平邦
2024-03-28 20:21:49
招商银行近两年向员工追薪1亿多元上热搜!网友:追回的是绩效工资,被追回说明年底没完成任务

招商银行近两年向员工追薪1亿多元上热搜!网友:追回的是绩效工资,被追回说明年底没完成任务

和讯网
2024-03-28 13:41:06
于文文演唱会现场私处清晰可见?真相远比想象的还要恶心

于文文演唱会现场私处清晰可见?真相远比想象的还要恶心

莫问先生
2024-03-26 22:56:49
卢卡申科跟普京唱反调

卢卡申科跟普京唱反调

寰宇大观察
2024-03-27 21:57:37
闹大了!官方下场了,具俊晔妈妈让他离婚回韩国?大S恐成一场空

闹大了!官方下场了,具俊晔妈妈让他离婚回韩国?大S恐成一场空

七阿姨爱八卦
2024-03-27 21:49:19
媒体人徐江:我明确告诉你,孙准浩下球了

媒体人徐江:我明确告诉你,孙准浩下球了

直播吧
2024-03-28 19:28:22
小米汽车金融方案曝光:与4家银行合作,年化利率4.76%

小米汽车金融方案曝光:与4家银行合作,年化利率4.76%

新经济IPO
2024-03-29 01:30:20
躺在水晶棺里很多年的毛主席,如今看上去也还是和睡着了一般安详

躺在水晶棺里很多年的毛主席,如今看上去也还是和睡着了一般安详

回京历史梦
2024-03-28 17:37:56
姚明女儿又胖了!14岁身高190体重超近200斤,网友:这谁敢娶?

姚明女儿又胖了!14岁身高190体重超近200斤,网友:这谁敢娶?

吃瓜局
2024-03-27 15:26:58
2003年,张柏芝和陈小春同游曼谷,结果两人被媒体拍摄下来

2003年,张柏芝和陈小春同游曼谷,结果两人被媒体拍摄下来

小白兔趣闻
2024-03-28 20:32:17
打死不能放冰箱的4种食物,不保鲜反而有害健康,赶紧回家拿出来

打死不能放冰箱的4种食物,不保鲜反而有害健康,赶紧回家拿出来

小董美食
2024-03-28 21:02:55
人类DNA之父:从严格意义上说,黑人不能被真正定义为人类

人类DNA之父:从严格意义上说,黑人不能被真正定义为人类

泸沽湖
2024-03-14 09:30:09
南通两部门,你们祖宗的棺材板按不住了

南通两部门,你们祖宗的棺材板按不住了

不主流讲话
2024-03-28 10:30:26
2024-03-29 08:48:49
量子位
量子位
追踪人工智能动态
9218文章数 175122关注度
往期回顾 全部

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

展车撞人 投诉飙升 极氪该掰谁的手腕?

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

亲子
旅游
教育
手机
房产

亲子要闻

萌娃刚脱完尿布湿,小小年纪就叱咤健身房了!

旅游要闻

在广西不洗澡,是不是犯了天条啊?

教育要闻

“妈, 你还要我死几次?”:以爱之名的无声谋杀正在万千家庭上演

手机要闻

不到2000元能买到这样的手机?以前我想都不敢想!

房产要闻

炸裂!新政出台,这里安居房货量近100万㎡,均价最低到6000+!

无障碍浏览 进入关怀版