网易首页 > 网易号 > 正文 申请入驻

GPT-4学习笔记|大力出奇迹的LLM模型

0
分享至

周末一大早,睡眼惺忪的时候,就被学妹拉到了她的中科院校友会兴趣群里。博士、科学家们创建了个GPT兴趣群,学妹知道我现在正在夜以继日的试图跟上AI的进化,顺手拉了我一把。

短短几分钟之内,这个群就满员了。

学妹说,这个群的建立速度,充分反映了人类的好奇心和恐惧。

我说我感兴趣的的是这个群很可能会孵化出很多项目甚至初创公司。

要知道,GPT-4之父OpenAI公司,恰好也是一家科学家组成的公司。

1、OpenAI的前生今世

很长一段时间,AI技术牢牢把持在谷歌、DeepMind(被谷歌收购)等巨头手里,尤其是DeepMind的阿尔法狗家喻户晓。

2015年12月,特斯拉汽车创始人埃隆·马斯克,格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI。

不久前,马斯克发推抱怨:我仍然很困惑,为什么一个我捐赠了1亿美元的非营利性机构,竟然变成了一个市值300亿美元的营利性机构?

我们先不谈OpenAI的“变质”,如果不是微软不计成本的给它输血(资金、Azure云资源),我们恐怕看不到AI快速发展的今天。

2、什么是GPT

2017年,Google团队首次提出基于自注意力机制的Transformer模型,并将其应用于自然语言处理。

OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文翻译为生成型预训练变换模型)。

该模型用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。

GPT-1诞生于2018年,主要实现功能包括:自然语言推理,判断两个句子的关系(包含、矛盾、中立);问答与常识推理,输入文章及若干答案,输出答案的准确率;语义相似度识别,判断两个句子语义是否相关;分类,判断输入文本是指定的哪个类别。

GPT-1使用了几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个。

2019年,GPT-2发布,模型参数量提高到15亿个。GPT-2和GPT-1在技术路线上没有本质的不同,只是增加了数据量。

2020年,GPT-3发布,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确。

2022年发布的ChatGPT,是在GPT-3基础上的GPT3.5版本。

如果说ChatGPT带来一抹惊艳的话,GPT-4就是对“传统”AI摧枯拉朽的打击。

从参数量来说,GPT-4高达100万亿个(据报道未证实,也有人推算没有那么大)。

GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。甚至能看懂梗图,并能找到梗所在的点。

GPT的发展过程中,1、2都没有带来太多的影响力,被认为是各种AI路线中的一支。但随着GPT-3尤其是GPT-4的出现,人们惊讶的发现,原来这就是AI的未来。

即便是大量资源押注AI的谷歌,也没有料到GPT的成功。中国的AI企业也在相关领域进行研发。

乐观估计,中国相关企业在技术上落后的时间大概是2-3年,并没有非常大的代差。

3、关于LLM模型

人类和机器的交互,是从汇编语言开始的。这是经过训练的人类和机器都能读懂的语言,但由于门槛过高,开始衍生出各种编程语言。

从上古的C语言到现在流行的Python,编程语言越来越简单,但距离机器直接理解人类的语言,依然有一定的距离。

我们必须需要工程师来做这个“翻译”。

NLP(Natural Language Processing自然语言处理)研究的目标,就是让机器能够直接理解并能输出人类语言。

其中,GPT依赖的LLM(Large Language Model,大型语言模型)成为目前最佳的选择方案。

PS,我不认为LLM是唯一的最终路线,只是现阶段最合适的路线。

OpenAI的成功有一定的偶然性,如果不是微软在搜索领域本来就比较落后,所以敢于“搏命”,ChatGPT这种模式,对搜自身的索引擎业务是致命打击(谁还去付广告费?)。

从GPT-1到GPT-4的迭代,并非是由于关键技术革命性的突破(也不是认为这个过程中技术的发展不重要),而是数据量的增加。

4、瓶颈

对于中国企业来说,方向既定的情况下,并不缺人才(全球顶级AI科学家30%以上是中国人或华裔),缺的是资金和算力。

资金并不是一件太难的事,有了OpenAI金玉在前,国内资本大佬也会舍得投入,但算力是个大问题。

美国限制了A100等高端显卡对中国的出口,虽然黄皮衣第一时间推出了阉割版给中国特供,但性能差异非常明显。

国产显卡还刚刚起步,景嘉微还没有向算力卡方向大规模发展,摩尔进程大概能接近英伟达5、6年前的水准,壁仞科技也拿出了不错的产品,但大概率在代工方面受制于人。

考虑到OpenAI几乎喂进去全人类的知识量,也不过烧掉十几万张显卡,算力的问题,其实同样可以“大力出奇迹”,用相对低端的产品堆起来,这可能需要各大AI企业携手了。

有人认为中国的语境对AI的发展有严重束缚,殊不知在吃西瓜摘棉花都是敏感词的美国,语境限制并不差到哪儿去,从技术上来讲,这都是小事。

还有人认为显卡的缺失和中国长期禁游戏有关,虽然我个人也反对无差别的禁游戏,但问题是也没人用10万块(黑市20万+)的A100来打游戏啊!

5、应用

现在的GPT-4已经开放了文字输入输出功能,展示(暂未开放)了图像的识别和输出功能,可以想象的未来,语音、视频等真正多模态的输入输出,将成为各大AI企业创新研发的重点。

比如有人认为中文在互联网上占比太低,导致GPT-4里的中文内容缺乏。这个问题其实很好解决(事实上GPT-4也是这么办的),把中文翻译成英文后再输入LLM,输出再翻译回来。

那么在语音结合方面,科大讯飞就比较有优势,可以把语音转化成文字最终翻译成英文喂给AI;类似的,在视频结合方面,海康、商汤、旷视等企业就有很大的优势,把视频信息解读为文本信息再喂给AI。

回过头来再看当初的制裁,是不是豁然开朗了?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国再碰中国“逆鳞”,中方忍无可忍,连夜作出“大动作”!

美国再碰中国“逆鳞”,中方忍无可忍,连夜作出“大动作”!

三分亮剑
2024-05-14 10:19:17
多地明确:不再提倡!上海已叫停多年,这个习惯不是“高素质”,经常赶地铁的快看→

多地明确:不再提倡!上海已叫停多年,这个习惯不是“高素质”,经常赶地铁的快看→

北青网-北京青年报
2024-05-15 13:23:13
中美“芯片战”终于达成“共识”:美国不卖了,中国不买了?

中美“芯片战”终于达成“共识”:美国不卖了,中国不买了?

大卫聊科技
2024-05-13 22:30:02
又一房企“爆雷” !曾与碧桂园、恒大等并称“华南五虎”

又一房企“爆雷” !曾与碧桂园、恒大等并称“华南五虎”

北京商报
2024-05-14 16:46:35
这次很严重,100艘菲律宾船强攻黄岩岛:我国26船民兵连夜出动!

这次很严重,100艘菲律宾船强攻黄岩岛:我国26船民兵连夜出动!

青年的背包
2024-05-15 19:11:05
女子卷走60万拆迁款后人间蒸发,警方在15米深的地底找到真相

女子卷走60万拆迁款后人间蒸发,警方在15米深的地底找到真相

重案讲说人
2024-05-14 18:00:09
河南出现10级大风袭扰 气象专家解读强风成因

河南出现10级大风袭扰 气象专家解读强风成因

北青网-北京青年报
2024-05-15 17:43:11
没有止步于14nm! 台积电前高管, 中芯国际能够造出3nm芯片

没有止步于14nm! 台积电前高管, 中芯国际能够造出3nm芯片

龙哥讲娱乐记
2024-05-15 15:48:16
东莞又一工厂宣布停工停产,1000多人将面临失业!相关补偿到位…

东莞又一工厂宣布停工停产,1000多人将面临失业!相关补偿到位…

火山诗话
2024-05-15 05:52:08
河南女子晒婆婆做的晚餐,走红朋友圈,网友:可以当你妯娌吗?

河南女子晒婆婆做的晚餐,走红朋友圈,网友:可以当你妯娌吗?

阿龙美食记
2024-05-14 15:36:26
河南64岁大爷五年间染指55名女性,只因太了解女性心理

河南64岁大爷五年间染指55名女性,只因太了解女性心理

真实故事汇
2024-05-06 13:31:30
哈尔科夫地区的战斗非常激烈:俄军伤亡惨重,一些部队已被打光

哈尔科夫地区的战斗非常激烈:俄军伤亡惨重,一些部队已被打光

探索星空
2024-05-15 13:58:23
拉一分涨停,砸一分跌停,保力新股价0.09,正在演绎最后的绝唱!

拉一分涨停,砸一分跌停,保力新股价0.09,正在演绎最后的绝唱!

惜别的海岸
2024-05-15 14:42:13
汪峰新女友和前夫昔日合照曝光,大量私人生活照公开

汪峰新女友和前夫昔日合照曝光,大量私人生活照公开

素素娱乐
2024-05-15 09:35:50
98年香港金融保卫战:中国动用1200亿对轰,犹太资本从未输这么惨

98年香港金融保卫战:中国动用1200亿对轰,犹太资本从未输这么惨

卡索
2024-05-13 14:58:39
大瓜!具俊晔深夜被赶出家门?提着行李垂头丧气!评论区炸锅了!

大瓜!具俊晔深夜被赶出家门?提着行李垂头丧气!评论区炸锅了!

小娱乐悠悠
2024-05-15 13:21:01
法院判了!沪老太太故意推倒摩托车后死亡,车主被网暴终于有结果

法院判了!沪老太太故意推倒摩托车后死亡,车主被网暴终于有结果

蛙斯基娱乐中
2024-05-15 09:07:48
一位主席、四位元帅帮忙,都不能为粟裕平反,杨尚昆:他不点头

一位主席、四位元帅帮忙,都不能为粟裕平反,杨尚昆:他不点头

今人说古
2024-05-14 19:31:32
解放战争中,如果国民党获得胜利,今天的中国会是什么样

解放战争中,如果国民党获得胜利,今天的中国会是什么样

史诗长歌
2024-05-13 13:34:32
新华社消息|俄罗斯总统普京接受新华社书面专访

新华社消息|俄罗斯总统普京接受新华社书面专访

新华社
2024-05-15 08:28:29
2024-05-15 20:16:49
诗与星空
诗与星空
以财报为核心的上市公司分析
1954文章数 2104关注度
往期回顾 全部

科技要闻

谷歌回击OpenAI:搜索大改 新品剑指GPT-4o

头条要闻

泽连斯基:鉴于前线局势推迟参加所有国际活动

头条要闻

泽连斯基:鉴于前线局势推迟参加所有国际活动

体育要闻

乔丹-贝尔:CBA外援的另一种用法?

娱乐要闻

欧阳娜娜营销才女人设却没拿到学位?

财经要闻

吴清:把僵尸企业、害群之马坚决清出市场

汽车要闻

无感胜有感 驾驶沃尔沃EX30竟与众不同?

态度原创

房产
旅游
时尚
游戏
军事航空

房产要闻

万华“史诗级”交付,给海南楼市上了一课!

旅游要闻

赤道上走直线不可能?男子走了几步就失去重心

永远被她们“飒到”!会穿连体裤的女生们~

服务器被关仍坚守:3DS/WiiU还有四位玩家在线

军事要闻

布林肯突访基辅 称美国武器开始运抵乌克兰

无障碍浏览 进入关怀版