网易首页 > 网易号 > 正文 申请入驻

GPT-3记录被打破!谷歌推出1.6万亿参数的人工智能语言模型

0
分享至

  古谚道:“熟读唐诗三百首,不会作诗也会吟。” 这句话放在目前的人工智能语言模型中也非常适用。

  此前,OpenAI 的研究人员开发出 “GPT-3”,这是一个由 1750 亿个参数组成的 AI 语言模型,堪称有史以来训练过的最大的语言模型,可以进行原始类比、生成配方、甚至完成基本代码编写。

  如今,这一纪录被打破了。近日,谷歌研究人员开发出一个新的语言模型,它包含了超过 1.6 万亿个参数,这是迄今为止最大规模的人工智能语言模型,比之前谷歌开发的语言模型 T5-XXL 的规模大了 4 倍。


  参数是机器学习算法的关键所在,它们是从历史训练数据中学习到的模型的一部分。一般而言,在语言领域中参数的数量和复杂度之间的相关性非常好。这一点类似于 GPU 中晶体管的数量,在同样的制程工艺下,晶体管越多其算力便越强,而语言模型包含的参数愈多就愈接近人类自然语言。

  正如研究人员在一篇论文中指出的那样,大规模的训练是通向强大模型的有效途径,在大数据集和参数计数的支持下,简单的体系结构远远超过了更复杂的算法。但是,有效的大规模培训在计算上非常密集。这就是为什么研究人员热衷于他们所说的 “开关变压器”,这是一种 “稀疏激活” 技术,它只使用模型权重的一个子集或者在模型中转换输入数据的参数。

  “开关变压器” 是早在 90 年代初首次提出的一种人工智能模型范例,大体意思是将多个专家或专门处理不同任务的模型放在一个更大的模型中,并有一个 “门控网络” 来选择为任何给定数据咨询哪些专家。

  在一项实验中,研究人员使用 32 个 TPU 内核对几个不同的 “开关变压器” 模型进行了预训练,这些 TPU 内核位于一个从 Reddit、Wikipedia 和其他网络资源中搜集的 750GB 大小的文本数据语料库中,任务则是让这些模型预测段落中 15% 的单词被遮住的缺失单词,以及其他挑战,比如检索文本来回答一系列越来越难的问题。

  研究人员称,包含了 1.6 万亿参数和 2048 名专家的模型 Switch-C 显示 “完全没有训练不稳定性”。然而,在桑福德问答数据集的基准测试中,Switch-C 的得分居然比仅包含 3950 亿个参数和 64 名专家的模型 Switch-XXL 还要低一点,对此,研究人员认为是因为微调质量、计算要求和参数数量之间的不透明关系所致。

  在这种情况下,“开关变压器” 导致了一些下游任务的收益。例如,研究人员称在使用相同数量的计算资源的情况下,它可以使训练前的加速速度提高 7 倍以上。他们还证明 “稀疏激活” 技术可以用来创建更小、更密集的模型,这些模型可以对任务进行微调,其质量增益为大型模型的 30%。

  对此他们表示:虽然这项工作主要集中在超大模型上,但我们也发现只有两名专家的模型可以提高性能,同时很容易适应通用 GPU 或 TPU 的内存限制。另外,通过将稀疏模型提取为稠密模型,可以实现 10 到 100 倍的压缩率,同时获得专家模型约 30% 的质量增益。

  在另一个测试中,“开关变压器” 模型被训练在 100 多种不同语言之间进行翻译,研究人员观察到 101 种语言的 “普遍改善”,91% 的语言受益于比基线模型快 4 倍以上的速度。未来,研究人员还计划将 “开关变压器” 应用于新的领域,比如图像和文本。他们认为,模型稀疏性可以赋予优势,在一系列不同的媒体以及多模态模型。

  美中不足的是,研究人员的工作没有考虑到这些语言模型在现实世界中的影响,比如模型通常会放大一些公开数据中的偏见。对此,OpenAI 公司指出,这可能导致在女性代词附近放置 “淘气”;而在 “恐怖主义” 等代词附近放置 “伊斯兰” 等。根据米德尔伯里国际研究所的说法,这种偏见可能被恶意行为者利用,通过散布错误信息、造谣和谎言来煽动不和。

  而路透社也曾报道称,谷歌的研究人员现在被要求在研究人脸和情绪分析以及种族分类等话题之前,先咨询法律、政策和公关团队,性别或政治派别。

  综上所述,尽管谷歌训练的 1.6 万亿参数的人工智能语言模型还没办法做到真正意义上的人工智能,存在一些不足之处需要完善和优化,但随着在摩尔定律下电子设备算力的不断提升,近些年 AI 语言模型参数量级呈指数倍发展,相信在不久的将来,或许真的会出现一个无限接近熟读人类历史所有文明记录的超级模型,能够和人类完全实现自然语言交流,不妨让我们好好期待一下吧!

  -End-

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

为何很多人都从高层搬回低层?业内人士:高层住宅有8个“硬伤”

爽食走天下
2021-03-03 07:11:35

病毒或将再次爆发?中美专家罕见达成一致,中方要注意了……

粉粉绿绿
2021-03-05 11:40:23

惊蛰过后,不管有钱没钱,都要吃这6种“天然之珍”,错过等明年

小茉莉美食记
2021-03-05 13:08:46

巩俐活得很真实,脖子以上全是皱纹,面对镜头完全没有遮遮掩掩!

伊凡大叔叔
2021-03-04 22:24:35

《真三国无双》电影4月29日在香港上映 与黑寡妇对刚

3DMGAME官方号
2021-03-05 17:49:30

你一定想不到,中国有5万老人在从事这个职业

外滩画报
2021-03-05 12:21:23

别担心福原爱,她可不是傻白甜

8字路口
2021-03-04 20:31:41

因拒绝生孩子被王刚抛弃的成方圆,后来是怎样报复的?

十一郎说娱乐
2021-03-04 09:53:05

花16万增高7.2cm的李亚诺,术后毛病一堆,他坦言:现在很后悔

缁尘绮陌
2021-03-03 11:30:57

我国野猪局部泛滥,合法猎人持枪上岗,1年猎杀300头

钟铭聊科学
2021-02-28 14:12:37

文章走路驼背显消沉,与马伊琍离婚后品味堪忧,大金链子不离身

佘温聊科技
2021-03-04 12:30:40

英国王室再次震荡!93岁英女王伤透心!亲外孙离婚结束12年婚姻!

历史周边
2021-03-05 06:40:02

CCTV5直播辽宁VS上海,内线铁闸伤愈复出,杨鸣变首发弃用两将

替补席看球
2021-03-05 15:44:20

这一回,会有多少深圳炒房客崩盘?

娱乐一快乐
2021-03-04 05:11:17

余承东的话应验了!“假5G”手机原形毕露,华为或将成为大赢家

科学放大镜
2021-03-05 02:04:36

QQ突然取消“iPhone在线”功能:苹果装逼11年的特权没了……

躺倒鸭
2021-03-05 15:08:53

妹妹远嫁城里,半夜给母亲汇款20万,哥哥大喊:快报警,要出事

夏槿凉安城
2021-03-05 15:22:10

切尔诺贝利的“车辆坟场”:掩埋成本太高,坦克飞机只能露天存放

译眼看世界
2021-03-05 10:57:57

德国实习生向朋友炫耀牢房钥匙照片后 监狱急换600把锁

海外网
2021-03-05 15:26:23

央视曝光22亿元假机油案件始末!车主该如何避免中招?

全国能源信息平台
2021-03-04 19:03:45
2021-03-05 22:00:52
DeepTech深科技
DeepTech深科技
麻省理工科技评论独家合作
8585文章数 456261关注度
往期回顾 全部

科技要闻

法院裁定:禁止李国庆殴打、威胁、骚扰俞渝

头条要闻

2年前骂中国是"屎"的时尚品牌 又上演魔幻的操作

头条要闻

2年前骂中国是"屎"的时尚品牌 又上演魔幻的操作

体育要闻

攻陷安菲尔德!蓝军新帅挨个拥抱弟子

娱乐要闻

巩俐29年前美照曝光 红裙显明媚

财经要闻

汽车要闻

车神·经之魅影:劳斯莱斯家族中的坏孩子?

态度原创

旅游
健康
教育
数码
军事航空

旅游要闻

苏杭之间有座"避世小城",被誉为"养老天堂"

“驻颜”小心机让你拥有水嫩肌

教育要闻

多国规范中小学生在校使用手机

数码要闻

任天堂新Switch发布时间曝光:最快圣诞假期

军事要闻

老兵回归 封存的B52接受维护恢复现役