网易首页 > 网易号 > 正文 申请入驻

斯坦福「基础模型研究中心」华人Percy Liang任主任,业界炮轰:深度学习做不了基础模型!

0
分享至


新智元报道

来源:Stanford

编辑:LRS

【新智元导读】AI 最近的发展似乎都是靠大规模的深度学习模型推动的,所以斯坦福最近成立一个基础模型研究中心CRFM来专门研究大规模的深度学习模型。但业界普遍不看好斯坦福的这个操作,认为深度学习根本就没办法成为基础模型,斯坦福表示,道理我都懂,这个模型可以应个急嘛!

也许你没有感受到,但人工智能再一次掀起了范式转换革命。

八月,斯坦福大学的研究人员在arxiv 上传了一篇报告,宣布人工智能的新时代已经到来,一个建立在巨大的神经网络和数据海洋之上的时代。

随着模型(例如,BERT、DALL-e、GPT-3)的兴起,这些模型在大规模的大数据上进行训练,并且能够适应广泛的下游任务,这些模型可以作为其他任务的「基础模型」,基础模型的含义就是这些模型是不完整的,但它是必不可少的。


该报告提供了基础模型的机会和风险,包括他们的能力,例如,语言、视觉、机器人、推理、人类交互,技术原理,例如,模型体系结构、训练程序、数据、系统、安全性、评估、理论)到它们的应用,如法律、医疗保健、教育,和社会影响,如不平等、滥用、经济和环境影响、法律和道德考虑。

虽然基础模型是基于标准的深度学习和转移学习,但是它们的大规模导致它们可以在关键领域和诸多任务中重要的性能提升。

但这种同质化(homogenization)的使用需要谨慎,因为基础模型的缺陷是由所有适应模型继承的。

尽管基础模型即将普及,但我们目前对它们的工作原理却没有一个清晰的认识,当别的模型无法成功时,基础模型可以应急来处理一些需要AI 处理的问题。

并且表示,斯坦福大学的一个新研究中心,即基础模型研究中心CRFM (Center for Research on Foundation Models), 将建立并研究这些人工智能的「基础模型」。


作者包含了数十位斯坦福的老师们,如李飞飞等都参与了作者署名,并且作者单位也已经增加了CRFM。

这一想法一经发表,很多人立刻跳出来反对,即使在纪念新中心CRFM正式成立而组织的研讨会上,依然有很多人持反对意见:包括质疑神经网络模型的能力是否真的那么强大、还有神经网络让人类无法理解的行为。

另一些比较柔和的反对派表示,应当把更多精力放在研究如何使机器更加智能的方法上。


https://crfm.stanford.edu/

UC 伯克利大学的AI 领域教授Jitendra Malik 在视频讨论中表示,基础(foundation)这个词完完全全的错误!


Malik 承认,斯坦福大学研究人员指出的那些能够回答问题或从提示中生成文本的大型语言模型效果很好,在实际应用中有很大用途。但他还是认为进化生物学表明,语言的建立不仅仅需要智力,还需要物理世界、其他同类真实的互动。

目前研究这些模型都空中楼阁,并没有任何他们所谓的「基础」,在这些模型中使用的语言没有根据,生成或是问答都是虚假的,他们并没有真正的理解。

近年来,越来越多的人工智能模型在感知、机器人技术以及语言等领域取得了一些令人印象深刻的进步。

大型语言模型也是谷歌和Facebook等大型科技公司的基础,这些公司在搜索、广告和内容调节等领域使用大型语言模型。构建和训练大型语言模型需要数百万美元的云计算能力,也只有大公司才掏得起这个费用。

高昂的费用也限制了大规模模型的开发和使用,所以训练模型仅限于少数十分有钱的科技公司。

但大型模型也存在问题,语言模型从他们接受训练的数据中继承了那些带有偏见和冒犯性的文本,并且机器对常识或真假信息都没有判断的能力。

如果给出提示,大型语言模型可能会吐出令人不快的语言或错误信息,而且也不能保证这些大型模型将继续在机器智能方面取得进展。

斯坦福大学的提案使研究界产生了分歧。


亚利桑那州立大学教授Subbarao Kambhampati认为,称它们为「基础模型」完全就是没搞清楚状况,从这些模型到更通用的 AI 形式没有明确的方法,目前还处于探索中。


俄勒冈州州立大学教授、人工智能促进协会前主席托Thomas Dietterich表示,他「非常尊重」斯坦福新中心背后的研究人员,他也相信他们真正关心、也清楚这些模型可能带来的问题。

但 Dietterich 想知道基础模型的想法是否是为了为构建和工作所需的资源筹集资金,他表示对斯坦福给这些模型取了一个好听的名字,并创建了一个中心表示很惊讶,这有种插旗的感觉,可能对筹款方面有好处吧。

斯坦福大学李飞飞曾经还提议创建一个国家人工智能云(Nation AI Cloud),以便为从事人工智能研究项目的学者提供行业规模的计算资源。


华盛顿大学语言学系教授 Emily M. Bender 表示,她担心基础模型的想法反映了投资行业更青睐于模型,而非data-centric的 AI 方法。

Bender 表示,研究大型 AI 模型带来的风险尤为重要。她与他人合著了一篇于 3 月发表的论文,该论文引起了人们对大型语言模型问题的关注,并促成了两名谷歌研究人员的离职。

但她说,AI 的发展应该来自多个学科,而非只是模型改进。所有这些相邻的、非常重要的领域都缺乏资金,在我们将资金投入云端之前,她还希望看到资金投入其他学科。

新斯坦福研究中心主任Percy Liang 认为,他听到了批评,但认为有些人可能误解了该项目的目标。


Percy Liang是斯坦福大学计算机科学副教授,2004年于麻省理工学院取得学士学位,2011年于加州大学伯克利分校取得博士。主要研究方向为自然语言处理(对话系统,语义分析等方向)及机器学习理论。他的两个研究目标是

1、使机器学习更加健壮、公平和可解释;

2、使计算机更容易通过自然语言进行通信。

Percy 的团队推出的 SQuAD 阅读理解挑战赛是行业内公认的机器阅读理解标准水平测试,也是该领域的顶级赛事,被誉为机器阅读理解界的 ImageNet(图像识别领域的顶级赛事)。

Percy说,被称为基础的大型机器学习模型看起来独特而重要,因为它们能够处理现实世界的复杂性,正如大型语言模型的能力所证明的那样。他说反馈是健康学术辩论的一部分,也欢迎所有这些批评。

Percy补充说,斯坦福大学的研究人员完全意识到这些模型的局限性,并在他们的研究论文中描述了一些。他们也不相信这些模型是在人工智能领域取得进一步飞跃所需要的。这只是一种不受限制的原始潜力,我们需要找到一种方法来利用和遏制。

参考资料:

https://www.wired.com/story/stanford-proposal-ai-foundations-ignites-debate/

https://crfm.stanford.edu/report.html

https://arxiv.org/abs/2108.07258


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不为人知的历史:特朗普的叔叔,曾是中国造原子弹的“功臣”

不为人知的历史:特朗普的叔叔,曾是中国造原子弹的“功臣”

趣史录
2021-10-24 10:32:30
突发!房地产税改革试点来了!国家刚宣布!

突发!房地产税改革试点来了!国家刚宣布!

祥顺财税俱乐部
2021-10-24 10:36:48
杭州一工人徒手穿梭17楼窗外修空调,涉事公司:将调查停职

杭州一工人徒手穿梭17楼窗外修空调,涉事公司:将调查停职

极目新闻
2021-10-24 12:52:19
10省份疫情告急!23人栽在同一家餐馆,高升后的张文宏说出真相

10省份疫情告急!23人栽在同一家餐馆,高升后的张文宏说出真相

李月亮
2021-10-23 20:54:07
终于确认,全国多地疫情溯源有个重大发现,钟南山的提醒很重要

终于确认,全国多地疫情溯源有个重大发现,钟南山的提醒很重要

海拔新观察
2021-10-24 09:37:43
孕妇被四人轮流侵犯8小时后身亡:“长那么好看,她活该!”

孕妇被四人轮流侵犯8小时后身亡:“长那么好看,她活该!”

民生百态滋味
2021-10-24 10:29:54
13岁开始被“干爹”宠爱,“神仙姐姐”现在混到“惨不忍睹”

13岁开始被“干爹”宠爱,“神仙姐姐”现在混到“惨不忍睹”

10点阅读
2021-10-24 03:56:49
印度反对无效,中国的藏水入疆工程,有可能开建吗?

印度反对无效,中国的藏水入疆工程,有可能开建吗?

你好科普菌
2021-10-24 10:39:07
司法部政治部主任、党组成员郭文奇调任中央和国家机关工委副书记

司法部政治部主任、党组成员郭文奇调任中央和国家机关工委副书记

澎湃新闻
2021-10-24 13:12:46
三节砍28分,谁注意到丁彦雨航出手次数,山东顶薪或买虐菜高手

三节砍28分,谁注意到丁彦雨航出手次数,山东顶薪或买虐菜高手

东球弟
2021-10-24 13:06:38
“迪拜最帅王储”在世界最高摩天轮顶喝咖啡

“迪拜最帅王储”在世界最高摩天轮顶喝咖啡

看看新闻Knews
2021-10-24 10:05:04
一条让人瞠目结舌的新闻,西方这样内讧了!

一条让人瞠目结舌的新闻,西方这样内讧了!

牛弹琴
2021-10-24 08:02:43
红四方面军总政委陈昌浩,建国后没有授衔,为何61岁时自尽

红四方面军总政委陈昌浩,建国后没有授衔,为何61岁时自尽

金中心在海边
2021-10-24 11:21:11
荒唐!丈夫发现2岁儿子非亲生,妻子死不承认:你就是想要钱

荒唐!丈夫发现2岁儿子非亲生,妻子死不承认:你就是想要钱

紫葳姑娘
2021-10-24 10:53:25
高铁上拍照真好看!

高铁上拍照真好看!

笑skr我滴神
2021-10-23 22:03:52
安徽:夫妻蜜月期街头大吵,10万彩礼只退3万,钻戒也不还

安徽:夫妻蜜月期街头大吵,10万彩礼只退3万,钻戒也不还

余年
2021-10-23 10:42:48
200多名“处女”集体卖淫 每晚一万元

200多名“处女”集体卖淫 每晚一万元

解压捏捏
2021-10-22 17:08:48
油价已暴涨60%!多国汽油价每升破9元

油价已暴涨60%!多国汽油价每升破9元

中国基金报
2021-10-24 07:58:28
今晨一辆电瓶车违法驶上徐浦大桥,骑手被撞身亡

今晨一辆电瓶车违法驶上徐浦大桥,骑手被撞身亡

新民晚报
2021-10-24 13:50:12
太阳熄灭后,人类要多久才能感知?8分钟后?准确来说是10000年

太阳熄灭后,人类要多久才能感知?8分钟后?准确来说是10000年

你好科普
2021-10-24 10:53:32
2021-10-24 15:50:44
新智元
新智元
AI产业主平台领航智能+时代
7335文章数 51732关注度
往期回顾 全部

科技要闻

李佳琦一夜卖出106亿,单挑十个skp,我们低估了双十一

头条要闻

美副总统被当场被质问:为何不与中国共建"一带一路"

头条要闻

美副总统被当场被质问:为何不与中国共建"一带一路"

体育要闻

助攻+破门+乌龙 伊布还是永远的主角

娱乐要闻

“叛逆亚姐”吴绮莉与大佬的情仇

财经要闻

汽车要闻

售价48万起 2023款路虎发现特别版海外发布

态度原创

时尚
亲子
数码
旅游
本地

Lyst第三季度时尚品牌产品热榜出炉

亲子要闻

孩子不好好吃饭?不要慌,教你6招搞定

数码要闻

从未发布的苹果VideoPad被拍卖 售价或达12000美元

旅游要闻

迎合年轻人口味的自热火锅,还好吗?

本地新闻

奇门兵器大揭秘:刺客信条武器竟来自印度?