网易首页 > 网易号 > 正文 申请入驻

易观:正视GPT-4功能缺陷与能力局限可更好探索大模型应用

0
分享至

易观:GPT-4于2023年3月14日正式发布。与前代相比,GPT-4的功能有着非常大的提升,易观认为其功能符合预期,也依旧存在前代即存在的功能缺陷类型与能力局限性。GPT-4的原有功能提升与新特性使其可应用的范围更广,但对GPT-4的应用需正视其目前存在的功能缺陷与能力局限性,以采取技术手段、改进应用方法、设计应用流程等方式充分挖掘其应用潜力的同时规避可能存在的应用风险。

GPT-4的功能缺陷与能力局限性以及相关思考

3月14日,GPT-4正式发布。OpenAI首席执行官Sam Altman表示GPT-4是他们目前功能最强的模型,而GPT-4也极有可能是对公众开放使用的功能最强的大模型。与GPT-3.5相比,GPT-4的功能更强。在如GRE定量推理、SAT数学等为人类设计的多项模拟考试中成绩有较大幅度的提升,在传统机器学习模型评估中其成绩也有非常明显的提升。作为多模态模型,GPT-4对图像的理解极为准确,且能解读图像中的深层含义。在推理方面,GPT-4的思维链,即将复杂推理任务分解为多个中间推理步骤的能力较前代也有明显提升。易观认为GPT-4在功能上的提升重点是其多模态理解能力与思维链能力,而这也使GPT-4具有更广的应用空间。

但也如Sam Altman所言,GPT-4仍有缺陷,其能力也有局限性。功能缺陷方面,与第4版ChatGPT相比,GPT-4的回答虽然在各个领域的知识上的真实率有了平均19%的提升,但其回答仍然会“编造”事实,并进行错误的推理。目前有关GPT-4的公开信息仍然较少,但易观认为GPT-4采用的事实测试其数据与GPT-4训练数据分布存在偏差,因此可以认为在测试中GPT-4已展示出出色的领域泛化能力,且“编造”事实的情况也可以认为是领域泛化的应用尝试,这也与神经科学中关于形成认知的过程相关研究成果具有较强的相似性。但结合GPT-4对错误答案的“坚持”与拒绝审查错误答案的情况也说明GPT-4目前对训练数据分布的边界感知仍然非常模糊。能力局限性方面,GPT-4的绝大部分预训练数据截止至2021年9月,因此十分缺少在此时点之后的知识,比如GPT-4很可能不知道女王逝世的信息。且GPT-4不能从对话经验中进行学习,而这种能力的局限性也从侧面反映出目前距离通用人工智能还有很长的一段路要走。

从人工智能相关研究来看,应对GPT-4的功能缺陷需要关注领域泛化相关研究,建议关注元学习、自监督学习、解耦表达学习方面的研究进展以及运用强化学习探索中间表达的分布的相关研究。易观认为解决训练数据分布的边界感知问题可能需要以图的形式审视训练数据,但目前从对图的学习研究进展来看,利用图神经网络学习GPT-4的训练数据图仍然有着非常大的挑战。从能力局限性来看,需要长期关注持续学习领域相关研究的进展,建议关注域增量持续学习与任务不可知持续学习的相关研究进展,重点关注基于参数隔离的持续学习方法,易观认为应用于基于参数隔离持续学习方法仍然需要以图的形式审视基于任务的参数隔离方法,并要形成任务与隔离方法的评估标准。

从应用角度来看,既可以采用技术的方式降低GPT-4的应用风险,也可以通过改进应用方式拓展其可用性,企业更应在充分考虑其缺陷与局限性的前提下制定合理合规的应用流程。后续也将在这个部分进一步展开。

对GPT-4的部分猜想及其引发的对大模型开发与应用的思考

目前已知GPT-3的参数量为175B,而其后GPT-3.5的参数量未知。易观认为GPT-3.5的参数量可能已接近500B规模,而GPT-4的参数量即使在经后训练后很可能也已突破1T规模。而从ChatGPT的应用效果来看,很有可能GPT-3.5已经采用编解码架构,GPT-4也沿用同一架构。

根据以上猜想,从微软与OpenAI对GPT系列模型训练而准备的算力规模来看,已有针对超算的并行计算框架,并很大程度上解决了T级参数量大模型的并行计算问题,即在大模型开发的工程化能力方面获得了前沿经验,也可以保证后续开发的大模型参数量的持续增长。从目前公开的GPT-4训练方面的资料来看,OpenAI也已经对大模型训练的规律有着较好的总结,这也有利于开发针对某一领域,具备特定功能的大模型。AI工程化能力的升级对于我国进行大模型的开发与落地具备非常重要的借鉴意义。

在商业化的考虑上,GPT-4所产生的示范效应主要为如下几个方面,国内大模型开发与商用过程中可以予以借鉴。

其一,与GPT-3.5以及ChatGPT相比,GPT-4更侧重其企业级应用的稳定性与安全性,GPT-4在2022年8月已经完成训练,而为了应对可能的风险,在完成训练后直到正式发布的这段时间里一直在对其进行评估、对抗测试、迭代提升、微调与系统级的调整;

其二,尽管GPT-4并未开源,但是需要关注到OpenAI同时开源的Evals,既可以用来评估不同大模型的表现,也可以为特定问题设计专有的评估逻辑。这既可证明其产品能力,又为行业设定标准,更可用来辅助设计GPT-4在不同场景不同行业的应用模式。充分利用GPT-4的思维链能力,检查其推理逻辑,拓展其可用性,规避错误推理以及“编造”事实可能产生的应用风险,企业应用GPT-4时,也应针对性的设计人工审查环节,明确责任主体,充分利用其生产力的同时保证其应用的合规性,降低应用风险发生的可能性;

其三,深度协同形成最佳实践,激发围绕GPT-4应用与开发的无限可能性,此次摩根斯丹利、Be My Eyes、可汗学院等应用实践不仅是GPT-4能力的最佳佐证,也进一步引导了未来其应用的可能方向,包括智能客服、知识搜索、虚拟员工与智能办公等应用,以及在软件开发、金融、医疗、法律、广告等行业的应用价值等;

其四,开放文本输入字数限制,不仅仅展示了其快速的文本理解与逻辑学习能力,同时,也为其按照输出内容量收费的商业化可能性打开了想象空间,结合其最佳实践的引导,无论是场景应用还是商业模式方面,GPT-4均做出了比较好的示范,值得中国大模型予以借鉴。

声明须知:易观分析在本文中引用的第三方数据和其他信息均来源于公开渠道,易观分析不对此承担任何责任。任何情况下,本文仅作为参考,不作为任何依据。本文著作权归发布者所有,未经易观分析授权,严禁转载、引用或以任何方式使用易观分析发布的任何内容。经授权后的任何媒体、网站或者个人使用时应原文引用并注明来源,且分析观点以易观分析官方发布的内容为准,不得进行任何形式的删减、增添、拼接、演绎、歪曲等。因不当使用而引发的争议,易观分析不承担因此产生的任何责任,并保留向相关责任主体进行责任追究的权利。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
最新消息:传黄仁勋不复职,就集体辞职!

最新消息:传黄仁勋不复职,就集体辞职!

新浪财经
2026-11-19 22:26:26
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
苏州一企业家获8000多万拆迁款,18年后被以诈骗罪判14年刑,家属:打击报复

苏州一企业家获8000多万拆迁款,18年后被以诈骗罪判14年刑,家属:打击报复

追月数星
2026-11-19 22:11:49
果然,深圳不是雅尔塔!

果然,深圳不是雅尔塔!

新民周刊
2026-11-20 09:04:55
环球时报快评:高市是时候收回“台湾有事就是日本有事”错误言论了

环球时报快评:高市是时候收回“台湾有事就是日本有事”错误言论了

环球网资讯
2026-11-20 08:58:05
极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目新闻
2026-11-20 07:45:20
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
马斯克短短24小时中国行,专门从深圳飞到上海

马斯克短短24小时中国行,专门从深圳飞到上海

都市快报橙柿互动
2026-11-20 01:58:38
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
体操名将芦玉菲自曝社保长期欠费,应缴尽缴不能只等舆论倒逼

体操名将芦玉菲自曝社保长期欠费,应缴尽缴不能只等舆论倒逼

极目新闻
2026-11-19 15:03:12
美国又出手了,但网上一片叫好

美国又出手了,但网上一片叫好

吴女士
2026-11-19 13:32:59
2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

琴琴有氧运动
2026-11-19 17:19:36
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

扶苏聊历史
2026-11-19 11:35:42
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

小徐讲八卦
2026-11-20 06:39:39
中国籍28岁女子东京街头驾车撞死74岁日本老太,被捕后称:人确实是我撞的,因为没注意到

中国籍28岁女子东京街头驾车撞死74岁日本老太,被捕后称:人确实是我撞的,因为没注意到

东京新青年
2026-11-19 18:38:08
特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

读鬼笔记
2026-11-19 17:39:10
2026-11-20 10:12:49
易观分析
易观分析
激发科技与创新活力
946文章数 121关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

数码
艺术
教育
亲子
公开课

数码要闻

联想最便宜掌机!Legion Go Beam揭晓:取消触控板

艺术要闻

尼古拉·费欣:用色彩谱写交响曲的天才画家

教育要闻

减学分、可免修……大学英语要变了?

亲子要闻

这下山东人的身高又能往上窜一窜了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版