大模型时代的类摩尔定律

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。

摩尔定律从其提出来一直主宰了半导体行业的发展，虽然半导体领域的发展越来越接近物理的极限，但其仍然在影响着半导体产业的发展。随着ChatGPT的横空出世，大模型正在成为的生产力工具，并且仍然处于快速衍化当中。从大模型的衍化发展来看，Scaling Law主导着大模型的发展，同时也似乎存在类似摩尔定律的一些规律，下面我们就把最近观察到的关于大模型衍化规律总结一下，可以在后续更长地时间范围继续验证。

01

大模型的Scaling Law

2020年OpenAI提出了大模型的Scaling Law，指出大模型的性能主要与计算量、模型参数量和训练数据量三者的关系。模型的参数量越大，模型的学习效率越高，通常模型的性能的也越好。模型参数量越大，模型训练时的Loss曲线越陡峭，表明模型的学习效率越高，学习速度越快。模型达到收敛完成训练之后，参数量越大的模型，通常性能也会越好。

根据Scaling Law，可以预测模型的Loss曲线和训练数据量的关系，如果模型的参数量确定，可以预测最优的训练数据量。但是后来新的研究和试验发现，训练的数据量越大，模型的性能也越好。Llama3是基于15T token和数据进行训练，是Llama2的7倍多，Llama3的性能也比Llama2显著提升。

虽然决定模型性能的因素除了计算量、模型参数量和训练数据量三个因素之外，可能还有别的因素，也有人反对Scaling Law，但并不妨碍Scaling Law作为大模型的重要原理。目前业界有比较大的共识，Scaling Law的极限还远远没有达到。根据Scaling Law的基本原理，以及大模型发展的观察，或许可以得到大模型的类摩尔定律。

02

大模型的类摩尔定律

1、每18-24个月左右，模型参数的数量级提升

GPT-3出现之后，相当长一段时间内，主流模型的参数量在千亿数量级上，据推测GPT-4的参数量级在万亿数量级上，其他目前业界主要的模型参数量鲜有突破这个数量级的。GPT-5参数的数量级会不会突破十万亿呢？根据scaling law的特点，模型参数量越大，模型的学习效率越高，模型的效果也会越好，更大的参数规模，在算力充足的情况下，应该还是会被继续追逐的方向之一。所以很有可能每18-24个月左右，模型参数的数量级会一步一步提升，直到算力瓶颈或者scaling law失效。

2、每6-9个月左右，同等参数规模的模型，新一代模型性能都会显著提升

从去年至今，国内外主要大模型厂商发布的开源模型或商业模型都经过几轮的迭代，新一代的模型都明显比上一代模型在性能上有显著的提升。部分大模型以3-4个月左右的时代迭代升级一版，6-9个月的时间普遍的开源模型或商业模型至少都会有新一代版本发布，不仅各个模型的新一代版本显著优于上一代版本，根据模型发布的时间，最新发布的模型，通常也比其他之前发布的模型性能有显著提升。

3、每6-9个月左右，同样的性能，模型参数量减半

除了相同参数量的模型性能在不断提升，把模型的参数量做小，同时继续保持良好的性能，也是今年以来重要的新方向。把模型做小，使得模型可以运行在更多设备上，对推动模型的应用普及具有重要意义。最近这大半年的观察，大概每6-9个月左右，同样的性能，模型参数量至少减半，原来13B或14B模型的性能，6B或7B的模型就能达到；原来6B或7B模型的性能，6B或7B的模型就能达到。

4、每12个月左右，大模型Token价格数量级降低

最近不少大模型公司卷入了价格战，也有些大厂商表示不会参与价格战。但随着新版模型的性能不断提升，以及模型推理效率的不断提升，同时还有推理算力成本的降低等多种因素，长期来看大模型Token的价格会持续下降，大致每12个月左右，Token的价格会有数量级的降低。如果原来模型的token价格在50元/百万Token，12个月之后这个模型的Token价格可能不超过5元/百万Token。

编辑丨张皓程

审核 | 成蕴年

----- END -----

始智AI wisemodel开源社区最近上线了开源模型的在线体验功能，已经有近50个大模型可以直接进行在线体验。在线体验的创建无需任何代码开发，人人都可以来玩开源大模型。欢迎前往wisemodel.cn社区进行体验，若需指引可以参考《》。大家研发的模型也可以发布到wisemodel社区，同时适配一下wisemodel-API，相应模型就可以直接在线运行了。如果有需要模型的在线推理运行托管服务，也欢迎联系我们。

加入wisemodel社群

wisemodel相关

系统升级

系列模型：

关于wisemodel更多

1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。

向上滑动查看