关键词:深度学习,神经标度律,大语言模型,图神经网络
论文题目:Neural scaling of deep chemical models 期刊来源:Nature Machine Intelligence 斑图地址:https://pattern.swarma.org/paper/ebba33f4-71f7-11ee-a391-0242ac17000d 论文地址:https://www.nature.com/articles/s42256-023-00740-3
大规模,无论是从数据可用性还是计算而言,都为深度学习的关键应用领域 (如自然语言处理和计算机视觉) 带来了重大突破。有最新证据表明,规模可能是科学深度学习的关键因素,但科学领域中物理先验的重要性使得扩展策略和效益变得不确定。
这项发表于 Nature Machine Intelligence 的最新研究通过在大型化学模型中改变模型和数据集的大小,跨多个数量级考察了神经标度行为 (neural-scaling behaviour) ,研究了在多达一千万数据点的数据集上进行预训练的、具有超过十亿参数的模型。
研究者考察了用于生成化学和用于机器学习原子间势的大语言模型和图神经网络,并研究了物理先验与规模之间的相互作用,并发现化学语言模型的经验神经标度关系,其中最大数据集的缩放指数为0.17,对于等变图神经网络原子间势,缩放指数为0.26 。
图1. 在深度化学模型中发现神经标度律的流程概览。
编译|梁金
AI+Science 读书会
详情请见:
1.
2.
3.
4.
5.
6.
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.