网易首页 > 网易号 > 正文 申请入驻

Nat. Mach. Intell.速递:深度化学模型的神经标度

0
分享至



关键词:深度学习,神经标度律,大语言模型,图神经网络



论文题目:Neural scaling of deep chemical models 期刊来源:Nature Machine Intelligence 斑图地址:https://pattern.swarma.org/paper/ebba33f4-71f7-11ee-a391-0242ac17000d 论文地址:https://www.nature.com/articles/s42256-023-00740-3

大规模,无论是从数据可用性还是计算而言,都为深度学习的关键应用领域 (如自然语言处理和计算机视觉) 带来了重大突破。有最新证据表明,规模可能是科学深度学习的关键因素,但科学领域中物理先验的重要性使得扩展策略和效益变得不确定。

这项发表于 Nature Machine Intelligence 的最新研究通过在大型化学模型中改变模型和数据集的大小,跨多个数量级考察了神经标度行为 (neural-scaling behaviour) ,研究了在多达一千万数据点的数据集上进行预训练的、具有超过十亿参数的模型。

研究者考察了用于生成化学和用于机器学习原子间势的大语言模型和图神经网络,并研究了物理先验与规模之间的相互作用,并发现化学语言模型的经验神经标度关系,其中最大数据集的缩放指数为0.17,对于等变图神经网络原子间势,缩放指数为0.26 。


图1. 在深度化学模型中发现神经标度律的流程概览。

编译|梁金

AI+Science 读书会

详情请见:

‍1.

2.

3.

4.

5.

6.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
复旦44岁博士与35岁女硕士结婚,2个月后才知妻子真实身份

复旦44岁博士与35岁女硕士结婚,2个月后才知妻子真实身份

莉雅细细谈
2024-04-23 20:16:02
笑晕了!吴艳妮整容前后照片曝光,判若两人!网友纷纷炸裂不敢信

笑晕了!吴艳妮整容前后照片曝光,判若两人!网友纷纷炸裂不敢信

雨天华夏
2024-04-30 16:16:35
厉害!伊能静为秦昊新剧宣传发文堪称百万文案,她能不能教教大S

厉害!伊能静为秦昊新剧宣传发文堪称百万文案,她能不能教教大S

小村民
2024-04-28 12:13:28
中央政治局会议:确保债务高风险省份和市县既真正压降债务、又能稳定发展

中央政治局会议:确保债务高风险省份和市县既真正压降债务、又能稳定发展

澎湃新闻
2024-04-30 15:14:26
“一箭双星”宣告失败,点火8分钟后偏离轨道,24.5亿打水漂!

“一箭双星”宣告失败,点火8分钟后偏离轨道,24.5亿打水漂!

星辰故事屋
2024-03-08 21:12:51
师者马云,逃向日本

师者马云,逃向日本

星光璀璨娱乐
2024-04-26 22:00:35
政治局会议释放政策信号 专家认为货币政策在稳健基础上将更灵活适度、精准有力

政治局会议释放政策信号 专家认为货币政策在稳健基础上将更灵活适度、精准有力

财联社
2024-04-30 18:18:10
再这么搞下去,失业的人只会越来越多!政府该做些什么?

再这么搞下去,失业的人只会越来越多!政府该做些什么?

鹏飞深文
2024-04-27 13:40:46
4月30日00时国内金价大幅下跌!!今日金价!各大金店价格!

4月30日00时国内金价大幅下跌!!今日金价!各大金店价格!

喜欢农家生活的阿繁
2024-04-30 11:43:32
新华社消息|外交部发言人证实法塔赫和哈马斯日前在北京磋商

新华社消息|外交部发言人证实法塔赫和哈马斯日前在北京磋商

新华社
2024-04-30 17:26:09
中共中央政治局召开会议 决定今年7月在北京召开中国共产党第二十届中央委员会第三次全体会议

中共中央政治局召开会议 决定今年7月在北京召开中国共产党第二十届中央委员会第三次全体会议

财联社
2024-04-30 15:04:14
尘埃落定!郭士强任男篮新主帅悬念揭晓!出局之夜,与妻子相拥

尘埃落定!郭士强任男篮新主帅悬念揭晓!出局之夜,与妻子相拥

刘哥谈体育
2024-04-30 18:13:00
戏言成真!我赚够3000万就收手!付鹏全网删号!评论区网友都炸了

戏言成真!我赚够3000万就收手!付鹏全网删号!评论区网友都炸了

娱乐圈酸柠檬
2024-04-30 17:38:38
2024央视五一晚会,节目精彩、明星云集,熟悉的主持人阵容引期待

2024央视五一晚会,节目精彩、明星云集,熟悉的主持人阵容引期待

竹叶山的红杜鹃
2024-04-29 05:30:03
曝黄子韬求婚后续:一直沉默,粉丝集体破房脱粉,大量亲密照曝光

曝黄子韬求婚后续:一直沉默,粉丝集体破房脱粉,大量亲密照曝光

青皮喵
2024-04-30 02:31:17
福瑞泰克何德何能与博世并列?挂羊头卖狗肉,变相地偷工减料?

福瑞泰克何德何能与博世并列?挂羊头卖狗肉,变相地偷工减料?

CAD画家
2024-04-30 07:00:10
医学院是他的后花园,329名情人刷新医学界纪录!

医学院是他的后花园,329名情人刷新医学界纪录!

七月故事会
2024-04-26 11:02:02
55年韩先楚拟授中将军衔,毛主席得知后直言:别忘了在海南的功劳

55年韩先楚拟授中将军衔,毛主席得知后直言:别忘了在海南的功劳

趣知史馆
2024-04-29 21:15:03
每次出差都要穿职业装,太让人羡慕了

每次出差都要穿职业装,太让人羡慕了

白宸侃片
2024-04-29 09:37:09
网传清华大学10级毕业生生娃调查,一个不生占45.2%,二胎以上仅为5.3%

网传清华大学10级毕业生生娃调查,一个不生占45.2%,二胎以上仅为5.3%

可达鸭面面观
2024-04-29 11:31:27
2024-04-30 22:16:49
集智俱乐部
集智俱乐部
科普人工智能相关知识技能
4490文章数 4581关注度
往期回顾 全部

科技要闻

华为一季度营收1784.5亿 净利196.5亿

头条要闻

小米SU7发布28天锁单7.5万台 雷军在北京车展受热捧

头条要闻

小米SU7发布28天锁单7.5万台 雷军在北京车展受热捧

体育要闻

穆雷,绝杀了一个时代

娱乐要闻

黄子韬被曝求婚徐艺洋 大量亲密照曝光

财经要闻

中共中央政治局:要灵活运用利率和存款准备金率等工具

汽车要闻

越野老炮最爱 哈弗新H9新增2.4T柴油机

态度原创

时尚
房产
艺术
本地
军事航空

为什么当代年轻人,宁愿多加几百块买进口冲锋衣,也不穿凯乐石?

房产要闻

刺激!市区惊现1.1w/㎡新房+现房!海口楼市,五一打响价格战!

艺术要闻

用耳朵看展览?西岸美术馆最新特展关注声音艺术

本地新闻

食味印象 | 潍坊:碳水脑袋的人间乐园

军事要闻

以官员:以总理求助拜登阻止逮捕令

无障碍浏览 进入关怀版