Scaling Law一招鲜？首个晶体结构操作基准，顶级大模型集体翻车

新智元报道

【新智元导读】大模型在原子操作任务中遭遇瓶颈。尽管大模型能解析材料知识，却难以精准操控原子结构。研究指出Scaling Law在空间逻辑任务中效果有限，强调AI for Science需转向Action Scaling，提升模型在真实科研操作中的能力。

过去几年，大模型领域最成功的经验总结莫过于「Scaling Law（缩放定律）」。一个几乎被行业默认接受的共识是：只要模型足够大、数据足够多，能力就会持续涌现，甚至自动泛化到未知的领域。

但一项最新发布的材料学基准测试，却给这种「大力出奇迹」的乐观情绪带来了不一样的参考视角。

由中科大苏州高等研究院、新南威尔士大学等机构联合在ICML2026发布的AtomWorld，借助一系列真实原子操作任务得出结论：在文本理解、知识归纳等场景表现稳定有效的Scaling Law，落地到受物理规则约束的原子实操任务时，往往达不到预期效果。

论文地址：https://arxiv.org/abs/2510.04704

项目主页：https://masterai-eam.github.io/atomworld/

代码仓库：https://github.com/MasterAI-EAM/atomworld

理解不等于操作

在科学领域，大模型已经展现出了惊人的 「理解力」：读懂文献、预测材料性质、解析晶体结构、甚至科学发现。

比如，Anthropic推出AI科研工作台Claude Science，将科研拆成可逐步审计的流水线，实现综述写作、基因分析等特定环节效率提升10倍；Google DeepMind的GNoME用图神经网络预测无机晶体稳定性、以「生成候选→DFT 验证→数据回流」的闭环产出约 220 万个结构。

这也让行业形成一种普遍认知——既然模型能够看懂材料相关知识，完成原子搭建、结构调整这类实操任务理应顺理成章。

但真实的材料计算研究，并非简单的选择题作答。科研日常充斥着高度具象化的实操指令：构建特定材料的 (001) 表面，模拟「真实世界」的边界；替换晶格特定位点原子给材料掺杂或改性；在指定间隙位置嵌入新原子，设计「储能」和「输运」通道等。

这类任务对模型提出了完全不同的能力要求：符合物理定律的三维空间操控能力。

为了客观量化该项能力，研究团队搭建了AtomWorld评测框架，框架依托材料领域通用晶体学信息实现自动化测评。它不考核材料识别、理论辨析类问题，只聚焦基础空间操作任务：模型能否按照指令精准调整原子排布？

图1： AtomWorld 基准测试流程示意图。AtomWorld生成器流程：1. 随机采样器调取预设原子结构；2. 随机初始化器配置原子编号、位置参数；3. 结构算子运算得到目标结构；4. 提示词模块生成对应自然语言描述。产出的结构 - 文本配对数据送入大模型智能体，通过pymatgen的StructureMatcher工具对比模型输出结构与标准目标结构，量化评估模型性能。

Scaling Law遭遇能力边界

图2：不同模型在AtomWorld上的总体表现。a、c为成功率；b、d为mean max_dist几何误差。左侧比较不同主流模型，右侧比较不同尺寸 Qwen 模型。模型规模扩大可以提升部分规则清晰的任务，例如原子替换、删除和移动；但面对旋转、区域删除、扩超胞等需要三维空间理解和几何规划的操作时，提升并不稳定。即使是 Claude 等强通用模型，在「绕原子旋转」等任务上也表现较差。

AtomWorld的结果提示，Scaling Law在原子操作任务上并不能被简单理解为「模型越大，能力越强」。

本次测试覆盖Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 2.5 Pro、Qwen3-32B、GPT o3、GPT-4o-mini、DeepSeek Chat、Llama3-70B等主流模型。图 2 显示，模型规模扩大确实能改善一部分规则清晰、可模板化的操作，但面对依赖三维空间关系的任务，这种提升并不稳定。

以 Qwen 系列为例，从 4B 到 32B，原子更换、移除、移动等任务的成功率明显提高，说明规模增长仍然有价值。但这种提升主要集中在规则明确、路径相对固定的任务上，不能自动迁移到所有原子操作。

更具挑战性的任务暴露出明显瓶颈。典型例子是「绕原子旋转」：它不仅在 Qwen 不同尺寸模型上始终表现很低，在 Claude Opus 4.6 这类强模型上也只有约 12% 的成功率。这说明问题并不只是某个模型不够大、不够强，而是当前通用大模型普遍缺少稳定的三维空间行动能力。

类似地，「删除下方原子」、「扩超胞」等任务即使换成更大模型，完成效果也仍不稳定；几何误差也不是随模型变大就必然下降。

因此，AtomWorld并不是简单否定Scaling Law，而是指出它的适用边界：规模扩大能够带来部分能力增益，却无法自动补齐三维物理空间操作中的核心短板。对于材料建模而言，语言推理能力、文本知识储备和原子级结构行动能力之间，不能直接画等号。

从这个意义上说，AtomWorld 也提示了一个新的方向：除了追求参数规模和文本数据规模，AI for Science 还需要关注「Action Scaling」。

也就是把可执行动作的数据生成、动作基元拆解、模拟器反馈、物理约束验证和工具调用纠错系统性地规模化，让模型不仅在语言上变强，也在可验证的科研行动中变强。

科研智能体的新赛道

AtomWorld的核心价值，不止于定位模型失效，更在于把 「材料智能体不会建模」 这个模糊痛点，拆解成一系列可测量、可追踪的原子操作能力 —— 从基础元素替换到空间区域判定，再到连续几何理解，逐层厘清失效类型、程度与规模增益规律。

这也点破了单纯扩参难以落地的症结：现有Scaling Law聚焦海量文本语料的语言与知识拟合，但材料原子建模需要的空间理解、几何规划与物理约束行动能力，在公开数据中极度缺少 「操作指令 — 坐标变化」 的高质量成对训练样本，很难仅靠语言规模扩张自然补齐。

针对大模型三维操作偏弱的问题，行业普遍通过对接pymatgen等专业工具库补短板。AtomWorld 对照测试显示，外挂工具仅能提升原子插入等强坐标计算类任务效果，面对需要判别原子关系、空间区域的复杂场景，提升十分有限。

本质上，工具只能输出精确坐标，却无法替代模型做 「原子该放哪」、「哪些属于目标区域」 这类核心决策；模型本身若缺乏三维空间感知，工具只会把错误意图执行得更精准，最终得到 「建模逻辑错误」 的结果。

AtomWorld并非直接否定Scaling Law，而是提醒科学智能体重思 「该缩放什么」。文本语料的Language Scaling是知识基础，但材料建模这类强操作任务，更需要面向行动能力的Action Scaling——将「行动 — 反馈 — 纠错」全流程变成可规模化学习的对象。

AtomWorld的真正意义，正是通过自动生成任务、标准结构与匹配反馈，为材料建模的动作数据与训练闭环提供底座，推动AI for Science从追求更大的通用模型，转向在可验证的科学操作中迭代真实行动能力。

结语

AtomWorld不只是一套标准化评测基准，更像一面观测镜，直观展现出当前AI for Science发展中的关键问题：大模型可以解释材料结构性质，并不意味着它已经能够可靠修改材料结构；可以读懂元素周期表，并不意味着它能够在三维空间中稳定执行一次原子级操作。

这一问题并不局限于材料建模。真正的科学研究从来不是纯文本工作，而是由提出假设、设计实验、调用工具、调整参数、观察结果、排查错误和持续修正等一系列行动构成。无论是材料建模、分子设计、自动化实验，还是更广泛的科学发现流程，AI 若想真正参与科研，就不能只会「解释知识」，还必须学会「执行动作」。

因此，AtomWorld提醒我们重新理解Scaling Law在科学场景中的适用范围：基于网络文本语料的Language Scaling依然重要，但它只是起点。

未来AI for Science更需要面向行动能力的Action Scaling，让模型在可执行任务、工具调用、环境反馈和物理验证中学习如何完成真实科研任务。

只有当模型同时具备知识理解能力和行动能力，科学智能体才可能从「会回答问题」的百科全书，走向「能完成任务」的实验助手。

参考资料：

https://arxiv.org/abs/2510.04704

编辑：LRST