停止将“AGI”视为人工智能研究的北极星目标

Stop treating ‘AGI’ as the north-star goal of AI research

停止将“AGI”视为人工智能研究的北极星目标

https://arxiv.org/pdf/2502.03689v1

摘要

人工智能研究界在设定人工智能研究的科学、工程与社会目标方面起着至关重要的作用。在本立场文件中，我们认为，聚焦于极具争议的“通用人工智能”（AGI）话题，削弱了我们选择有效目标的能力。我们指出了六个关键陷阱——即阻碍目标设定有效性的障碍——而AGI的论述加剧了这些陷阱：共识幻觉、劣质科学加速器、价值中立假象、目标彩票、泛化债务以及被正常化的排斥。为避免这些陷阱，我们认为人工智能研究界需要（1）在工程与社会目标中优先考虑具体性；（2）以多元主义为核心，承认通向多种宝贵目标的多种值得追求的路径；（3）通过更广泛地纳入不同学科与社群来促进创新。因此，人工智能研究界应当停止把“AGI”视为人工智能研究的北极星式目标。

1. 引言

我们如何确保人工智能研究目标真正服务于科学、工程与社会的需求？什么才构成人工智能研究中的“好科学”？谁有权制定人工智能的研究目标？什么样的研究目标才算正当或有价值？在本立场文件中，我们认为，对“通用人工智能”（AGI）的普遍关注正在削弱研究人员为这些问题提供充分动机答案的能力。

近期大语言模型（LLM）的进展，重新点燃了把“实现人类级智能”视为人工智能领域“北极星目标”的兴趣（Morris 等，2023；McCarthy 等，1955）。这一目标通常被称为“人工通用智能”（AGI）（Chollet，2024；Tibebu，2025）。然而，AGI 话语并未帮助该领域围绕共同目标聚合，反而使其深陷争议。研究人员对 AGI 的定义、目标假设与风险评估莫衷一是（Summerfield，2023；Morris 等，2023；Blili-Hamelin 等，2024）。研究人员进一步质疑 AGI 相关宣称的动机、激励、价值观与科学地位（Gebru & Torres，2024；Mitchell，2024；Ahmed 等，2024；Altmeyer 等，2024）。最后，AGI 这一概念的核心基石——“智能”与“通用性”——本身就备受争议（Gould，1981；Anderson，2002；Hernández-Orallo & O’hÉigeartaigh，2018；Cave，2020；Raji 等，2021；Alexandrova & Fabian，2022；Blili-Hamelin & Hancox-Li，2023；Hao，2023；Guest & Martin，2024；Paolo 等，2024；Mueller，2024）。

在先前关于机器学习探索性与验证性研究混淆（Herrmann 等，2024）、不科学性能宣称（Altmeyer 等，2024）、追逐 SOTA（Raji 等，2021）、研究途径同质化（Kleinberg & Raghavan，2021；Fishman & Hancox-Li，2022；Bommasani 等，2022）、机器学习研究中的隐含价值观（Birhane 等，2022b）等工作的基础上，我们的论述指出了人工智能研究目标设定中的关键障碍——陷阱¹。我们认为，AGI 叙事使克服每个障碍都变得更加困难。为避免这些陷阱，我们主张各社区应停止把 AGI 视为人工智能研究的北极星目标。

我们讨论的首要主题是研究界在区分炒作与现实方面的独特责任。人工智能研究成果以惊人速度被部署到现实世界，场景日益多元，影响数十亿人。这迫切需要基于可信证据，回答有关人工智能工具的科学、工程与社会价值的问题。正如联合国人工智能咨询机构所言，“海量信息……使人们难以辨别炒作与真实。这会助长混乱，阻碍共识，并可能让大型人工智能公司获益，而牺牲政策制定者、公民社会和公众的利益”（United Nations，2024）。本立场文件回应了这一主题：我们论述中的六个陷阱都是区分炒作与现实的障碍。

我们讨论的第二个主题是人与技术的关系。归根结底，我们认为，人工智能界不应追求单一的北极星目标，而应追求多元且具体的科学、工程与社会目标。我们指出，关于复杂技术未来的叙事往往容易模糊炒作与现实的界限。如果围绕一个替代性的统一目标建立共识被证明有益，我们建议将“支持和造福人类”作为目标。

下一节，我们考察人工智能研究中的六个“陷阱”——即阻碍有效目标设定的障碍（§2）。我们论证 AGI 话语强化并放大了每个问题。随后，我们提出三项避免陷阱的建议（§3）：目标的具体化；目标与途径的多元主义；更具包容性的目标设定。在结论部分的反驳中，我们为自身立场辩护，反对“AGI 应继续作为该领域北极星目标”的替代观点（§4）。

鉴于 AGI 的争议性质是本文的核心主题，我们避免给出自己的定义，而是在讨论中提供示例定义，并在附录 A 中给出说明性定义表。

2. 陷阱

我们考察阻碍研究界设定有价值目标的六个关键陷阱，并论证 AGI 叙事加剧了其中的每一个问题。

尽管我们的讨论强烈聚焦于 AGI，但我们相信，这些观点同样适用于更广泛的项目——即建立可信、循证的方法来讨论人工智能研究的科学、工程与社会目标。

我们讨论的问题彼此高度关联。例如，与错位激励在目标设定中的作用相关的 SOTA 追逐问题（§2.4），也对劣质科学（§2.2）产生影响。同样，对 AGI 缺乏共识的问题（§2.1）也是一个贯穿始终的主题。我们并不打算将这些陷阱视为互斥；相反，我们的目标是为每个陷阱提供清晰且有用的资源，以缓解在有效目标设定中的失败模式。

2.1 共识幻觉

使用共享术语，从而给人一种对目标已达成共识的假象，尽管这些目标实际上存在争议。“AGI” 一词的日益流行（Holland，2025；Grossman，2023；IBM，2023）营造了一种熟悉感，使人误以为对 AGI 是什么已有共同理解，并对 AGI 开发的研究目标达成广泛一致。然而，对于该术语所指为何、AGI 研究议程应包含哪些内容，以及 AGI 开发中的具体目标为何，人们存在着巨大分歧。若放任不管，这种幻觉会阻碍人们就 AI 研究的目标及其应然状态进行明确的探讨。

从大众话语到研究论文再到企业营销材料，绝大多数对 AGI 的引用都落入了这一陷阱，即不加批判地引述所谓 AGI 的主张。关于媒体不加批判报道的例子，可参见 Grossman（2023）、IBM（2023）；关于被过度炒作的研究示例，参见 Altmeyer 等（2024）。Summerfield（2023）总结道：“AI 研究者希望找到如何构建 AGI 的方法，但问题在于没人真正知道 AGI 长什么样。”Mueller（2024）则称 AGI 是“一个无意义的概念，一个皇帝的新衣”。Blili-Hamelin 等（2024）指出，在尝试定义 AGI 或人类级 AI 的过程中存在多种分歧。AGI 作为目标的争议性在对其概念的批评中变得更加尖锐（参见 Altmeyer 等，2024；Mueller，2024；Van Rooij 等，2024）。

除 AGI 之外，AI 研究中还充斥着关于目标、价值观和概念的分歧。例如，Mulligan 等（2016）认为，隐私应被理解为一个“本质上存在争议的概念”。他们指出，关于隐私含义与重要性的缺乏共识并非仅仅是混淆所致——相反，分歧与争议是可取的特征，使隐私能够适应不断变化的技术与社会情境。类似地，现在人们已普遍认识到，公平性也应被视为一个有争议的主题，不仅存在互斥的数学形式化，还存在互斥的价值观、世界观与理论假设（Friedler 等，2021；Jacobs & Wallach，2021）。

在提出这一陷阱时，我们并不认为有争议的话题本身就存在问题。相反，我们认为，在探讨人工智能研究目标这一重要问题时，围绕通用人工智能（AGI）存在的重大分歧，应被视为价值观冲突的信号而加以正视。

2.2 加剧不良科学

在追求通用人工智能（AGI）的过程中，概念和实验方法的模糊定义会加剧人工智能领域已有的“不良科学”问题。产生关于人工智能可靠经验知识的研究，对于公众判断人工智能在社会和环境方面可能带来的利益与危害至关重要。然而，许多专家已指出，人工智能研究普遍存在科学基础薄弱的问题（联合国，2024；Sloane 等，2022；Narayanan 与 Kapoor，2024；Raji 等，2022；Widder 与 Hicks，2024；Suchman，2023；Hullman 等，2022；Van Rooij 等，2024；Guest 与 Martin，2024）。我们认为，AGI 讨论中的模糊性进一步加剧了人工智能研究在科学有效性方面的既有问题。

问题1：定义不足与外部效度。将 AGI 作为具体目标进行追求的一个问题是“定义不足”（underspecification），即目标或概念缺乏明确性，导致一系列认识论问题，包括不可证伪性、缺乏外部效度、实验设计缺陷和评估方法不当。这些问题在人工智能研究中普遍存在，而在 AGI 的语境下，由于缺乏科学依据的 AGI 定义（见第2.1节），情况更加严重。

学习目标的定义不足也会损害外部效度——即测量结果是否真正反映了其所声称要捕捉的现实世界现象。一个典型例子是关于“语言理解”基准测试是否真正衡量了语言理解的争论（Jacobs 与 Wallach，2021；Liao 等，2021）。当研究人员将人类心智能力与模型的代理指标等同起来时，外部效度也受到挑战（Hullman 等，2022），例如声称一个“能够将特定对象与更广泛的视觉上下文联系起来”的模型是“想象力”的证据（Fei 等，2022）。这种修辞手法之所以成立，是因为使用了“想象力”等日常词汇，却未考虑其是否真正对应人类的心智能力。Altmeyer 等（2024）同样批评 Gurnee 与 Tegmark（2024）因“世界模型”一词的模糊性而做出夸大其词的主张。定义不清的目标会向下渗透到实验设计的诸多方面，包括学习流程、评估指标、任务设计、表征方式和研究方法。

当研究人员声称测量了来自其他领域的概念（如“智能”）时，外部效度也受到损害。心理学、神经科学和认知科学已对人类智能研究了几代人，但即使在这些领域，对于“智能”究竟是什么也尚未达成共识（Hao，2023；Gopnik，2019）。相反，人工智能研究已不再关注对人类认知的建模（Van Rooij 等，2024；Guest 与 Martin，2024）。相反，人工智能开发者自行定义“智能”，优先采用便于基准测试或产品营销的定义（见第2.4节），同时利用“智能”一词历史上积极的联想获益。

问题2：科学与工程的混淆。追求 AGI 的另一个问题是科学与工程之间的混淆（Agre，2014；Hutchinson 等，2022；Altmeyer 等，2024）。正如 Hullman 等（2022）所指出的，一篇“典型的监督式机器学习论文”（即在某个基准上展示一些准确率指标）往往只是一种“工程产物”，是一种附带性能声明的工具，但由于难以复现，这些声明无法被证伪。Altmeyer 等（2024）认为，这种科学与工程的模糊性意味着，通常会省略“在特定条件下并考虑效应量”的严格假设检验，研究结果往往被呈现为“工程成就”，却未明确说明究竟在测试什么、相关假设是什么，以及什么样的效应量才构成零假设。

这种模糊性助长了实验者偏差和确认偏误，因为研究人员有动机“几乎不关注竞争性假设或解释”，或“未能提出足够强的零假设”（Altmeyer 等，2024）。当一项研究是追求科学目标（如解释现象、验证假设等）还是特定工程应用目标（例如概念验证）不明确时，科学与工程的混淆也会显现（Hutchinson 等，2022）。这进一步加剧了对外部效度的质疑：在缺乏清晰和具体实验目标的情况下，更容易对实验结果进行事后的解释，使其“支持”各种各样的目标。

问题3：确证性研究与探索性研究的混淆。工程与科学方法之间的模糊性，还关联到另一个问题：确证性研究与探索性研究之间的混淆（Bouthillier 等，2019；Herrmann 等，2024）。Herrmann 等（2024）指出，确证性研究“旨在检验已有假设，以确认或反驳现有理论”，而探索性研究则是一种开放性的方法，旨在对一个新领域或未探索领域获得洞察与理解。他们进一步认为，“当前大多数实证机器学习研究被包装为确证性研究，但实际上应被视为探索性研究”，实验往往“被设计为确认（隐含的）假设，即所提出的方法构成了一种改进”（原文强调）。通过隐性地将探索性分析与确证性研究混为一谈，“探索性发现会随着研究过程的推进，以一种模糊的方式‘转化’为计划内的发现”（Calin-Jageman & Cumming, 2019）。若使用模糊且有争议的AGI概念来构建确证性主张，会加剧这一问题，因为它使得人们更难弄清究竟在主张什么。

2.3 假定价值中立

当政治、社会或伦理考量是隐含的或至关重要的，却将目标表述为纯粹技术性或科学性的，就陷入了“假定价值中立”的陷阱。

当技术或科学目标与其蕴含的价值假设脱节时，就会出现“假定价值中立”现象——而这些假设本应受到政治、社会和伦理因素的影响。人工智能研究界最近才开始审视这些蕴含价值的假设（Zhao 等，2024；Fishman & Hancox-Li，2022；Dotan & Milli，2020；Birhane 等，2022b；Scheuerman 等，2021；Hutchinson 等，2022；Bommasani，2022；Denton 等，2020；2021；Mathur 等，2022；Shilton，2018；Broussard 等，2019；Green，2021；Blodgett 等，2020；Viljoen，2021；Abebe 等，2020；Birhane & Guest，2021；Blili-Hamelin & Hancox-Li，2023；Blili-Hamelin 等，2024；Costanza-Chock，2020）。

当定义AGI及相关概念的努力未能明确审视其定义中嵌入的社会目标和价值观时，就落入了“假定价值中立”的陷阱。例如，“通用智能”（Legg & Hutter, 2007b; Hernández-Orallo 等，2014）的提案就是此类例子。

追求价值中立的做法，呼应了关于人类智能心理测量观点的争论。如同“健康”和“福祉”一样，智能本身就蕴含着关于哪些行为或能力是可取的规范性假设（Anderson，2002；Alexandrova & Fabian，2022）。研究者通过回避这些价值负载的维度，陷入了“假定价值中立”的陷阱（Anderson，2002；Cave，2020；Blili-Hamelin & Hancox-Li，2023）。Warne & Burningham（2019）正是这样做的典型例子：他们主张采用纯粹统计性的智能定义，正是因为他们认为文化定义存在差异。

AGI等概念中蕴含的价值假设，引发了关于其含义的合理分歧，反映了社会目标的差异（Blili-Hamelin 等，2024）。这使得就AGI达成共识变得困难，因为它要求在政治、社会和伦理优先事项上取得一致。类似的分歧也影响到相关概念，如AI（Cave，2020；Blili-Hamelin & Hancox-Li，2023）、“人类水平AI”、“超级智能”和“强AI”，从而强化了“共识错觉”陷阱（见第2.1节）。

2.4 目标彩票（Goal Lottery）

当激励、环境或运气推动了那些在科学、工程或社会价值上缺乏充分依据的目标被采纳时，便陷入了“目标彩票”陷阱。

研究人员已探讨了社会经济因素、潮流和偶然因素在塑造人工智能研究中的作用。例如，Hooker（2021）指出，某种“硬件彩票”——即并行处理能力更强的硬件更易获得——是2010年代深度学习复兴的关键因素。类似地，学者们也研究了激励机制、社会经济因素和炒作周期在人工智能研究中的影响（Narayanan & Kapoor, 2024；Wang 等, 2024；Hicks 等, 2024；Gebru & Torres, 2024；Sartori & Bocca, 2023；Delgado 等, 2023；Raji 等, 2022；Widder & Nafus, 2023）。本陷阱关注的是，由于“彩票”（即运气）或激励机制而推动采纳了不合理的目标——即那些在科学、工程或社会价值上缺乏充分支持的目标。

例如，一些将经济价值置于中心的AGI定义，如OpenAI强调“在大多数具有经济价值的工作上超越人类”（OpenAI, 2018）。从工程和社会角度来看，将经济价值作为设定人工智能研究目标的首要标准是存在争议的。这类定义通过将复杂的社会、工程和科学考量简化为纯粹的经济指标，造成了激励与合理性的错位。

另一个例子是“基准SOTA追逐”——即追求在流行基准测试上取得最高分（Bender 等, 2021；Church & Kordoni, 2022；Hullman 等, 2022；Raji 等, 2021）。尽管这种做法受到强烈的职业激励推动，却缺乏工程、科学和社会层面的正当性。由于数据泄露、对基准的过拟合以及数据异质性等问题，基准测试难以真实反映模型在实际应用场景中的表现（Balloccu 等, 2024；Xu 等, 2024；Zhang 等, 2024；El-Mhamdi 等, 2022；Hanneke & Kpotufe, 2022；El-Mhamdi 等, 2021）。简言之，这种测量方法缺乏外部效度。然而，由于声誉和经济回报的驱动，这种做法依然持续，显示出被激励的目标与其实际价值之间的错位。

“目标彩票”的动态也体现在深度学习架构被忽视数十年的历史中。当时，一项研究议程因最终被证明在工程、科学或社会层面站不住脚的理由而被边缘化（例如，由于对不那么流行的研究方向存在“把关”效应；参见Siler 等, 2015）。与此同时，人工智能产业全力投入专家系统“泡沫”（Haigh, 2024）。当前人工智能研究中多样性的减少，可能是类似错误正在重演的迹象（见第2.6节）。一些最近旨在对抗同质化的举措（Chollet 等, 2024）依赖于通过基准测试来操作化AGI。但在实践中，它们最终又变成了另一个基准：在强烈媒体和营销关注的助推下，进一步激励了SOTA追逐（Jones, 2025）。因此，我们对ARC等方法（Chollet, 2019）是否能抵消新闻周期加速的SOTA追逐所带来的负面影响，仍持一定程度的怀疑态度。

2.5 通用性债务（Generality Debt）

依赖工具的“通用性”或“灵活性”来推迟对关键的工程、科学或社会决策的必要考量。

关于AGI的定义，在“通用性”应达到何种程度的问题上存在分歧（Blili-Hamelin 等，2024）。这表明人工智能研究的目标缺乏清晰性和共识，从而形成了一种陷阱：（a）助长了次优的科学/工程实践（与2.2节所述观点相关）；（b）压制了关于哪些研究方向值得追求的重要社会/伦理问题。我们将这种陷阱称为“通用性债务”，类比于“技术债务”（Sculley 等，2014）：它推迟了人工智能研究中本应完成的工作，而如果这些工作被长期搁置，未来将需要付出更大的代价来弥补。

这一陷阱包括在机器学习中对多种“通用性”概念的依赖：（1）任务的多样性（Hernandez-Orallo & O’hEigeartiagh, 2018）；（2）能够被训练以应对“任何任务” vs. 能够执行许多预定义任务的能力（Hernandez-Orallo & O’hEigeartiagh, 2018）；（3）模型所评估的任务或数据分布是“已见”还是“未见”（即在训练阶段是否对模型可用）（Altmeyer 等，2024）；（4）模型输入/输出数据的多样性，如结构化与非结构化、模态等；（5）模型性能是否体现了“令人类感到意外的表现”（Altmeyer 等，2024）；（6）目标的多样性；（7）能够“接受一种通用语言来表述问题”（Newell & Ernst, 1965）；（8）拥有“通用”的内部表征（Newell & Ernst, 1965；McCarthy & Hayes, 1981）。

正如 Paolo 等（2024）所指出的，尽管“通用性”有多种可能含义，但大多数论文即使在其论证中处于核心地位，也并未定义“通用性”。缺乏正式定义使得评估或改进泛化能力变得困难。在承认“通用性”定义不清的同时，仍假设其是可取的，这是一种误导。我们应首先定义具体、可测量的属性，然后再论证其价值。

在没有明确定义的情况下，通用性的价值依然模糊不清。不同类型的通用性支持不同的未来愿景，这引发了关于其相对重要性的未被探讨的问题。对“通用性”的模糊定义会导致不良的科学和工程实践（见第2.2节）。例如，Altmeyer 等（2024）指出，对通用性的追求导致了任务描述的模糊化。与此同时，Gebru & Torres（2024）认为，某些AGI概念违背了良好的工程实践：如果一个系统被宣传为“在任何环境中学习和行动的通用算法”，那么很难在“标准操作条件”下测试其功能。

追求某种形式的通用性，也可能意味着要以牺牲生态效度为代价，Saxon 等（2024）提出了这一观点。他们认为，“整体性”基准在实践中往往是一系列互不相关的具体任务的集合，这意味着它们在任务层面具有建构效度。然而，这些任务并不总是与用户真正关心的能力相匹配。

最后，“通用性”的模糊性也是一个伦理问题，因为它回避了关于哪些类型的通用性值得追求的规范性问题，并掩盖了在优先发展不同研究方向时所做出的隐性决策。

2.6 规范化排斥（Normalized Exclusion）

将某些群体和专家排除在人工智能研究目标的制定过程之外，会限制创新且具有影响力的思想的发展。

排斥现象在人工智能领域的负面影响已被广泛讨论，不仅体现在其对产品质量和模型性能的影响上（例如 Obermeyer 等，2019），也体现在对人群造成的伤害上（例如 Buolamwini & Gebru，2018；Shelby 等，2023；Whitney & Norman，2024）。我们认为，关于通用人工智能（AGI）的讨论加剧了排斥问题。

问题1：排除社群。许多社群被排除在人工智能研究目标制定的实质性参与之外（Delgado 等，2023）。排除社群会造成严重伤害，尤其对边缘化群体而言（Pierre 等，2021）。它还会削弱最终产品的实用性，降低模型性能，并阻碍创新（例如 Burt，2004）。例如，谷歌、苹果和Meta等公司的人脸识别系统曾将黑人误认为大猩猩这一臭名昭著的问题，自首次被发现八年后仍时有发生（Grant & Hill，2023；Appelman，2023），并对监控和执法产生下游影响（Jones，2020；Pour，2023）。类似地，数据标注中的选择性纳入也引发了关于下游影响的伦理和实践问题（Wang 等，2022；Bertelsen 等，2024）。其他关于社群排斥或纳入影响性能的案例，参见（Buolamwini & Gebru，2018；Young 等，2019；Raji 等，2020；Andrews 等，2024；Salavati 等，2024；Bergman 等，2024；Weidinger 等，2024）。排除社群的实质性反馈，也会削弱社会目标的实现，例如通过向受影响社群负责来促进集体合法性（Birhane 等，2022a；Young 等，2024；Costanza-Chock，2020；Mikesell 等，2013；Schulz 等，2002）。

近年来AGI讨论的突出地位加剧了人工智能研究中已有的社群排斥问题（Kelly，2024；Frank 等，2017）。许多AGI支持者设想一个未来，即AI系统能为无数社群执行极其广泛的任务。然而，研究与设计过程却未能达到这一宏伟愿景所要求的包容性。例如，2024年12月的报道指出，OpenAI与微软“去年签署协议，规定只有当OpenAI开发出能创造至少1000亿美元利润的AI系统时，才算实现AGI”（Maxwell Zeff；OpenAI），这与OpenAI公开的AGI定义（OpenAI，2018）大相径庭。多位学者指出，经济价值并非唯一值得追求的价值类型（Morris 等，2023；Pierson 等，2025；Dulka，2022；Harrigian 等，2023；Agrawal 等，2022）。这种经济导向有助于指导OpenAI的工程决策，但强调利润是否能带来最有益或最有用的最终产品，或是否能就目标达成有意义的共识，尤其是对边缘化群体而言，是值得怀疑的。

问题2：排除学科。从应用领域（如医学（Obermeyer 等，2019）、金融（Cao，2022）、网络安全（Salem 等，2024）、学习（Leong & Linzen，2024））到构建AI所涉及的实践——数据标注、定性与定量方法、领域专业知识、计算机科学等众多方面（Wang 等，2022；Bertelsen 等，2024；Widder，2024）——人工智能研究跨越了学科边界。人工智能研究的跨学科挑战与其他学科所面临的挑战相似（Stirling，2014；Amoo 等，2020；Stokols 等，2003；Vestal & Mesmer-Magnus，2020；英国皇家学会 & Leontidis，2024）。

其中一个主要挑战是学科壁垒，即知识在不同学科之间未能充分共享（Ballantyne，2019；DiPaolo，2022；英国皇家学会 & Leontidis，2024；Stirling，2014；Amoo 等，2020；Stokols 等，2003）。例如，知识共享的缺乏可能是导致机器学习领域对解释性研究与探索性研究的区分关注不足的部分原因（见第2.2节，Herrmann 等，2024）。

另一挑战是知识等级制度——某些学科的专业知识被明确或隐性地贬低（Knorr Cetina，1999；2007；Fourcade 等，2015；Simonton，2004）。这可能表现为专家群体仅被允许提供狭隘的意见，而无法参与更广泛的研究设计决策（Bertelsen 等，2024）。

人工智能研究者专注于将其工作应用于其他领域，也带来了另一重大挑战。领域知识的不足可能影响AI工具的功能——即它们是否能如宣传的那样运作（Raji 等，2022）。例如，AI工具被用于对人类个体的未来结果进行预测，从审前风险评估、预测性警务到自动化就业决策（Wang 等，2024）。然而，尽管有效性证据不足，预测工具仍常常被构建、营销和部署（Connealy 等，2024；Doucette 等，2021；Cameron，2023）。

由于以下两个因素，学科壁垒问题在以AGI为导向的研究中尤为突出：其一是声称要创造人类智能的对应物或替代品，其二是声称在众多学科中具备专业能力。在前一种情况下，相关主张往往忽视了认知科学和心理学领域关于智能本质的长期争论（Mitchell，2024；Guest & Martin，2024；Van Rooij 等，2024；Summerfield，2023）。在后一种情况下，实现AGI常被描述为能够“替代”各个领域的专家——而媒体在缺乏领域专家参与的情况下，常常不加批判地采纳这些说法（例如，Henshall，2024）。

问题3：资源不平等。近年来，我们见证了训练机器学习模型所需的计算资源以前所未有的速度增长，需求大约每几个月就翻一番（Sevilla 等，2022）。这一趋势加剧了现有的资源不平等，因为最前沿的人工智能研究往往依赖于极少数研究者才能获得的计算资源（Yu 等，2023；LaForge，2024）。这些资源的高昂成本将大量参与者排除在人工智能研究之外。即使是顶尖研究型大学，其拥有的计算资源也仅是许多公司用于推进AI研究的资源的一小部分。

目前已有努力通过支持政府机构维护的大规模计算资源的获取来应对这种资源不平等（例如美国的NAIRR）。然而，资源平等仍是一个理想目标，因为人们普遍认识到，由于工业界在计算资源上的规模优势，产业界的研究者在设定人工智能研究目标方面实际上享有优势。这种结构性优势还因使用预印本档案（pre-print archives）在未经同行评审的情况下公开AI研究成果而得到强化（Devlin 等，2019；Vaswani 等，2023；Rombach 等，2022；OpenAI 等，2024；Bubeck 等，2023），这一策略在未应用传统科学诚信标准的情况下，将这些工作合法化为“科学”性质（Tenopir 等，2016；Lin 等，2020；Soderberg 等，2020；Kwon & Porter，2025；Rastogi 等，2022）。

尽管资源不平等存在于所有形式的人工智能研究中，但当AGI被作为学科的“北极星”目标时，这种不平等尤为突出，因为当前的AGI努力主要集中在纯粹的计算规模上，且这些努力高度集中于大型科技公司。权力的集中使得相关努力更应包含而非排斥相关的社群和专家。AGI的讨论加速了人工智能领域现有的趋势：即贬低领域专业知识和真实生活经验，转而推崇那些号称“无所不知”的模型。

1. 建议

我们认为，关于通用人工智能（AGI）的讨论阻碍了在人工智能发展中设定具有充分依据的科学与工程目标，同时对具有社会价值的人工智能发展具有破坏性。为此，我们提出三项建议，以避免陷入上述陷阱。

建议1：目标明确性。人工智能界在讨论人工智能的科学、工程和社会目标时，必须优先使用高度明确的语言。

对可实现的科学、工程和社会目标做出更具体的定义，有助于各方对这些目标形成共同理解，从而能够评估这些目标是否具有充分的合理性。缺乏这种明确性时，研究人员、实践者及其他相关人员可能对某一目标及其实现方式产生不同的理解。这种分歧为人工智能研究者和实践者提供了“概念套利”的空间——他们借此推进自身目标，因为他们最终决定着模型开发与实施的具体细节。而技术开发外部的人士可能误以为某个系统实现了某一目标，但实际上并未实现。

该建议针对“共识错觉”陷阱（第2.1节），强调概念清晰性是目标设定过程中不可或缺的一部分。明确性还有助于避免“目标彩票”陷阱（第2.4节），使目标选择过程更加透明。它同样有助于应对“假定价值中立”陷阱（第2.3节），通过明确揭示特定目标所关联的价值观，并直接减少“通用性债务”（第2.5节）。最后，目标明确性也有助于解决“加剧不良科学”陷阱（第2.2节）中所强调的定义不足问题。

建议2：目标与方法的多元化。人工智能界不应追求单一的、普适的“北极星”目标（或少数几个目标），而应明确提出众多有价值的科学、工程和社会目标，并探索实现这些目标的多种可能路径。

对于人工智能这样广泛而复杂的领域，要在其研究目标上达成有意义的科学与社会共识是困难的。当共识不可行或不必要时，我们建议采取多元化（pluralism）策略：允许多种关于人工智能研究目标的合理构想共存。在一个由持有不同价值观的个人和机构组成的社会中，多元化是有益的。研究群体默认应保持目标和实现路径的多样性，追求异质性而非同质性（Sorensen 等，2024a；b）。

在实践中，多元化可以体现在资源在不同研究路径之间的分配方式上。例如，与其将大部分计算资源集中用于追求AGI，不如将资源更均衡地分配给人工智能领域内多样化的研究目标和方法。研究群体知识生产与问题解决动态的学者发现，多元化具有显著优势（Hong & Page, 2004; Muldoon, 2013），尤其是平等型群体协作所带来的独特益处（Xu 等，2022）。类似地，研究者也发现方法论的多样性有助于推动知识进步（Midgley, 2000; Veit, 2020; Zhu, 2022）。

多元化策略有助于应对“共识错觉”陷阱（第2.1节），因为它承认共识的缺失，并将多元视角作为推动科学与社会进步的工具；有助于避免“目标彩票”陷阱（第2.4节），减少某些目标被随意或过早排除的可能性；同时也有助于应对“排斥”陷阱（第2.6节），通过鼓励目标和方法的多样性来促进包容。

建议3：在目标设定中加强包容性。在塑造人工智能研究目标的过程中，更广泛地纳入不同社群和学科的参与，将有利于创新。

包容性有助于推动创新（Zhang 等，2021；Xu 等，2022；Burt，2004；Hewlett 等，2013）。识别有价值的目标、相关应用场景以及潜在的意外后果，依赖于汇集多样化的观点。在人工智能研究中，这些观点必须包括最终用户、其他领域的专家、受研究成果影响的群体以及数据标注人员。排除其中任何一方，都会削弱人工智能实现有价值目标的潜力，因为这忽视了定义这些目标“为何有价值”的关键视角。而纳入这些群体，则能丰富人工智能研究。

不同学科之间的思想交叉融合能够产生更具影响力的研究成果（Shi & Evans, 2023; Dori-Hacohen 等，2021）。要实现这种影响力，我们必须打破知识的壁垒（例如“认识论文化”：Knorr Cetina, 1999; 2007），并摒弃贬低非计算类研究的知识等级制度（Fourcade 等，2015; Simonton, 2004）。尽管技术复杂性可能使非专家的参与变得困难（Pierre 等，2021），但克服这些挑战有助于揭示专家未曾预料的问题（Cooper 等，2022），并通过将非专家或其他领域专家的洞见与经验融入系统设计决策，实现切实的科学贡献（Delgado 等，2023；Salavati 等，2024）。

作为一个议题，AGI常常涉及构想将影响每个人生活的AI技术。因此，排斥特定群体会导致在塑造AI研究与部署的目标、过程和参与者方面产生具有重大社会意义的分歧。这些分歧常常被拥有领域主导权的群体所忽视或无视。只有通过包容，才能确保技术决策对机构、社群和个人而言具有充分的正当性（Anderson, 2006; Binns, 2018; Alexandrova & Fabian, 2022; Birhane 等，2022a; Lazar, 2022; Ovadya, 2023）。

该建议通过将包容性视为创新的必要条件，直接应对“规范化排斥”陷阱（第2.6节）。此外，它还通过承认人工智能研发中价值负载目标所引发的重大社会分歧，并建设性地利用这些分歧，来应对“共识错觉”和“假定价值中立”陷阱（第2.1节和第2.3节）。

1. 结论

我们认为，将通用人工智能（AGI）作为指导人工智能研究的“北极星”目标是一个糟糕的选择。在本节中，我们通过反驳一种强有力的竞争观点来重申我们的立场：即我们所指出的种种陷阱，可以通过对AGI追求方式的改进加以克服。但我们认为，即使对AGI的追求方式有所改进，也远远不足以解决问题。

4.1 竞争观点
“AGI是一个良好的‘北极星’目标；为避免上述陷阱，只需对AGI进行更完善的定义和阐释。”

确实存在一些深思熟虑的尝试，旨在弥补现有AGI论述中的不足（Adams 等，2012；Chollet，2019；Morris 等，2023；Summerfield，2023）。如果以往对AGI的描述存在反效果或缺陷，为何不追求一种能够修正这些缺陷的新版本呢？

以竞争观点为例，Morris 等（2023）通过厘清以往AGI论述中关于目标、预测和风险的混淆，有效缓解了“共识错觉”陷阱。此外，他们提出的类比于“驾驶自动化等级标准”（SAE International，2021）的实用策略，也可被视为减轻“假定价值中立”陷阱的一种方式。通过以明确聚焦特定风险的方式来制定全社会范围的标准，这些标准所体现的价值取向也就得以显现。

像 Morris 等（2023）这样的工作展示了应对陷阱的潜在路径。在我们指出AGI论述加剧了多个既有问题的同时，我们也不排除存在某些努力可以在保留AGI作为目标的前提下缓解这些问题。此外，鉴于关于如何定义AGI的分歧很可能持续存在（如 Morris 等，2023；Summerfield，2023）以及众多其他学者所指出的那样，我们更不可能声称自己对AGI所有可能概念的图景有足够全面的理解，从而做出决定性结论。

4.2 反驳：为何支持我们的立场？

理由一：与我们的建议相冲突。
首先，我们认为目标的具体性和目标与方法的多元化，与上述竞争观点相矛盾。尽管AGI的定义极具争议，但人们常将其作为“北极星”目标的动机，正是渴望为整个领域提供一个单一的、大规模的、统一的愿景（Summerfield，2023）。这与我们提倡的多元化和具体化背道而驰。

理由二：区分炒作与现实。
另一个支持我们立场的原因是研究社群有责任帮助区分炒作与现实。我们认为，人工智能研究社群必须找到一条路径，以提供可信的、基于证据的回答，来应对日益复杂的技术问题——包括人工智能技术本身、其目标及其影响。而当前，AGI这一高度炒作的术语往往削弱了这一目标。

无论AGI被定义得多么严谨或粗糙，它已经获得了某种文化意义，这加剧了区分炒作与现实的难度。“智能”和“通用性”这两个词承载着满足无数需求和场景的承诺（见第2.3、2.5节）。无论研究界如何谨慎，这些术语的文化联想仍可能助长关于人工智能的非科学思维。这使得各种利益相关方得以随意地将乌托邦或反乌托邦的特征投射到AGI上，以此支持他们对更多权力和资源的诉求。

理由三：以造福人类作为技术的目标。
我们担心，关于人工智能统一目标的宏大叙事容易模糊炒作与现实之间的界限。即使人工智能界仍希望追求一个总体目标，这一目标也应是支持和造福人类。技术的目标是由人塑造的。评估技术是否真正满足人类需求——无论是“用户”、“消费者”、“患者”、“学者”，还是各种商业与社会角色——已有成熟且基于证据的方法。

在追求AGI的过程中，社群往往忽视了“满足人类需求”这一根本目标，转而只关注技术本身。

还有一个更宏大的理由支持我们将“支持和造福人类”作为共识目标。我们在第三条建议中已指出，关于技术目标的重大社会分歧具有重要意义。建立确保技术真正造福人类的机制，有可能为这些分歧提供具有集体合法性的回应。这可以通过体现民主理念的流程实现：例如，在关于“公共利益”和“共同福祉”的质询、协商与异议过程中实现普遍包容，并将参与者视为“权利主体”，建立强有力的问责机制（Anderson，2006；Putnam，2011；Binns，2018；Gabriel，2020；Birhane 等，2022a；Lazar & Nelson，2023；Ovadya，2023；Blili-Hamelin 等，2024）。追求集体合法性，本质上要求达成在政治和社会层面有效的共识。

总之，我们呼吁各社群停止将“AGI”视为人工智能研究的“北极星”目标。

原文链接：https://arxiv.org/pdf/2502.03689v1