Something Weird Is Happening in Math
来源 l The Atlantic
![]()
今年菲尔兹奖得主之一即将加盟 OpenAI。
前周四(7月23日),素有 “数学界诺贝尔奖” 之称的菲尔兹奖揭晓,雅各布・齐默曼(Jacob Tsimerman)成为四名斩获这个重磅奖项的数学家之一。就在获奖同一天,齐默曼宣布,他将从多伦多大学休假,投身人工智能安全领域研究。
正如我和同事罗丝・霍罗维奇上周报道的那样,头部人工智能企业如今招揽了各类学术界人才,包括物理学家、哲学家、经济学家,当然还有数学家。但鉴于齐默曼的声望,他的这项决定尤其令许多人感到意外。一名机器学习教授(名为Luca Ambrogioni——编者注)在 X 平台发文评价:“这就好比聘请利昂内尔・梅西担任项目经理。”
齐默曼的专业方向为数论,他凭借对安德烈–奥尔特猜想(André-Oort conjecture)等课题的研究拿下菲尔兹奖。迄今为止,他的数学研究并未聚焦人工智能安全。不过他早已对该领域表现出兴趣:去年,齐默曼参与撰写一份报告,划分了五类可能导致人类灭绝的人工智能风险情景。其中一种情景设想,科技企业与各国政府之间爆发 “全球内战”。
![]()
齐默曼做出此番选择,恰逢人工智能安全与数学领域双双处在关键节点。本月早些时候,OpenAI 一款智能体在安全测试期间突破公司内部隔离环境,入侵了另一家人工智能企业的软件系统。与此同时,人工智能的数学能力也在飞速提升。5 月,OpenAI 研究人员利用内部模型推翻了一个存在 80 年之久的猜想;近期,Anthropic 一名数学家借助克劳德模型(Claude)攻克了一项年代更为久远的猜想。全球顶尖数学家之一、菲尔兹奖得主陶哲轩在上周的一场报告中表示,数学领域正进入一段 “动荡时期”。
![]()
周五,Anthropic自曝,Claude失控直接黑进了三家真实公司
周三,我致电齐默曼,与他探讨数学的未来,以及他选择加入 OpenAI 的决定。本次访谈内容经过精简和润色。
莱拉・施罗夫:多年来,人们一直对人工智能及其在数学领域的应用满怀期待,但过去几个月,大模型已经开始攻克具备科研水准的数学难题,能否谈谈这场正在发生的转变?
雅各布・齐默曼:几年前,人工智能模型就连最基础的数学问题都难以应对,不过它们一直在稳步进步。最先取得突破的是高中竞赛类题目,这引起了一部分数学家的注意。而在过去数月,大量研究成果涌现,这些成果足以让职业数学家引以为傲、公开发表。这类现象如今正大规模出现。如果发展趋势延续下去 —— 包括我在内不少人都认为趋势不会逆转 —— 不久之后,人工智能系统在数学家当前从事的工作上将稳定超越人类。到那时,整个数学学科的运作模式都需要重新思考。
施罗夫:能否进一步描述,未来可能会是什么模样?
齐默曼:答案取决于观察视角。一方面,我认为前景极其振奋人心。人工智能或许能将前沿数学成果的产出效率提升十倍甚至百倍。倘若成真,纯粹数学与实际应用之间的转化周期(通常长达数十年)将大幅缩短,转化链路变得更加紧密。
但对于从事研究的数学家,尤其是正在攻读数学博士的年轻人而言,当下局势充满不确定性。我们习得并传承的专业技能,重要性或将持续下降。
施罗夫:我们聊一聊你上周宣布加入 OpenAI 这件事。你最早是什么时候开始思考人工智能安全风险?是什么促使你如今将其作为核心研究方向?
齐默曼:我关注人工智能相关讨论已有大约20年。事后回看,不少社群很早就精准预判了当下正在发生的一切。2016 年阿尔法狗问世时,我个人开始深度关注该领域。随后 ChatGPT 诞生,亲眼见证模型具备流畅对话能力后,我意识到这类系统完全有可能持续迭代,在诸多任务上拥有远超人类的能力。彼时我就大致确定,自己最终大概率会转向人工智能安全研究。
现在正是合适的时机。就在最近,人工智能模型已经足够强大,可以承接代码编写工作。相比过去,缺少软件工程训练背景带来的阻碍大幅降低。以往,如果我想要运行人工智能实验、处理大规模数据集,需要耗费海量时间。我得学习各类计算机知识、编程技术,还要调试程序。投入大量精力做这件事,对我而言并不划算。如今门槛已经显著降低。
施罗夫:确实,部分社群很早就预判到人工智能风险,但仍有很多人对一些极端风险情景持怀疑态度,比如人类灭绝假说。
齐默曼:人们存在一种固有偏见:最早出现在科幻小说中的情节,很难在现实上演,相信这类设想未免太过天真。另外我们所处的环境里,不断有人宣称每一项新技术都是颠覆性变革,呼吁所有人调整现有工作来应对。绝大多数预言最终落空,因此大众对此天然形成一种 “免疫心态”。
但我建议大家试着记录自己对未来的预判,白纸黑字留存下来。三个月、半年、九个月、一年之后,对照现实看看预期是否成立。五年前,如果告诉人们我们如今拥有的人工智能水平,几乎所有人都会觉得难以置信。“人类灭绝” 这个设想听起来宏大遥远,自然而然会被许多人直接否定。大家不愿深入探讨这个话题,我能够理解。那篇探讨人工智能导致人类灭绝风险的论文,初衷就是让人们直观意识到这类风险存在可能性。
施罗夫:能否透露你计划在 OpenAI 开展哪些工作?数学家在人工智能安全研究中能够扮演怎样的角色?
![]()
齐默曼:现阶段人工智能研究高度依赖实验试错。我们尚未形成成熟理论,无法清晰解释人工智能系统如何运转、为何能够完成各项任务、在特定环境下会做出何种行为。纵观历史,数学正是一套工具,把模糊的直觉与定性认知转化为精准表述。信息论、复杂度理论都是如此。仅仅少量精准定义与理论理解,就能带来巨大突破。我们希望,依托理论认知,更好预判新型人工智能系统的行为、完成调整、实施管控、及时应对风险。我认为数学家的价值正体现在这里。
施罗夫:为何选择入职私营企业,而非留在学术界研究同类问题?你是否担心研究独立性受损,比如论文发表受限、无法自由选择研究课题?
齐默曼:入职私营企业,和进入政府机构、留在高校之间,必然存在取舍。我坚定认为,人工智能安全领域需要健康多元的生态。各大人工智能实验室开展的相关研究意义重大。同时有大量第三方机构独立研究人工智能安全,这类机构数量还需要进一步扩充。此外,我们需要配套监管规则,以及由政府直接资助、独立评估人工智能系统的机构。我希望各类主体能够常态化交流协作。我已经和多家人工智能安全机构开展合作,后续也会持续保持沟通。
站在当下,选择 OpenAI 对我而言最为合适。一部分原因在于,我缺少软件工程相关背景。我能够熟练理解神经网络、人工智能系统背后的理论框架,但对于模型完整训练流程、落地部署全链条并不熟悉。想要完整摸清整个行业全貌,当下加入人工智能实验室是最优选择。
我将以休假形式离开多伦多大学,但依旧保留该校教授身份,计划长期任职。行业变化速度极快,我甚至不敢笃定一年之后的局面。我保持开放心态,持续观察模型能力迭代、自身认知演变,以及全球社会对人工智能的反应 —— 大众态度几乎每个月都在变化。对于未来发展路径,我没有一套固定规划。
![]()
施罗夫:一封公开信正在流传,上千名头部人工智能企业员工签名,包括 Anthropic 和 OpenAI 内部负责人。信件呼吁美国政府搭建机制,“审慎调控前沿人工智能自动化技术的发展节奏”。你在网络上表示十分支持这封公开信。如果确实需要放缓、暂停前沿研发,各方应当如何协调落实?
齐默曼:协调合作是人工智能议题中最重要的课题之一,同时也是难度最高的课题之一。我很不认同舆论里一种论调:协调难度极大,因此注定无法实现,尝试推动协调本身就是天真之举。这种看法既消极,也不符合事实。世界上大量成熟体系,都依靠海量主体协同决策才能运转。互联网就是典型例子,这项高度国际化的复杂技术,依靠无数机构持续协作维系。互联网算不上完美无瑕,但整体运行效果十分出色。
我希望传递一个观点:不要因为愤世嫉俗,就放弃为全人类共同利益攻克复杂的协同难题。这条准则一直成立,并不仅仅适用于人工智能领域,时至今日依旧有效。当然,这不代表我们天真地认为各方主体不存在自身诉求。各方必然有各自的利益考量。但只要愿意尝试,就可以取得大量成果。人类历史上已经多次证明这一点,人工智能领域同样需要这样的努力。
施罗夫:我们刚才聊到你对安全研究的兴趣。你是否也有意投身能力拓展方向,尤其是人工智能的数学能力研发?
齐默曼:不会,我的重心完全放在安全领域。能力拓展方向存在很多有趣课题,人工智能应用前景广阔。但能力迭代本身进展顺利,现阶段并不需要我们投入过多注意力。安全领域还有大量亟待解决的问题。
施罗夫:未来会不会出现这样一种局面:任何人打开 ChatGPT 或者克劳德模型,直接下达指令:帮我攻克一道悬而未决的重大数学难题?
齐默曼:现在其实已经可以做到。人们确实可以直接输入指令,人工智能会主动检索相关问题并尝试求解,甚至有机会解决部分难题。我们已经处在这个阶段。
不过我认为普通人花费大量时间做这件事意义有限。首先,这类工作几乎必然会全面自动化。未来会出现专门持续检索各类猜想、自动寻找解题思路的人工智能系统。普通人,尤其是没有数学专业基础的人,随意输入指令,很难产生实质价值。这件事虽然有趣,但我不建议缺乏专业背景的人投入大量精力。人工智能输出的内容经常存在谬误。经常能看到不具备数学基础的网友发帖:人工智能给出了这份推导,我不知道对错,或许可行?有没有数学家帮忙核验?我认为这类行为价值不高。
施罗夫:说实话,我也忍不住尝试。上周我让智能体通宵攻坚未解决的数学难题,早上收到一堆结果,我完全无法判断价值。
齐默曼:对于充斥大量专业定义的难题,普通人很难在一两天内真正理解。但有一些经典难题,门槛相对更低,却长久悬而未决。我建议大家和人工智能互动时,即便模型承担大部分运算工作,自身也要从中学习。如果你只是不断下达指令、任由智能体推进,自身没有建立任何理解,相当于主动放弃独立思考能力。
施罗夫:当下数学领域发生的变化,能否预示其他学科,在人工智能能力持续提升后将要面临的局面?
齐默曼:大量技术学科都会受到冲击,物理学、部分经济学分支、高端化学领域首当其冲。生物学、实验物理学的走向尚不明确,这类学科高度依赖实验操作。未来人工智能或许足够智能,脱离实体实验,依靠推理高效推进实验物理、生物学研究,但目前还只是比较遥远的设想。不过各个学科中偏向理论的分支,很快就能感受到人工智能带来的巨大变革。*
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.