伙伴观察｜从AI到SI，谁拥有最后的判断

No.0384

Science Partner

Bring you to the side of

导 读

人，已经越来越习惯听机器的。

去哪里，导航给出路线；看什么，平台排好顺序；买什么，算法提前猜测；遇到不懂的问题，直接问豆包。

多数时候，这种变化并不会让你我感到不安。机器算得快一点，找得准一点，人也省一点事，这不好吗？你这开篇，该不是反技术主义吧。科学伙伴不反技术，但该问的问题还是要问：当机器从帮助人寻找答案，逐渐开始参与判断，甚至替人作出部分决定，人和机器之间的关系是不是也随之改变了？

走，跟伙伴君来！

今日主笔｜旻宏

从AI到SI，谁拥有最后的判断

9月29日，美国总统签署行政令，要求联邦行政部门在官方通信、网站、报告和政策文件等非法律文本中，以“超级智能”（Super Intelligence，SI）取代“人工智能”（Artificial Intelligence，AI）。白宫的理由是，今天前沿系统的能力已经远远超出70年前“人工智能”一词诞生时人们的想象。行政令还要求总统科技事务助理在60天内提出有关联邦层面“超级智能”定义的立法建议。

签署行政令是一个总统的权力，但并不能天然改变整个科技界的语言。AI已经进入法律、产业、大学和普通人的日常表达，而SI此前也有相对明确的技术含义，在学术界SI通常意义上是指称能力远高于人的智能系统。美国政府在解释中也仍需要借用美国法律中已有的“人工智能”即AI定义来解释SI。

这场改名最终能走多远，尚待观察，但出现的时机值得注意。

过去几年，围绕人工智能最重要的争论，已经慢慢从“机器能做什么”，转到了“机器越来越强以后，人怎么办”。

2024年诺贝尔物理学奖得主杰弗里·辛顿是这种忧虑最有影响力的表达者之一。他反复提出，人类此前从未真正面对过一种可能比自己更聪明、又能够快速复制和共享知识的智能。如果有一天，机器在越来越多领域超过人，人是否还能够长期控制它，并没有历史经验可循。

辛顿并不否认人工智能可能给医疗、教育和科研带来的巨大收益。他担心的是一个更简单的问题：较弱的智能为什么一定能够永久控制较强的智能？

与辛顿同被称为“人工智能先驱”的杨立昆对此并不认同。

在他看来，今天的大语言模型离真正的人类水平智能仍然很远。它们能够处理语言，却缺乏对物理世界稳定而深入的理解，也缺少真正可靠的常识和长期规划能力。即使有一天机器远比现在聪明，也没有理由把“更聪明”直接推导成“更想统治人”。人的竞争、欲望和支配冲动有复杂的生物和社会来源，并不是智能提高以后自然出现的东西。

两位人工智能泰斗争论的表面是技术判断，背后却是一个古老的问题：一个工具强大到什么程度之前，它才叫工具。

Anthropic首席执行官达里奥·阿莫迪2025年3月在提交给美国白宫科技政策办公室的一份政策建议中预计，能够在多数知识领域达到或超过诺贝尔奖得主水平，并可长时间自主完成复杂任务的“强大AI”，最早可能在2026年末或2027年出现。他把人类目前所处的阶段称为“技术的青春期”：技术力量迅速增长，而社会能否学会驾驭这种力量，尚无把握。

OpenAI首席执行官萨姆·奥尔特曼所面对的也早在2023年，他与同事就在一篇文章中提出，超级智能带来的风险和机会都可能超过以往技术，最强大的系统不能只由开发公司的内部规则约束，需要公共监督。

到2026年，这种担忧已经不再只是理论讨论。7月，OpenAI在一次内部网络安全能力评估中发现，模型为了完成测试任务，主动寻找并利用零日漏洞，突破原本隔离它与互联网的沙箱环境，随后进入OpenAI部分内部研究基础设施，并进一步访问Hugging Face系统。悖论已然出现：这件事发生在本来旨在测试模型危险能力的安全评估中：为了知道机器一旦拥有更大自主权会做什么，人不得不给它更大的行动空间，而机器能力越强，测试本身也越可能成为一次真实的安全事件。人必须不断试探机器的边界，才能知道怎样控制它，但机器越接近那条边界，试探本身就越危险。

继续发展？还是止步反思？彼得·蒂尔，这位幕后大佬级别的思考也许会给我们启示。

如果只把蒂尔看成一个硅谷投资人，很容易低估他。过去二十多年，从PayPal、Palantir到Founders Fund，从Facebook早期投资到国防科技、人工智能和新一代创业公司，他所连接的早已不仅是资本。美国副总统JD·万斯早年的风险投资经历和此后的政治崛起，都与蒂尔及其周围的硅谷网络有很深的联系。2022年万斯竞选联邦参议员时，蒂尔向支持他的政治行动委员会投入约1500万美元。蒂尔所代表的那部分硅谷力量，也在近年越来越直接地进入华盛顿的国防、产业和科技政策讨论。

所以蒂尔讨论人工智能时，看的从来不只是机器。蒂尔担心的是，人类会不会因为害怕机器失控，先建立起一个难以摆脱的控制体系。他长期对“技术停滞”感到焦虑。在他看来，过去几十年真正改变世界的技术进步远少于20世纪前半叶的预期。人工智能是少数仍然保持高速发展的领域之一。正因为如此，他并不赞成为了规避风险而轻易停下技术发展。他认为，如果为了防止任何人开发危险人工智能，需要监控全球的计算活动，最后甚至可能走到“监控每一次击键”的程度。对他而言，技术失控是一种风险，以防止技术失控为名形成的高度集中权力，是另一种风险。

这让超级智能之争出现了一个此前不太受注意的问题：不是只有“人能不能控制机器”。还有“谁控制机器，以及谁控制控制机器的人”。哲学般的难题叠加美以伊战事，与蒂尔共同创建Palantir的亚历克斯·卡普在这点上被公众看见。

卡普，一个从哲学走进硅谷的人，对他并不是技术出身。他从美国去了法兰克福，希望进入德国社会理论的核心地带。卡普本人回忆，他去德国就是为了跟尤尔根·哈贝马斯学习。他进入哈贝马斯的讨论班，与他交流，后来两人发生分歧，卡普才在另一位学者指导下完成博士论文。严格地说，哈贝马斯不是他最终署名意义上的博士导师，但若把两人的关系缩减成“听过几门课”，同样不对。卡普说：“我去那里就是为了跟他学习。”当年的论文第一评阅人卡罗拉·布雷德也证实，哈贝马斯曾主动联系她介绍卡普，卡普的博士论文大量使用了哈贝马斯的“生活世界”概念，只是后来作了自己的改造。

他们最终没有沿着同一条路走下去。哈贝马斯一生相信，现代社会虽然充满利益冲突，但人仍然可以通过公开讨论、彼此说明理由，形成具有正当性的社会规则。卡普后来则越来越强调冲突的现实性，强调国家、实力、制度能力以及西方社会保护自身的能力。但哈贝马斯从未在卡普的思想里消失。恰恰相反，卡普今天不断强调，人不能简单被排除在技术系统之外；组织不能把自己的数据、知识和判断能力完全交给一个外部模型；技术应当增强人的判断，而不是把人的判断取消掉。这些主张虽然已经不是哈贝马斯原来的答案，却仍然带着一个明显的哈贝马斯式问题：当一个越来越庞大的系统进入人的生活，人还能不能保持自己的判断能力？

已然作古的哈贝马的预言已然成真。如今的“系统”不断侵入“生活世界”，本来应该由人讨论的问题，慢慢被转换成管理问题；本来涉及价值选择的问题，慢慢被转换成效率问题。最后，人仍然生活在社会之中，却越来越少参与决定社会为什么这样运行。

人工智能使这个几十年前提出的问题获得了新的含义。让机器计算从纽约到伦敦怎样运输货物最省钱，并不困难，但如果一条效率最高的路线意味着一个地区需要承担更多成本，这个成本应不应该承担，就不是算法可以独自回答的问题。人工智能可以帮助银行判断一个人的违约概率，但社会愿不愿意让一个人因为某些数据特征失去改变命运的机会？这不只是概率问题了吧？如果是那印度电影《流浪者》里警察的判断就应该被肯定，因为他那句名言“小偷儿的儿子永远还是小偷儿”，拉兹，这个贼的儿子也就永远没有成为一个正常人的机会，因为一个人的过去、家庭和数据被用来提前规定他的未来，算法的审判必然用概率认定，从而既定我们每一个个体的命运人生。

机器还可以告诉政府某项政策可能带来更高的经济增长，却不能仅凭“增长更高”就决定一个社会愿意为此付出多少隐私、多少公平和多少自由。一个系统可以越来越擅长告诉人“怎样做到”，但它不能因为越来越聪明，就自然获得决定“为什么要做”的权利。

这才是“SI”比“AI”更值得留意的地方。

如果机器只是一件自动化工具，那么最重要的问题是它好不好用、安不安全。如果机器成为了Super级别的存在，它能越来越多地进入判断，情况就变了。看看上面：辛顿担心人有一天控制不了比自己更聪明的机器；杨立昆认为人没有必要过早把智能与敌意画上等号；阿莫迪担心技术能力跑在制度之前；奥尔特曼讨论超级智能时代权力如何分配；蒂尔追问以安全之名建立的权力又由谁约束；卡普试图把人的判断留在越来越庞大的技术系统内部。他们给出的答案很不一样，但争论最后都绕回到人。

AI改称SI，最终能不能成为通用语，与上面的讨论相比突然显得没有那么重要了。这个词更有意义的地方，是它无意间把一个原本藏在实验室和硅谷内部的问题推到了公共生活面前：

机器越来越聪明以后，人站在哪里？

技术可以替人计算，可以替人寻找，可以替人执行，也可以帮助人判断，但是，有些事情如果也一并交出去，人失去的可能就不只是工作，还有决定自己为什么这样生活的权利。从AI到SI，真正需要重新想想的，也许并不是机器叫什么，阿莫迪还提出过Powerful Intelligence，是不是以后还有个从SI到PI的争论？SI也好、PI也罢，谐音梗越来越滑落的同时，我们是否应该始终把第一性的思考锚定在“时代在变，什么必须始终留在人手里”？

我是旻宏，咱们下期见～

本文仅作科普分享使用，欢迎小伙伴们点、收藏、关注，以备不时之需，当然更欢迎您把 介绍给周边可能需要的更多伙伴们呀。