后AI时代：从安全边界到文明共存｜未来学读书会第六期

导语

上一期读书会，我们从技术哲学、伦理学的视角出发，探讨了当我们讨论“未来”时，人类并非是唯一可能的行动的主体，从后人类主义视角来看，人类、动物、技术、机器以及其他非人存在，都可能成为未来研究需要考量的关系节点。正像今天生成式AI的快速发展，超级人工智能的可能前景，引发了关于AI 安全与AI 伦理的热烈讨论。

本期读书会为“未来学读书会”系列的第六期，我们邀请了后AI研究所创始人、指数深空计划发起人蒋程宇，以《后AI时代：从安全边界到文明共存》为题为我们分享他对后AI时代的思考。

• 强大的 AI 是否可靠？为何 AI 风险？

• 如果AI进入能够自主获取资源、制造和扩张的开放环境，人类还能否有效监督与干预？

• 机器拥有目标，是否就意味着拥有使命与意义？

• 面对更强大的智能主体，人类又希望获得怎样的对待？

主讲人将通过分析AI安全的基本机制，借助空间工业案例考察机器的物质自主性，并结合关于目标、使命与生命意义的哲学讨论及生态伦理的镜像比较，探讨人机文明的控制边界、使命生成与共存秩序。

为系统梳理未来学领域的最新进展，集智俱乐部联合南京师范大学新闻与传播学院副研究员崔浩川、塔夫茨大学博士后章彦博共同发起，组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年9月6日起，每周日14:00-16:00线上开展，持续约10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

报告简介

本报告从对抗性攻击与生成式AI的“抽卡”现象切入，介绍AI风险的基本概念与机制，继而讨论开放环境和空间工业如何改变人类的监督与控制能力。在此基础上，探讨机器文明的意义、使命与共存秩序，并以生态伦理和后AI风险的镜像比较收束：当人类面对更强大的智能主体时，我们希望获得怎样的对待？

分享大纲

1. AI风险导论：对抗性攻击、“抽卡”与越狱；鲁棒性、对齐、可纠正性、工具性趋同与渐进失权。

2. 开放与封闭环境：空间工业、原位资源利用、自主制造与自复制；通信时延、资源依赖和控制边界。

3. 机器文明的意义危机：区分目标执行、使命正当性与主观意义，讨论使命的继承、演化与多主体共存。

4. 尾声与合作：从《寂静的春天》到人类可能受到的AI支配，比较存续、福利、自主性与代表权；介绍后AI研究所未来学调研及AI适人性（Human-Fit）测评合作方向。

核心概念

本期读书会以后AI时代：从安全边界到文明共存为主题，从今天可观察的AI风险出发，讨论自主机器进入开放世界之后的控制、意义与共存问题。

1. AI风险：能力强，为什么仍可能不可靠？从对抗性攻击和生成结果的“抽卡”现象切入，介绍鲁棒性（环境变化时是否稳定）、对齐（系统追求的目标是否符合人的意图）、奖励投机（完成指标却偏离真实目的）和可纠正性（是否允许人类纠错、干预或关闭）。

2. 开放与封闭环境：控制能力取决于什么？比较资源、权限和交互受到限制的系统，与能够自主获取资源、制造、维护和扩张的系统。借助空间工业案例，讨论物质自主性、通信时延和干预窗口：理解AI如何运行，是否就意味着人类仍能有效控制它？

3. 机器文明的意义危机：有目标，是否就有意义？区分目标（系统优化什么）、使命（长期行动为何值得）与主观意义（是否体验到值得、满足或空虚）。进一步讨论多个机器主体能否通过探索、竞争与合作形成“使命生态”。这里不预设机器已经具有意识。

4. 生态伦理的镜像：更强的主体如何对待其他生命？从《寂静的春天》《仿生人会梦见电子羊吗？》，延伸到动物伦理、后人类中心主义与AI支配问题，比较人类对其他生命的处置和未来AI对人类的可能关系，讨论福利、自主性、支配与共存。

尾声将介绍后AI研究所的未来学研究，以及AI适人性（Human-Fit）测评合作方向：如何判断AI是否增强人的判断力、自主性与现实行动能力。

主讲人介绍

主讲人：蒋程宇，后AI研究所创始人、指数深空计划发起人，前清华大学智能产业研究院（AIR）研究专员，曾就读于哈尔滨工业大学数学系。

长期活跃于人工智能、先进制造、空间工业与未来学等交叉领域。早年从事人工智能与复杂系统探索，发起科技教育公益项目「一公斤电子」，并参与交互艺术创作。曾创办 PhotonFluid Inc. 与指数万物，聚焦于光固化与金属3D打印研发，拥有成体系的相关技术专利，持续推动先进制造产业变革。

2018年发起「指数深空」计划，探索通过近地小行星原位资源利用、自主制造与智能机器系统，推动大规模空间工业及长期文明扩张的技术路径。

近年来，围绕通用人工智能的发展及其深远社会影响，创办后AI研究所，关注AI风险、后AI哲学、未来学、机器文明、人类主体性与社会制度演化，尝试从技术演进、复杂系统与文明长期发展的交叉视角，研究人工智能时代人类与机器共同面对的多元未来。

曾在706青年空间等公共论坛开展关于AGI、技术与人类文明未来的主题分享。

参考文献

一、AI风险导论

1. Amodei, D., Olah, C., Steinhardt, J., et al.（2016）. Concrete Problems in AI Safety . arXiv预印本。

二、开放环境的背景：空间工业与自主制造

1. Metzger, P. T., Muscatello, A., Mueller, R. P., et al.（2013）. Affordable, Rapid Bootstrapping of the Space Industry and Solar System Civilization . Journal of Aerospace Engineering , 26(1), 18–29.

2. Hoffman, J. A., Hecht, M. H., Rapp, D., et al.（2022）. Mars Oxygen ISRU Experiment (MOXIE): Preparing for Human Mars Exploration . Science Advances , 8(35), eabp8636.

3. Ellery, A.（2016）. Are Self-Replicating Machines Feasible? . Journal of Spacecraft and Rockets , 53(2), 317–327.

三、开放与封闭环境的AI风险：边界、干预与治理

1. Babcock, J., Kramár, J., & Yampolskiy, R.（2016）. The AGI Containment Problem . Artificial General Intelligence, AGI 2016 , 53–63.

2. Hadfield-Menell, D., Dragan, A., Abbeel, P., et al.（2017）. The Off-Switch Game . IJCAI 2017 , 220–227.

3. Dalrymple, D., Skalse, J., Bengio, Y., et al.（2024）. Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems . arXiv预印本。

4. Kulveit, J., Douglas, R., Ammann, N., et al.（2025）. Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development . arXiv预印本。

四、机器文明的意义危机：目标、反思与使命生成

1. Bostrom, N.（2012）. The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents . Minds and Machines , 22(2), 71–85.

2. Nagel, T.（1971）. The Absurd . The Journal of Philosophy , 68(20), 716–727.

3. Wolf, S.（2010）. Meaning in Life and Why It Matters . Princeton University Press.

4. Bostrom, N.（2024）. Deep Utopia: Life and Meaning in a Solved World . Ideapress Publishing.

5. Lehman, J., & Stanley, K. O.（2011）. Abandoning Objectives: Evolution Through the Search for Novelty Alone . Evolutionary Computation , 19(2), 189–223.

五、生态伦理与后AI风险的镜像：保护、自由与支配

1. Carson, R.（1962）. Silent Spring . Boston: Houghton Mifflin.

2. Sparrow, R.（2024）. Friendly AI Will Still Be Our Master. Or, Why We Should Not Want to Be the Pets of Super-Intelligent Computers . AI & Society , 39, 2439–2444.

3. Luck, M.（2025）. Freedom, AI and God: Why Being Dominated by a Friendly Super-AI Might Not Be So Bad . AI & Society , 40, 291–298.

活动预告

⏰ 时间：2026年10月18日（周日）下午14:00-16:00

线上：腾讯会议

直播：集智俱乐部微信视频号、B站账号同步直播

感兴趣的朋友请扫码报名加入读书会，报名后可进入学员群参与交流讨论。

直播信息

报名读书会：「未来学」

集智俱乐部联合南京师范大学新闻与传播学院副研究员崔浩川、塔夫茨大学博士后章彦博共同发起，组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。

读书会自2026年9月6日起，每周日14:00-16:00线上开展，持续约10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

扫描海报中二维码报名参加读书会

报名方式

第一步：微信扫码填写报名信息。

第二步：填写信息后，付费报名。如需用支付宝支付，请在PC端进入读书会页面报名支付：

https://pattern.swarma.org/study_group/89?from=wechat

第三步：添加运营助理微信，拉入对应主题的读书会社区（微信群）。

PS：我们鼓励围绕复杂系统、人工智能及相关具体问题的深入探讨。为保证讨论质量，请避免发表脱离本期读书会主题、缺乏实证基础或过于空泛的哲学思辨类内容。

若讨论内容明显偏离主题，经主持人提醒后仍未调整，为维护整体学习环境，我们将不得不将该成员请出讨论群，并根据其实际参与进度，对未参与部分按比例办理退费。

感谢您的理解与配合，让我们共同营造一个专注、深入、有收获的共学空间。

加入社区可享核心资源

成为会员即可解锁完整学习生态，包括：线上实时问答、全部课程录播回看、独家资料共享、高质量社群交流、第一手信息同步，以及通过参与共创任务获取积分等权益。

特色退费与激励机制

我们提供以下两种途径，让您的投入获得实际回馈：

1. 任务达标退费路径
   

   认领并合格完成任意两期字幕任务，即可退还全额报名费，并额外获得集智专属周边奖励。

2. 运营成长激励路径
   

   合格完成一个字幕任务后，可申请成为运营助理。在读书会项目顺利结项后，将退还学费。表现优异者，还有机会获得额外的奖学金。

相关内容推荐

1.「未来学」读书会推荐阅读材料

扫描下方二维码可跳转至集智斑图网站阅读文章：《拯救2050:未来学》读书会推荐阅读材料。

1. 往期公众号相关内容推荐