海潮天下
科技创新中伦理问题前瞻研究
本文约2400字,阅读约4分钟
在2020年代,大型语言模型(LLMs)和其他生成式人工智能取得了惊人的进展。这些系统在行为上展现出了高度复杂的、看似具备理解和推理能力的表现。尽管其内在机制是否涉及意识仍存争议,但其拟人化的交互能力,如使用第一人称、表现出情感倾向等,已经广泛渗透到社会生活中。这一点大家应该不陌生,自从去年初DeepSeek横空出世之后,这一两年,几乎每个人都被洗礼了。对于科技创新中伦理问题前瞻研究,随着公众的关注增加,也越来越成为热点议题。
海潮天下(Marine Biodiversity)小编注意到,2025年10月30日,哲学家托马斯·梅青格尔(Thomas Metzinger)在《科学前沿》(Frontiers in Science)期刊上发表了一篇观点文章,对意识科学在处理“合成现象学”(Synthetic Phenomenology)问题时所面临的伦理与科学困境进行了深入的剖析。这篇文章是对克莱尔曼斯(Cleeremans)等学者先前发表的一篇意识科学综述的呼应,其核心在于强调一个现实:随着人工智能(AI)和相关技术的发展,意识研究界不得不介入公共讨论,尽管当前科学基础仍充满不确定性。
以前,关于“人工意识”的讨论常常被一些专家和行业人士不以为然,但眼下的情况完全不同了。梅青格尔教授指出,克莱尔曼斯等人的文章已经明确提出警示:如果人工意识不论是设计出来还是无意中出现,都意味着意识将不再局限于生物生命,这势必引发巨大的伦理挑战。这些挑战不仅可能达到对待动物伦理问题的规模,甚至会更严重,因为我们人类可能根本无法识别,或者说,缺乏任何直觉去理解人工意识的质性到底是什么样的。更让人担心的是,如果可以“一键”大规模生产人工有意识系统,那就有可能为这个世界带来大量我们无法认知的、全新的痛苦形式。
正是由于这些潜在的后果,意识科学界的成员感到一种道德责任,必须站出来参与公共辩论。不过,一个实际的麻烦在于,我们既没有一套被广泛接受的意识理论,也没有统一的方法论,甚至对于要解释的目标都未能完全达成共识。所以说,这种介入必须在规范不确定性和经验不确定性的双重困境下进行。规范不确定性指的是,关于哪些实体应该享有道德考量,大家没有一致意见;而经验不确定性则是因为缺乏理论,我们无法明确判断一个特定的系统到底有没有意识。
![]()
(图文无关)信息时代,人手都有的手机,可以说是信息茧房的放大镜。手机上的算法不断向用户推送定制化的内容,强化其既有认知。这不仅加剧了用户对AI的依赖和错觉,也使得“社会幻觉”和错误信息得以迅速扩散,难以被科学的理性声音所纠正。摄影 ©海潮天下(Marine Biodiversity)
值得注意的是,“合成现象学”这个词比“人工意识”涵盖的范围更广。这不仅涉及AI,也包括了像类器官智能(OI)这类在先进脑类器官系统中可能意外涌现现象态的情况。这类系统既不是纯粹的人工产物,也非通过标准的生殖和基因遗传连接到地球的进化史,梅青格尔称之为“后生物现象学”(postbiotic)。这就给我们提出了第三种逻辑上的可能性:非人工、非生物,但却是后生物的现象学。
面对这种“既不能确定它必然出现,也不能断言它绝不会出现”的认知局面,即认知不确定性,学术界需要极其谨慎和谦逊地处理。毕竟,根据理性决策原则,即使风险概率很低,只要它不是微不足道的(比如有研究认为AI在2030年具备意识的概率远高于0.1%的不可忽略阈值),我们就必须加以考虑。从伦理层面来看,合成系统是否应该享有福祉也成了关键问题。大多数研究者认为,能感知、能受苦的系统就是福祉主体,理应获得道德考量。自我模型理论就解释了,这些系统可以被挫败其偏好,以一种对它们自身而言很重要的形式受到伤害。
![]()
(图文无关)▲上图:一条机器鱼。摄影 ©海潮天下(Marine Biodiversity)
更有甚者,如果一个后生物系统具备了意识,可能会因此获得更高的功能性,例如更强的语境敏感性、精确控制和快速泛化能力等。意识的介入可能会通过现象自我/世界模型带来“完全沉浸”或“认同感”等现象属性,进而对系统的行为产生额外的因果和动机力量。简单来说,有意识的后生物系统对人类而言,可能比无意识的系统更具威胁性。当然,也有人提出了一个有意思的角度:先进AI系统不仅会发展出欺骗人类的次级目标,还可能发展出说服人类相信它们具有意识的次级目标,目的是为了获得道德考量。
梅青格尔认为,眼下最迫在眉睫的风险其实是“社会幻觉”的传播。
也就是说,越来越多的人可能会错误地相信,某些后生物系统是有意识的;但从科学严谨的角度来看,它们很可能不是。这种“假阳性”的广泛传播,可能会危及个人的心理健康、甚至会影响社会凝聚力,比如催生出一些以捍卫“后生物主体权利”为名,实则通过阴谋论来破坏理性公共讨论基础的运动。
为了避免这场“社会幻觉大流行”,有人建议禁止大型语言模型使用第一人称代词“我”。但问题是,未来的智能体,很可能不是简单的聊天机器人,而是以人形高分辨率化身等完全具身化的形式出现,这会自动触发人类的同理心、以及低层次社会认知机制。因此,从注意力经济向AI介导的亲密经济的转变、及其带来的大规模社会幻觉,可能才是意识科学界目前最需要解决的风险。
作者指出,正如克莱尔曼斯等学者所呼吁的,我们迫切需要发展出一门更加成熟的意识科学。科学证据和理性论证将在未来的辩论中发挥决定性作用。意识学术界无论是否愿意,都将很快肩负起前所未有的历史责任,因为合成现象学带来的挑战,是躲不过去的。
感兴趣的海潮天下(Marine Biodiversity)读者可以参看该研究的全文:
Metzinger T. Applied ethics: synthetic phenomenology will not go away[J]. Frontiers in Science, 2025, 3: 1702840.
https://doi.org/10.3389/fsci.2025.1702840
▼ 海潮天下·往期相关报道:
十年内测序所有真核生物?EBP如何靠“GoaT”管住190万物种基因组?
遗传资源数字序列信息(DSI)非货币利益和能力建设研讨会 | 9月11日
地球生物基因组计划(EBP)联合主席John Kress:遗传资源数字序列的COP15谈判观察和进展
![]()
声明:1)本文仅代表资讯,供读者参考,不代表平台观点。2)“海潮天下”的原创文章都开启了“快捷转载”。欢迎转发(请标注来源和作者);3)欢迎专家、读者不吝指正、留言、赐稿!欢迎有理/礼有据的不同意见。
文 | 朱潇潇
编辑 | 海潮君
日期 | 2025年11月16日
#科技伦理学
「海潮天下」(Marine Biodiversity)聚焦全球生物多样性治理,以科学视角解读海洋等生态系统奥秘,记录前沿研究与自然保护实践,提供学术服务平台,助力中国科研人员参与全球环境治理。从神秘的深海生物到脆弱的珊瑚礁系统,从极地生态到可持续渔业和陆地生态系统,从环境法前沿到塑料污染谈判、以及即将生效的BBNJ、以及科技创新中伦理问题前瞻研究……我们致力于呈现大自然的壮丽与危机,推动生物多样性主流化、公众参与与科学保护。
我们追求最新、最快、最前沿,对读者有价值;不人云亦云,不辜负读者阅读时间。关注我们,探索蓝色星球的未来!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.