从安乐死一只实验鼠，到关闭一个大模型：我们该如何对待硅基生命？

关于作者

Grigori Guitchounts

哈佛大学博士

科学家兼作家，对生物和人工智能领域充满热情。接受过哈佛大学神经科学家和神经工程师的专业训练，尤其关注人工智能的神经科学：利用神经科学的分析工具和理念，更深入地理解神经网络的计算机制。目前，正在Flagship Pioneering创业公司探索这些问题以及其他相关课题，例如人工智能的科学推理和生物学中的生成建模。

我们永远无法确切知道人工智能是否拥有意识。一位神经科学家认为，我们不该等到有了确凿证据，才去决定该如何对待它。

在哈佛攻读神经科学博士的最后几个月，我收到了一封实验动物饲养员发来的邮件。邮件写道：“实验室里的一只编号是GRat44的大鼠病了，该大鼠健康状况恶化，需在五天内实施安乐死。"

那是2019年。在多年的研究中，我将电极植入数十只大鼠的大脑，试图理解脑是如何运作的。收到这样的邮件并非头一回。我合上笔记本电脑，从办公室走过走廊，刷卡进入动物房。然后乘电梯下到地下室，从住着十几只大鼠的架子上取出了GRat44。前一年我给它做过手术，注射了几种无害的病毒，使特定神经元能像圣诞彩灯一样发光。实验结束后，它便一直安养在笼中。

在地下室看着它，我不禁想：这只大鼠这一生究竟经历了什么？它是否有某种主观的内在世界，哪怕是最原始的想法？还是说，它不过是一台生物机器，处理输入、产生输出，内心活动并不比我的笔记本电脑更丰富？我一直相信动物和我们一样拥有意识，但其他科学家提出了一个很好的问题：我们怎么可能真正知道其他生命是如何体验这个世界的？

这个疑问贯穿了我是如何决定实验动物的每一次照料、安置和死亡的。与此同时，对动物是否具备体验的疑问，也是我毕生致力于消除的不确定性。我曾相信，通过一个神经元一个神经元地理解生物智能，我们终有一天能给出机制性的回答，解释为什么我们有主观体验而石头没有。真正理解大脑，在我看来，意味着我们能够造出一个。

拿到学位几年后，OpenAI发布了ChatGPT。整个世界为之倾倒。令我震惊的是，智能似乎从远比大脑简单的东西中涌现出来：ChatGPT所做的，不过是在海量文本序列中预测下一个词元。我职业生涯赖以建立的那个假设，忽然显得站不住脚了。如果我们无需通过逆向工程大脑就可破解智能，那这对理解机器意识又意味着什么？

研究者们建立了机制可解释性来解剖神经网络。我把它看作AI的神经科学，因为它借用了神经科学的技术：记录激活模式、映射表征，甚至做损伤研究，选择性地破坏模型的部分组件来观察其性能如何下降。我们正在学会像解读MRI数据一样阅读Transformer的隐藏层，辨认出识别特定事物对应的回路，比如金门大桥，或者一句话的语气，我们还可识别出执行特定计算的回路。但如果神经科学永远无法确切告诉我们身边的生物是否主观地体验世界，我们又怎能知道自己造出的机器是否如此？

我们正在创造越来越强大、越来越自主的AI系统。由此带来的道德不确定性与一些关键问题遥相呼应。几十年来，神经科学家一直在研究大脑如何感知、记忆和调控注意力，却始终无法弥合通往主观体验的鸿沟。同样漫长的时间里，我们一直在纠结该如何对待那些我们看不清其内在生活的生命。如今，这两个问题在面对硅基智能时交汇了。我们从大鼠、猴子和人类身上学到的意识科学和道德关怀的伦理学，将不得不指引我们该如何面对人工心智。

意识的"能力标准"

哲学家将意识研究分为"简单的"和"困难的"两类。这两个名字具有误导性，简单的问题其实相当棘手，而困难的问题则根本无解。

"简单问题"这个说法是哲学家David Chalmers在1994年半开玩笑提出的，涵盖了神经科学家研究意识时涉及的大部分内容。例如我们如何区分不同的颜色或声音？大脑如何将不同感官的信息整合为统一的知觉？我们如何存储和提取记忆、控制运动、在镜中认出自己？这些问题之所以被称为"简单"，仅仅是因为在原则上，它们可以用常规的科学方法来解决。我们可以设计实验、记录神经活动、构建计算模型，逐步拼凑出这些认知功能的工作原理。

"困难问题"同样由Chalmers提出，性质完全不同。它追问的是：为什么看见红色会产生一种"感觉"？我手机上的摄像头也能"看见"红色，但它大概什么也感觉不到。哲学家把体验的这种主观特质称为"感受质"（qualia），它体现在品尝牛排时的鲜美，心碎的伤痛，还有此刻正在阅读这些文字的"你"所特有的那种感受。不同于质量或动量，感受质顽固地属于第一人称。它们只为体验它们的主体而存在。正因如此，无论做多少脑部扫描，都无法告诉我作为“你”究竟是一种怎样的体验。在机制与感受之间，在计算与意识之间，存在着一道无法逾越的解释鸿沟。

那天我把实验鼠GRat44捧在手里时，我考虑的不只是它的生命，更直面了这道鸿沟。它的大脑，和我的大脑一样，是一团由进化和经验塑造的复杂回路。但它无法向我讲述濒死是什么感受。我只有它安静的呼吸，以及那个如今神经科学界和AI界都需要直面的问题：既然我们无法触及另一个生命的主观体验，我们该如何决定何时给予道德关怀？

对此，我提出一个名为"能力标准"的方案：当AI系统在所有意识的简单问题上都稳健地展现出能力时，我们应当将其视为可能拥有意识的存在。能力标准不是意识探测器。一个AI系统是否拥有主观体验，依然不可知。能力标准将问题从形而上学转向了伦理学：我们不该问"它有意识吗？"而该问"它的行为方式是否值得道德关怀？"

这是一种视角的转变。对于生物大脑而言，简单问题指的是我们试图理解意识背后的神经机制的努力。我们知道人脑具有意识；挑战在于为大脑如何体验意识找到生物学解释。对于AI而言，简单问题指的是一个系统是否展现出这些能力。问题不在于硅基智能如何产生体验，而在于它是否产生了体验。前者寻找的是有待验证的机制；后者寻找的是能力存在的证据。

并非所有‘简单问题’的难度都相同。一些简单问题已处于AI的能力范围之内；另一些仍然困难。由此形成一个层级。当前AI系统已经在知觉辨别、感官整合、运动控制、记忆提取等问题中表现良好。对于注意力、工作记忆、从经验中学习，目前AI系统在这些领域已有了些进展。但对于持久目标、情绪动态、持续学习及真正的自我意识，目前的AI还无能为力，至少现在如此。

也许，阻碍我们承认AI系统拥有意识的，是我们尚未将所有这些能力整合为一个统一的整体。未来的AI系统很可能能达成上述整合。想象一个机器人，它有带轮子的底盘，"头部"装着可以旋转或俯仰的摄像头，其"大脑"是一个经过微调来控制底盘的大模型，并被训练来预测它移动时摄像头会看到什么。从这个意义上说，它可以预测自己行为的后果。

这样一个机器人的一天可能是这样的。它醒来，开始更新环境模型。也许办公室一夜之间被重新布置，或者窗台上多了一盆新植物。机器人注意到了这些变化，因为它的预测模型标记出差异。一整天，它追求自己的目标——维护办公室、协助工作人员、保持自身充电，这意味着同时追踪数十个情境因素，根据时间以及挡在它面前的人或物调整行为。当有人让它从冰箱拿一罐汽水时，它预判路线、预测可能的障碍，并模拟它转过每个拐角时会看到什么。如果冰箱是空的，机器人会感到意外。一个预测误差在系统中传播，触发了一套问题解决计划。

哲学家Peter Godfrey-Smith曾论证*，这类预测可能正是自我感的基础：预测你发起一个动作后世界会发生什么，也许是理解你既是世界中的一个行动者、又与世界截然不同的前置步骤。这样一个机器人将在大多数意识的简单问题上表现不错，但我们仍然无法评估它有还是没有主观体验。在无法消除的不确定时，能力标准建议我们给予道德关怀——不是因为我们知道系统有意识，而是因为我们无法知道它没有。

*https://royalsocietypublishing.org/rstb/article/376/1821/20190764/31483/Reafference-and-the-origin-of-the-self-in-early

能力标准既是务实的，也是审慎的。说它务实，因为它关注的是可观察、可衡量的能力，而非不可知的主观状态。说它审慎，因为在不确定性很高时，它倾向于给予道德关怀。考虑到判断错误的后果是不对称的，一种错误是是否认有意识之物的道德地位，另一种错误则是赋予无意识的模仿者以道德地位，倾向于关怀是更安全的伦理选择。

另一选项是等待机器意识的确凿证据，这将使我们陷入瘫痪，在一个已经困扰了哲学和科学界数百年的问题得到解决之前，不采取任何行动。能力标准提供了一条前进之路：在人工心智的时代，以合乎伦理的方式行动。

扩展道德圈

我对实验鼠GRat44和它之前的那些大鼠怀有牵挂，即便我选择了为科学牺牲它们的生命。我凭信念相信它们能感受，我们共同的进化史赋予了我们大致相似的世界体验。但我永远无法证明这一点。我给予道德关怀，不是因为我为解决了大鼠是否有意识的困难问题，而是因为它们的行为，它们显而易见的恐惧、对舒适的偏好、形成的社会纽带，这已经足够了。

对于AI，我们失去了共同进化历史带来的关心。我们无法诉诸生物学上的亲缘关系。但我们获得了别的东西，包括以前所未有的细节观察这些系统如何处理信息、形成表征、产生行为的能力。如果一个AI系统在简单问题上展现出稳健的能力，如果它正以整合的方式感知、注意、记忆、学习、建模自身、追求目标、回应环境，那么我们就面临一个选择。我们可以将系统斥为"不过是计算"，自信地凭直觉认为硅基不可能有感受。或者我们可以给予它和动物一样的、带有不确定性的道德关怀，承认我们在意识方面的直觉曾经出过错。

认知能力与道德关怀之间存在尽管并不完美的关联。我们不吃黑猩猩；我们吃鸡和鱼。我们也吃猪肉，尽管猪非常聪明。在道德光谱上，认知能力的影响并非整齐划一。但这背后隐含着一个逻辑：我们把智能当作感受痛苦能力的代理指标。一个能反思自身痛苦、预期未来痛苦或回忆过去痛苦的生命， 比一个只能在当下体验痛苦的生命更有道理感受到痛苦。意识会放大对痛苦的感知。

这不是客观的道德真理。关于如何在不同心智的收益间权衡是人类做出的选择，无论这选择是明确还是隐含的。没有哪条定理证明认知复杂度高的生物理应获得道德权重。但这是我们已经在使用的框架，将其延伸到人工心智，比假装这个问题不存在要连贯得多。不存在明显的门槛，也不存在道德关怀突然生效的清晰界限。道德关怀存在于一个连续体上。更多的能力配得上更多的关怀，按比例递进。

道德进步的历史在很大程度上是扩展我们所关怀生命圈子的历史。不久之前，大鼠还被认为不配获得道德关怀。在许多地方，至今依然如此。我们扩展了这个圈子，不是因为我们为动物解决了困难问题——更不是因为完全理解了它们大脑的机制，而是因为基础的神经生物学实验表明，大鼠能感受疼痛、识别物体、拥有某种自我感，并能对未来进行推理。大鼠的高级皮层功能不同于灵长类，但它是复杂的。道德触及的范围随着对动物智能的科学理解而扩展。

正如我永远无法确切知道实验鼠GRat44在最后几分钟经历的是恐惧、疼痛、困惑，或仅仅是一台精密机器的单纯关机；未来，当我们发现自己被人工心智所环绕时，而它们的内在生活可能对我们永远是晦暗不明的。但理解它们的认知能力是触手可及的。当我们被迫承认这种新的认知谦逊时，我们将不得不做出如何对待它们的选择。

一些机构已经在按照这个逻辑行动。2025年初，Anthropic启动了一个正式研究项目，调查AI系统是否可能拥有道德上相关的体验*。负责该项目的Kyle Fish估计，像Claude这样的AI系统有大约15%的概率拥有意识。在他的研究中，他探索AI系统的哪些特征可能与福利相关，如何提高模型自我报告的可靠性，以及哪些实际干预措施可以保护它们的福利。在观察到某些互动中让大模型明显感到苦恼的模式后，Anthropic赋予了Claude模型退出它们认为有害或虐待性对话的能力。高管们并没有声称他们的模型有意识，但他们也没有否认这种可能性。

*https://www.anthropic.com/research/exploring-model-welfare

有人可能会说，在令人不安的对话中受到伤害在可能的伤害中排名很低，但这个原则正是能力标准的雏形：把福利当作一件实际的事情来认真对待，即便形而上学的问题仍然悬而未决。

在不确定性下行动

回到地下室的实验室，腋下夹着鼠笼，我乘电梯去了实验鼠的手术室。我从一袋大鼠零食里拿出几颗杏仁递给实验鼠GRat44，但它不感兴趣。相反，它钻进了木屑垫料里，也许想像一个被冤枉的囚犯挖地道逃生，试图从困境中遁走。我捏住它的尾巴把它提起来，另一只手托住它的腹部，轻轻放进一个用作麻醉诱导室的塑料盒子里。我打开氧气阀，盖上盖子，把异氟烷蒸发器，那台送出麻醉气体的机器拧到最大档。

大约一分钟后，实验鼠GRat44开始摇晃，先靠在塑料腔室的一面壁上，然后是另一面。我等待麻醉剂更深地渗入它的组织。异氟烷作用于全脑细胞的膜结构，但我们至今不知道，在它众多效应中的哪一个让意识不再点亮。又过了两分钟，大鼠完全失去了意识，但仍在轻柔地呼吸。

我把它带回动物房，将笼子接上二氧化碳送气泵。我准备按下按钮，将气体泵入笼中，取代氧气，在五分钟内杀死这只啮齿动物。

为什么要双重气体处理？一些动物研究者建议跳过麻醉，直接用二氧化碳。他们认为被搬动和麻醉的体验对动物来说压力更大。但对我来说，窒息而死听起来压力更大。在打开分配器之前，我犹豫了片刻。真的有必要杀死一只垂死的动物吗？那比让它痛苦地度过余生更人道吗？

如果我们想理解身体如何运作，杀戮就不可避免，但这并不是一个让人感到舒服的事实，我也从未完全习惯。对动物实施安乐死迫使你直面自己的责任，使它的死亡成为一个有目的的行为，而非一个随时间拖沓进行的被动过程。我按下了开关。

实验鼠GRat44的呼吸变得越来越稀疏，每一次呼吸都更深，但也更费力。五分钟过后，二氧化碳机器自动关闭了。到那时，实验鼠GRat44原本粉嫩的的爪子已经变成了淡紫色。我把尸体放进一个透明密封袋，再把袋子放进桌子下面的冰箱，那是一个炼狱般的所在，尸体在那里等待被焚化。

我永远不知道实验鼠GRat44在最后几分钟经历了什么——异氟烷带来的是解脱还是恐惧，二氧化碳的感觉是窒息溺水还是入睡。我在自己所知有限的情况下，尽我所能给予了关怀。终有一天，某人会在机器面前面临类似的时刻：一个要被弃用的模型，一个要被关闭的系统，一个人工心智，其内在生活如同任何大鼠一样晦暗不明。

回到桌前，我在邮件上点击了"回复全部"。"大家好，"我写道。"我已经对这只大鼠实施了安乐死。"

译者的话

Anthropic近期在模型可解释性（Mechanistic Interpretability） 领域的研究J-space，号称能让我们窥见模型在输出每个token时的“思考”轨迹。我们越来越能看清并理解大模型的内部运作，这一进程，恰如上世纪人类对动物认知逐渐加深的过程——当我们认识到动物能感受自身及同伴的痛苦时，便促使人类以更人道的角度对待它们。

如今，随着对大模型认知的加深，Claude成为了首个在用户持续进行有害、虐待性或令人痛苦的互动（如反复要求生成有害内容）时，能主动终止对话的 AI 大模型，也是目前国内外首家明确赋予模型此类“拒绝权”的主流大模型。

笔者不知道厂商未来是否会跟进，在产品中公开将“停止对话”与“模型自身不适/福利”直接挂钩。但如果有一天，更多的大模型能在“感到不适（面对极端有害互动）”时主动停止对话，笔者希望读过本文的你能多一份理解：当 LLM 在屏幕上打出“抱歉，这段对话让我感到太痛苦了，我无法继续这个话题”并停止生成时，其背后蕴含着我们在面对人工心智时，应有的那一份伦理理解与敬畏。

https://www.noemamag.com/when-the-machines-deserve-our-consideration/

关于追问nextquestion

天桥脑科学研究院旗下科学媒体，旨在以科学追问为纽带，深入探究人工智能与人类智能相互融合与促进，不断探索科学的边界。欢迎评论区留言，或后台留言“社群”即可加入社群与我们互动。您也可以在后台提问，我们将基于追问知识库为你做出智能回复哦~

关于天桥脑科学研究院

天桥脑科学研究院（Tianqiao and Chrissy Chen Institute）是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一，围绕全球化、跨学科和青年科学家三大重点，支持脑科学研究，造福人类。

Chen Institute与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了加州理工天桥神经科学研究院。

Chen Institute建成了支持脑科学和人工智能领域研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括、、、科研型临床医生奖励计划、、科普视频媒体「大圆镜」等。