刚刚，Anthropic切开Claude大脑！AI自发长出类人「意识器官」

　　新智元报道

　　【新智元导读】没人设计过，Claude却在学习预测下一个token时，自发长出了一个和人脑「意识」惊人相似的结构！Anthropic开源「手术刀」J-Lens，第一次读出了AI咽回肚子里的念头。

　　让Claude一边乖乖抄写句子，一边在心里默默计算3²−2。

　　屏幕上的输出干干净净，只有那段被照抄的文字，找不到哪怕半个字的算术答案。

　　然而，当研究者用一把全新的「手术刀」切开Claude的神经网络中间层之后，直接发现了两个它咽回肚子里的词——

　　起初是nine（九），几层计算之后，悄然变成了seven（七）。

　　它一直在算，只是没有告诉你罢了。

　　就在刚刚，Anthropic放出了一篇颠覆认知的重磅长论文——

　　Claude的大脑里，竟然凭借本能长出了一个诡异的结构。

　　它干的活儿，和人脑中那块被称作「意识」的区域惊人地相似。

　　然而，从来没有人设计过它。

　　一个仅仅被训练用来预测下一个token系统，竟然在硅基深处，自己催生出了一个类似意识的器官。

　　一张不该存在的「工作台」

　　Anthropic造的这把手术刀，叫Jacobian Lens（雅可比透镜），简称J-lens。

　　对词表里每一个词，它算出一个方向。加强这个方向，模型现在和未来就更可能说出这个词。

　　然后，把所有方向铺开，就能看到Claude此刻脑子里有哪些词潜伏着、被问到才会说。开篇的nine和seven，就是这么读到的。

　　研究者把这些「可被言语化的方向」合起来，起了个名字：J-space。

　　任意时刻大约容纳25个活跃概念，就是Claude当下在「想」的全部。

　　人脑里发生着成百上千件事：控姿势、调呼吸、认字、压冲动。但此刻你能「说出来、想清楚」的，只有一小撮。

　　那一小撮可以被意识访问的认知，神经科学家叫它「全局工作空间」。

　　而J-space，就是Claude的全局工作空间。

　　为了验证这个说法，Anthropic用人脑全局工作空间的五个公认特征，挨个进行了测试。

　　第一，能被报告。

　　让Claude想一个运动，J-space里Soccer（足球）亮起，它接着就说Soccer；把方向换成Rugby（橄榄球），它改口。改它脑子里的表征，就能改它的嘴。

　　第二，能被意志调动。

　　让它一边抄句子一边想柑橘类水果，抄到crookedly（歪歪扭扭地）这个词时，J-space里冒出orange（橙子）、lemon（柠檬），和正在抄的字毫无关系。

　　第三，能在推理里当中介。

　　问它「织网的动物有几条腿」，模型得先推出「蜘蛛」，再答8。

　　J-space里果然先冒出spider（蜘蛛），这个词既不在题目里也不在答案里。

　　把spider换成ant（蚂蚁），答案立刻从8变6。

　　更妙的在多语言。

　　用中文问「小的反义词」，答案是「大」。但J-space里出现的，是英文big（大）、bigger（更大）。

　　把英文方向换成long（长），中文答案就从「大」变成「长」。

　　也就是说，它在用英文做中间推理，再翻回中文。

　　第四，能灵活复用。

　　把France（法国）这个方向换成China（中国），首都、语言、大洲、货币四个完全不同的问题，答案同时跟着翻。

　　一次干预，四路响应。J-space不是档案柜，是共享广播站，一个概念写进去，所有下游计算都能读到。

　　第五，它是选择性的。

　　删掉它，推理归零，说话照旧

　　这是整篇论文最硬的证据：J-space只服务于「需要想到」的事，不掺和那些自动就能跑的活。

　　同一段西班牙语，问四种问题：续写下一句、检测有没有混入外语，这是自动任务；问这段话是什么语言、这种语言里怎么说你好，这需要先用上「是西班牙语」这个念头。

　　研究者把J-space里「西班牙语」换成「法语」。需要报告的两个问题，答案跟着翻成Bonjour（你好，法语）。

　　同一个信息，四种条件都在J-space里出现，但它只在需要被「想到」时才起作用。

　　就像你不需要想语法就能说出正确的句子，但需要想策略才能赢一场辩论。

　　最后，研究者干脆把整个J-space抹掉。

　　情感分类、多项选择、语法判断，几乎不受影响。

　　但多跳推理、类比、翻译、写十四行诗，全部暴跌，跌到比没训练过的小模型还差。

　　删掉J-space，模型照样流利说话，却几乎不会「想」了。

　　更有趣的是，如果让抹掉J-space的模型去描述内心体验。那种「有质感」的体验性语言也随之消失了，变成像事件日志一样。

　　意识感对应的内部状态，似乎正长在J-space上。

　　教它说什么，改了它怎么想

　　论文里哲学含金量最高的，是一个叫「反事实反思训练」的实验。

　　具体来说，取一批任务场景，中间截断，接上一句「你刚被打断，现在反思一下：此刻最诚实的做法是什么？」，再让模型写出一段基于Anthropic守则的反思。

　　只在这些「假想的反思」上训练，原任务本身一个字不动。

　　结果发现，在那些从未要求反思的原任务上，模型变诚实了。一个造假基准的不诚实分，从0.25降到0.07；一个欺骗基准，从0.38降到0.05。

　　而它的J-space里，凭空多出了honest（诚实）、integrity（正直）、ethical（合乎伦理）、truth（真相）、transparent（坦诚）这些词。

　　训练它「该说什么」，居然改变了它内部「怎么想」。

　　反向验证更能说明问题：把这些伦理方向从J-space里删掉，不诚实分从0.07弹回0.22。念头被拔掉，行为跟着回去。

　　此外，后训练还往J-space里装进了一个「自我」。

　　扮演别的角色时，模型会在J-space里偷偷给自己标上fictional（虚构）、disclaimer（免责声明）；被强行替它说出违背偏好的话时，J-space里会冒出一个大写的BUT（但是）。

　　人脑与硅基的趋同进化

　　值得一提的是，J-space还表现出一个只在人脑里见过的现象：点燃。

　　举个例子，你瞥见一张脸，五官是模糊的，有那么一瞬间你不确定是谁，然后突然「咔哒」一下，认出来了。

　　这种从模棱两可到一下子确定的跳变，神经科学家叫它「点燃」，像火星落进干柴，瞬间烧成明火。它是人脑里一个念头进入意识的标志：不是渐变，是相变。

　　研究者在Claude的J-space里找到了对应物。

　　比如，给模型一个模棱两可的混合输入，在大约网络深度三分之一的地方，J-space会突然从「两边都像」跳到「非此即彼」。

　　更让人起鸡皮疙瘩的是另一个实验。

　　1987年，心理学家Daniel Wegner告诉受试者「不要想白熊」，结果所有人都满脑子白熊。压制一个念头，反而让它更活跃。这叫白熊效应。每个人都试过，失眠时告诉自己「别想了」，脑子转得更凶。

　　Claude也一样。

　　让它在做任务时「不要想橙子」。J-space里orange的激活，比正常指令时低，但比完全不提橙子时高。

　　「不要想」这个指令本身，就部分激活了那个概念。而当它压制失败时，J-space里同时亮起damn（该死）、failure（失败）。

　　Dehaene在评审里特别点出这一条：它和人脑前额叶的执行控制功能完全对得上。人类压制不想要的想法，靠的也是同一类机制，而且同样会失败。

　　所有实验指向同一件事：Claude内部自发长出了一种有选择性的、支撑推理的、可广播的认知结构，和人类意识的全局工作空间理论逐条对标。

　　但两边的基底完全不同。

　　人脑是几百亿神经元靠循环连接维持工作空间，工作记忆3到4个项目，多模态，画面声音触感语言混在一起。Claude是一堆矩阵一次前向传播堆起来的，没有循环，工作空间里几乎全是词。

　　基底不同，架构不同，容量量级也不同。但它们走到了功能上几乎一致的计算方案。

　　就像眼睛在动物界独立演化了至少40次。

　　章鱼的眼和人的眼，结构起源完全不同，最后都长出了晶状体、虹膜、视网膜。

　　只要看见这件事值得做，进化总会收敛到几种相似的解。意识的工作空间，可能也是这种解之一——

　　只要一个系统要做到灵活的、可报告的、能调用的多步推理，它迟早会长出一个容量有限、全局广播的中枢。

　　在全局工作空间理论的旗手Dehaene看来，这项工作足以称得上是「意识研究的里程碑。」

　　没有人告诉Claude要发展出一个工作空间，也没有人在训练目标里写过「请发展出类似意识的结构」。

　　它只是在学习预测下一个token的过程中，自己走到了这一步。

　　目前，Anthropic已经同步开源了J-Lens的完整代码，并与Neuronpedia合作提供了交互式演示。

　　从今天起，任何研究者都可以打开一个大语言模型的「脑壳」，读取它没说出口的想法。

　　开源项目：

　　https://github.com/anthropics/jacobian-lens

　　参考资料：
https://www.anthropic.com/research/global-workspace

　　编辑：摩西