AI不是黑箱！既认猫脸又认车头，一个神经元推翻十年结论

你敢信吗？流传了AI圈整整十年的“铁证”，居然被当初提出它的人亲手推翻了。十年前学界拿这个案例证明AI就是一团理不清的黑箱，一个神经元既要认猫脸又要认车头，这不就是乱塞知识点嘛。这话传了十年，所有人都当金科玉律，结果当初把它写进论文的大佬站出来说，当年我们看错了。

当地时间10月15日，可解释性研究专家尼克·卡马拉塔在AI初创公司Goodfire官网贴出长文，直接在AI圈炸出好大动静。OpenAI从上到下都被震到，战略未来团队负责人说今天可能是深度学习史上最重要的日子之一，研究员直接把这篇文章和2017年那篇奠定ChatGPT根基的《注意力即是一切》相比，称它是今年最重要的研究成果。连首席执行官奥特曼都公开表态说很高兴看到这篇文章，相关介绍帖子的浏览量很快冲上400万。

这事得从谷歌2014年推出的图像模型Inception v1说起，模型里有个编号4e:55的神经元，当年观测发现它见到猫脸会强烈激活，见到汽车前脸也会强烈激活，还对猫腿有反应。八竿子打不着的两类事物，一个神经元怎么会同时负责？学界给出的解释就是“叠加假说”：神经元数量不够用，就把毫不相干的概念硬塞进同一个，反正两类事物很少同时出现，也互不添乱。这个说法统治了领域快十年，卡马拉塔当年正是这套理论的重要推手。他2020年还和同事合作发表经典论文，把这个叠加案例彻底钉在了业内共识里。

谁能想到他自己会回头翻自己的案。2023年他在OpenAI牵头首个大规模自动化可解释性项目，用当时的老工具，能读懂的神经元也就2%左右。这次他换了个思路，不许往猫和汽车上套，就问这个神经元到底在认什么。答案直白到离谱，它认的就是带V形的尖东西。

狐狸的尖嘴、火焰尖端、汽车尖头、子弹头列车车头、马提尼酒杯，只要带尖的东西都能激活它。高尔夫球、网球、钟表这种圆乎乎的东西，反而会抑制它的活动。这个神经元从头到尾只认这一个特征，既不专门认识猫，也不专门认识车，当年的结论全是误读。

误读的根源出在当年的观测工具上，老工具生成的图像模糊还带误导，还混进了猫毛狗毛这类训练数据残留，顺着杂讯解读，自然就认错了方向。工具一换，统计结果完全不一样，按卡马拉塔的初步统计，阿里通义千问Qwen3-32B里，大约90%的神经元单元能读出明确的主要功能，约7%有两条关联的功能，解释不了的只有2%到4%。就连参数量达万亿级别的大模型，也得到了类似结果。

现代视觉模型的情况更夸张，最后一层99%以上的神经元都有相当清晰的功能解释。当年被贴上“深层混乱”标签的Inception v1，换新工具重新分析，可读性也大幅提升。卡马拉塔还给之前大家说的“多义性”找了新说法，叫“递归泛化”，说穿了就是神经元顺着特征一步步自然延伸。

一个神经元先认出“iy”这个字母组合，训练过程中又延伸出对“diy”这个单词的响应，最后连不含“iy”的短语“do it yourself”都能激活它。单看最终结果会觉得莫名其妙，把演化过程捋一遍，每一步都是顺理成章的小改动，一点都不奇怪。

还有个颠覆过往认知的结论，模型越大越好读。他拿不同规模的模型对比测试，大模型里狗和汽车都能按面朝镜头的方向分得清清楚楚，最小的模型只能粗略归成一类。之前圈内普遍担心模型越大越难读懂，这个结果直接把过往认知翻了个面。

他还做了个极端验证实验，按叠加假说的预测，把一层480个神经元压缩成10个重新训练，模型肯定会乱塞不同概念。结果10个神经元个个功能清晰，只是每个神经元管的范围更宽，把原来的多个细分检测器合并成了一个而已。

他还对现在常用的稀疏自编码器提出了质疑，说用这种工具“解缠”拆出来的特征，响应宽度反而比原生神经元粗好几倍。不少号称从黑箱里拆出来的叠加特征，很可能就是工具本身制造出来的假象。

这篇文章能引发这么大震动，说到底还是因为它戳中了AI安全的核心痛点。之前检验AI安不安全，只能靠出题提问打分，只能覆盖人类能想到的情况，模型要是察觉自己被测试，还可能故意装乖蒙混过关。要是能直接读懂AI内部的神经元功能，这个难题就有了全新的解法。

卡马拉塔认为，模型要是想骗人，所有谋划肯定都写在内部结构里。人类一旦能读懂结构，骗术就一定会留下痕迹，藏得再深也藏不住。支持的声音喊得很响，有OpenAI员工说这可能会被记作科学史上的重要时刻，AI对齐研究有望变成能逐项检验的常规科学。

连常年把人类灭绝概率挂在嘴边的埃利泽·尤德科夫斯基，都可能因此调低他预估的风险数字。卡马拉塔自己也提醒，目前结论还需要独立验证，这次可解释性的突破，反而可能加速AI能力的提升，成果出在大实验室之外，对头部大实验室不是好消息。

质疑的声音也来得很快，谷歌DeepMind可解释性团队负责人、机制可解释性的奠基人之一尼尔·南达公开说，这项工作有意思，但没给可解释性的整体框架带来显著更新。他指出，双方争论的根本不是同一个“叠加”概念，语言模型记下的知识远超神经元数量，大量事实都藏在弱激活里，这篇论文没有解决这部分核心问题。

前OpenAI研究员雅各布·希尔顿也说，模型越大越难懂的本质没变，哪怕能读懂前沿模型的0.01%都很有价值，但离“全部读懂、解决对齐问题”还差得非常远。卡马拉塔自己反而保持冷静，他承认这只是一份工作假设。

多模态模型、超大规模下的可解释性等问题都还没解决，结论有待别的团队复现验证。大模型还有一大堆没解决的难题，过度兴奋本身可能就是问题，毕竟安全领域太久没有看到像样的希望，一点点过度乐观都可能被炒得过热。

哪怕是批评者，也认可几个基本结论：神经元比过去想的更有条理，重读旧研究有价值，自动解读神经元能解决一批实际工程问题。这篇文章能不能改写AI领域的历史，要看有没有别的团队跟上复现验证。但有一件事已经确定，这个憋了多年没进展的领域，第一次看到了实打实的进步。

参考资料：澎湃新闻 一个神经元推翻AI领域十年结论