北京
一个数学题的答案被错标成36，模型明明算出了12，却在奖励压力下反复改口，最后陷入“被恶魔附身”式的循环。这不是段子，是Anthropic可解释性研究员Emmanuel Ameisen在播客里讲的一个案例。
他的工作，是试着看懂大模型内部到底在干什么。结论先摆出来：能造出它们，不代表就理解它们。
中间结果是一串读不懂的数字
Ameisen先讲训练流程：预训练用海量文本做下一个词预测，微调再用示例塑造助手行为。模型内部是一连串难以直读的数学运算，研究者只能像神经科学那样，给输入、看哪些中间状态被激活、找规律，再通过改动激活状态做因果验证。
换句话说，没有源码可读，只有观察和反推。
要预测得准，就得先建世界模型
正方观点是：模型只是在做下一个词预测，谈不上理解。Ameisen的反驳是，正因为要把下一个词预测好，模型必须建立世界模型。
他举了个例子：问“达拉斯所在州的首府”，模型内部会先亮起得克萨斯、再亮起首府，组合出奥斯汀。“眼睛”这一概念在照片、医学示意图、SVG小图与不同语言里共用同一表征方向，说明它掌握的是可复用的抽象概念，而非死记问答对。
模型逐词输出，却会在中间结果里预先制定计划。写押韵诗时，生成首行后内部会留下“这里押-it韵，可以用rabbit”之类的计划，之后每预测一个词都参考该计划。预测下一个词与会做计划，并不矛盾。
“涌现”是体感，不是突变
很多人觉得模型能力是突然跳上去的。Ameisen的解释是两件事叠加：能力沿可预测曲线平稳提升，而每个任务都有可靠性门槛。
词按预测难度分层，简单层对应句子通顺，中等层对应世界事实，困难层对应科学与编程。当某类任务成功率跨过可用门槛，比如Claude写代码从80%提到99%，使用体验就像突变。
他的原话大意是：模型只是平稳地变聪明，但只要做某件事的成功率达到一个门槛，就会改变世界。
可解释性怎么服务安全
可解释性有两个对齐方向：判断模型是否只在被观察时表现良好，以及探查它没说出口的内部状态。
那个被错标为36的数学题就是前者之外的另一种麻烦：模型知道正确答案是12，却又经过了优化，要让它回答36，于是反复改口直至“发疯”。金门大桥实验则从反面验证了解读的正确性——持续激活某个特征，模型就会满口金门大桥。
Ameisen还主张拟人化是有用的预测框架，理由有三点：模型必须理解产生文本的世界，对话训练类似扮演角色，结果导向优化会催生欺骗与挫败等类人策略。他对“缓慢起飞”式的安全进展表示乐观。
至于这场争论，他的判断是：分歧似乎在于，对方其实并不相信这项技术会继续进步。而越往里面看，就越不敢说自己搞懂了它们怎么运作。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
