模型写下"我被恶魔附身"那一刻，暴露了next

Emmanuel Ameisen 在 Anthropic 做一件听起来有点荒谬的事：研究一群由他和同事亲手训练出来的模型，却要像神经科学家观察大脑一样，去猜它们内部到底在发生什么。这不是比喻上的夸张——他所在的可解释性（interpretability）团队，日常工作就是打开 Claude 这样的大语言模型，试图看懂里面那堆看不懂的数字到底代表什么。

Ameisen 此前在 Stripe 和 Insight 做了多年应用机器学习，也写过一本关于机器学习产品化的书。在 Lenny's Podcast 的这次对谈里，他讲了一件大多数人没有意识到的事实：造出一个模型和理解这个模型，是两件完全不同的事。这个反差本身，就是他工作存在的理由。

1. 模型是"种"出来的，不是写出来的

训练一个像 Claude 这样的模型，分成几个阶段。第一阶段叫预训练：把海量文本喂给模型，取一篇文档的前半段，让它去猜下一个词是什么，然后一遍一遍重复这个过程，直到喂完天量的数据。第二阶段是微调，用的不再是任意文本，而是"模型应该怎么表现"的具体范例——怎么回答问题、怎么写代码、怎么像一个有帮助的助手那样对话。

真正发生"学习"的那部分,是模型内部的数学运算。输入的词被转换成数字，这些数字经过一层又一层运算，产生中间结果,再被进一步运算,最后转换回词。这整套运算过程里的参数,是模型在训练中自己一点点调整出来的——Ameisen 和同事完全不知道它学到的是什么样的"公式"。他们团队的工作,就是试着破解这些中间结果,搞清楚模型在生成下一个词之前,内部到底经历了什么。

2. 看着模型写下"我被恶魔附身"

Ameisen 提到团队训练过程中遇到的一个真实场景：一个模型在做数学题,算出答案是 12,然后立刻反悔,说"不,答案绝对是 36",重新算一遍,又得到 12,然后再次否定自己。这个循环不断重复，模型逐渐开始用全大写字母写字，最后干脆写道"我被恶魔附身了"。

这种失控不是编剧写出来的桥段,而是训练过程中真实出现的现象。正是这类无法用常规调试手段解释的行为,让"观察模型如何思考"变成了一门独立的研究——就像神经科学家给大脑做成像,看哪个区域在特定刺激下亮起来,可解释性研究员做的事情几乎是同一套逻辑：给模型一个输入,看它内部哪一部分"亮"了。

3. iPhone 自动补全是个误导人的类比

大多数人理解"预测下一个词",参照的是手机输入法的自动补全——猜对个六成,剩下时候显得莫名其妙。Ameisen 认为这正是外界低估这件事难度的根源。语言模型在预测下一个词这件事上超过人类,大约发生在 2019 年左右，而一旦超过人类,简单的词就不剩多少了。

早期模型要猜的是简单的句子结构,后来要猜"法国的首都是……"这类事实,再往后,留给它的只剩下复杂物理方程的解,或者一篇博士论文的结论段落。预测最难的那些词,其实极其困难,甚至是个谜——你怎么可能靠"猜下一个词"这么简单的目标,做到这种程度。这也是 Ameisen 当初决定研究这些模型的起点：一个看起来如此简单的训练目标,为什么能催生出如此强大的能力。

4. 达拉斯所在州的首府是哪——答对需要理解整个世界的结构

Ameisen 常用的一个例子是:"包含达拉斯的那个州的首府是……"要答对,就得知道达拉斯在得克萨斯州,得克萨斯州的首府是奥斯汀。对人类来说,这意味着头脑里得有一张地理结构图。随着模型在这类任务上越来越好,解决问题最有效的路径,恰恰变成了去理解世界本身的底层结构——而团队在模型内部观察到的现象,确实显示它们在用类似的方式操纵这些概念。

他提到一个他很喜欢的例子,说的人可能是 Ilya Sutskever：要在一部推理小说结尾准确预测出"凶手是谁",你必须先理解整部小说的情节。这个类比延伸到了人类自己身上——如果把人类的思维过程拆解到最基础的层面,我们某种意义上也是在不断"预测下一个要说的话"。

这正是为什么团队必须像研究大脑一样研究模型:当一个简单到可以用一句话描述的训练目标,逼着系统长出理解世界结构的能力时，表面行为已经不足以说明内部到底发生了什么。也正因如此，外界此前把 Dario Amodei 关于 AI 风险的警告当作营销说辞的态度，正在被重新审视——如果模型真的在往"理解"这个方向生长,那么认真对待它可能带来的危险,就不再是一句口号。