北京
一个词在语言模型里，最后会变成一串数字。这串数字不是随便给的，它要能装下这个词在当前句子里的含义——和谁挨着、扮演什么角色、带什么属性。人脑能直观想象的维度最多到三，所以先拿三维打个样。
看这句话："The dog with that man barked."（那只和那个男人在一起的狗叫了。）假设注意力层处理完之后，"狗"的最终表示落在一个假想的三维空间里，三个轴分别是：宠物性（这只动物是宠物，所以和男人产生关联）、吠叫（向量在这个方向上指得很高，说明它在叫）、求关注（向量指向这个方向，代表一种假想的求关注关联）。
换一句："The lion is sleeping."（狮子在睡觉。）"狮子"的最终表示就不一样了，因为周围的上下文和关联属性都变了。在同一个假想空间里，它可能在宠物性轴上指得低一些，吠叫轴上低一些，求关注轴上同样低一些。
需要说明的是，这三个轴是假想出来的，只为方便可视化。真实Transformer的维度，并不一定对应"是宠物""在吠叫"这种能单独叫出名字的概念。
三维只是简化示意。机器能处理的表示维度要高得多。在原始Transformer基础架构里，模型用的是512维表示（d_model = 512）。维度越多，表示空间越大，模型能编码的关于词元及其上下文的信息就越多。
具体每个维度代表什么，没人知道。这些表示是模型在数据集上训练时自己学出来的。输入嵌入给出最初的512维表示，注意力层和前馈网络再一步步把它变换，把上下文信息揉进去。
叠加原理让高维表示更有意思
叠加原理描述的是：神经网络可以通过激活空间中重叠的方向来编码多个特征，从而表示出比单个神经元数量更多的特征。也就是说，单个神经元不一定代表单个概念，多个特征可以共存于同一套网络激活里。
这条线索往下走，就是"模型怎么存事实"的问题。相关阅读可以看Vaswani等人的《Attention Is All You Need》、Mikolov等人的《Efficient Estimation of Word Representations in Vector Space》，以及3Blue1Brown关于LLM如何存储事实的视频。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
