词向量：词为什么要变成一串数字？

来源：市场资讯

（来源：图灵人工智能）

“向量”是一串有固定顺序的数字；

“词向量”就是用一串有固定顺序的数字表示一个词。

下面是斯坦福大学发布的GloVe词向量模型中的一个真实例子。该模型把每个词表示成50个数字；也有100维、200维和300维的版本（参考文献[1]）。

英语单词 king（国王） 被表示成下面这串数字：

[0.50451，0.68607，-0.59517，-0.022801，0.60046，
-0.13498，-0.08813，0.47377，-0.61798，-0.31012，
-0.076666，1.493，-0.034189，-0.98173，0.68229，
0.81722，-0.51874，-0.31503，-0.55809，0.66421，
0.1961，-0.13495，-0.11476，-0.30344，0.41177，
-2.223，-1.0756，-1.0783，-0.34354，0.33505，
1.9927，-0.04234，-0.64319，0.71125，0.49159，
0.16754，0.34344，-0.25663，-0.8523，0.1661，
0.40102，1.1685，-1.0137，-0.21585，-0.15155，
0.78321，-0.91241，-1.6106，-0.64426，-0.51042]

第一次看到词向量，最自然的反应大概是：

“国王”明明是一个人人都懂的词，为什么到了计算机里，却变成了这样一串莫名其妙的小数？

这些数字对人来说并没有清晰含义。不能说第一个数字表示权力，第二个数字表示男性，第三个数字表示统治者。假如换一个模型，同一个词会得到另一串完全不同的数字。

单独看这50个数，几乎什么也看不出来。它们只有和同一模型中的其他词放在一起比较时，才开始发挥作用。例如，把 king、queen、man、woman 的向量放在同一个空间中，它们之间会呈现出某些有规律的位置关系。从 man 指向 king 的方向，与从 woman 指向 queen 的方向大致平行。也可以写成：

king − man ≈ queen − woman

所以，词向量真正值得追问的，不是：

这50个数字分别是什么意思？

而是：

一个词原本已经有写法、有读音、有词典解释，为什么还要用数字给它安排一个位置？
把词变成一串数字以后，计算机究竟多获得了什么能力？

要搞清楚这个问题，不妨先从一次普通的买衣服说起。

一、当“查找”变成“选择” —— 为什么需要向量？

对商店来说，组织上千上万件衣服，最简单的办法，是先给衣服打上各种特征标签：

• 男装还是女装；

• 衬衫、外套还是羽绒服；

• 黑色、白色还是蓝色；

• 什么尺码；

• 什么价格。

这些信息放进数据库后，就可以准确查询（定位）：

找出价格低于800元的黑色女式羽绒服。

这是典型的符号计算。每件衣服属于什么类别、具有什么属性，都被明确记录下来；计算机只需按条件查找。

但现实中的选择往往没有这么简单。

你真正考虑的可能是：

• 穿去上班，还是参加婚礼；

• 天气冷不冷；

• 是否适合自己的年龄和身材；

• 是不是太张扬；

• 能不能和已有的鞋子、裤子搭配；

• 穿起来是否舒服；

• 价格虽然稍高，是否仍然值得。

这时，问题已经不再是：

哪件衣服完全符合条件？

而变成了：

假如没有一件衣服完全符合要求，哪一件衣服总体上感觉最合适？

解决这个问题，当然可以继续在数据库中增加字段，编写更多规则：

• 婚礼要穿正式的衣服；

• 冬天要保暖；

• 年长者不宜过于鲜艳；

• 上班穿着不能太随意。

但是，规则很快就会越来越多，而且互相牵连。

正式一点的衣服可能不够舒适；保暖的衣服可能显得臃肿；颜色虽然合适，款式却不适合这个场合。每个因素都不是简单的“有”或“没有”，而是有程度差别；不同因素的重要性还会随着人和场合变化。

符号方法擅长处理界限清楚的问题：

是不是黑色？
价格是否低于800元？
是否属于羽绒服？

却不擅长直接回答：

在多大程度上合适？
两件衣服哪一件更接近我的需要？

问题从“逐项查找”变成了“综合比较”。这时，向量化的思想便自然出现了。

二、向量化究竟增加了什么能力？

我们可以把一件衣服放到若干连续的尺度上考察：

• 正式程度；

• 保暖程度；

• 鲜艳程度；

• 宽松程度；

• 运动感；

• 价格水平。

例如，一件衣服可以粗略表示为：

[正式8，保暖6，鲜艳2，宽松5，运动感1，价格7]

这串数字不是衣服的编号。这串数字描述的是一件衣服在多个方面所处的位置。

同样，“某个人在冬天参加一场正式晚宴”也可以形成一组对衣服的需求：

[正式9，保暖7，鲜艳3，宽松5，运动感1，价格6]

现在，选择衣服的问题就发生了变化：

不必为每一件衣服编写一套规则，只需比较每件衣服与这组需求总体相差多少。

差得越少，通常就越合适。

向量化最重要的地方，不是“把几个特征写成数字”，而是把所有对象放进同一个空间。每一件衣服在这个空间中都有一个位置；人的需要和使用场合，也可以在同一个空间中形成一个位置。原本复杂的“是否合适”，便转化为“两个位置相距多远”。

符号表示主要回答：

它是什么？具有什么明确属性？

向量表示进一步回答：

它与另一个对象有多接近？
在没有完全相同对象时，哪一个最相似？
在多种因素互相冲突时，哪一个总体上更合适？

这就是向量方法的核心优势：它特别适合处理连续的、模糊的、多因素共同决定的、无法穷举全部规则的问题。

更进一步说，符号系统往往需要逐条记录关系：

A和B相似；
A和C不太相似；
B比C更适合某种场合。

对象一多，关系就会急剧增加。

向量则把大量难以穷举的关系压缩进每个对象的空间位置中。

只要知道两个对象的位置，就可以计算它们的远近，而不必事先把每一对关系都列出来。

三、为什么自然语言中的词语也需要向量化

词语知识可以放进数据库。

词典可以记录：

• “苹果”是名词；

• “苹果”是一种水果；

• “苹果”可以食用；

• “苹果”和“梨”属于同类；

• “高兴”和“快乐”是近义词；

• “高兴”和“悲伤”是反义词。

对于清楚、固定的知识，这种符号表示十分好用。

可是，语言中的关系远不止这些。

“高兴”“快乐”“兴奋”“欣慰”“满意”“得意”都有联系，却不是简单的相同或不同。它们在感情色彩、程度、产生原因、使用对象和适用场合上各有差异。

我们很难逐条写出：

“高兴”和“快乐”有多接近；
“欣慰”在哪些方面接近“高兴”；
“兴奋”为什么在这个句子里合适，在另一个句子里却不合适。

语言表达的组合更是无法穷举。

一个人搜索：

饭卡丢了怎么办？

学校网站上的通知可能写着：

校园卡遗失补办办法。

从字面看，“饭卡”不等于“校园卡”，“丢了”不等于“遗失”，“怎么办”也不等于“补办办法”。按照符号进行精确匹配，可能什么也找不到；但人一看就知道，这两个表达说的是同一件事。

这正是词语需要向量化的原因。

如果把词放进一个“语言空间”，使用方式相近、经常出现在相似环境中的词，可以处在相近位置；差异较大的词，则处在较远位置。这样，计算机就不必只判断两个词是否完全相同，还可以计算它们在语言使用中有多接近。

词向量因此能够帮助计算机处理：

• 近义表达检索；

• 语义相似判断；

• 自动推荐；

• 文本分类；

• 翻译；

• 根据上下文选择更合适的词。

这种思想并不限于词。

语素可以向量化，词可以向量化，句子、段落乃至整篇文章也都可以向量化。这样一来，一条问题和一篇答案、一段新闻和另一段报道、一份材料和用户的查询，都可以放进某个共同空间中进行比较。

对象一旦向量化，就获得了一种统一的计算方式：

不再只问“是否相同”，还可以问“相似到什么程度”。

所以，词向量真正完成的是一次重要转换：

普通的符号化的编码，告诉计算机“这是哪个词”（符号编码化）；
词典和数据库记录已经明确规定的属性与关系（特征化）；
词向量表示则进一步将词语之间模糊、复杂而难以穷举的关系，转化为空间中的位置、距离和方向（向量化）；

词向量，就是词在一个可计算的语言空间中的位置（词语世界地图中的GPS精准定位）——需要用一串长长的数字表示，数字越长，表示能力就可以越精细，从而让词语能够被比较、在复杂场景下依据语境约束选择如何使用。

参考文献

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. “GloVe: Global Vectors for Word Representation.” *Proceedings of EMNLP 2014*, 1532–1543.