以WordNet以词库存缺陷为例：slides p.15

• 很难区分单词之间的细微差异：同义词列表缺乏适当的语境范围标记。

• 缺失单词的最新含义；

• 主观编写；

• 更新和应用需要人力；

• 准确计算单词相似度难以应用；

分布语义学（Distributional semantics）：slides p.18

单词的含义可以由经常出现在附近的单词推定，即通过上下文语境建模单词。

Word2Vec(2013年)词向量1模型的思想：slides p.21

• 足标语言的足量语料库和给定的词汇表；

• 目的是将给定词汇表中的每个单词表示为一个向量；

• 语料库中的每个单词 c c c（称为中心词），获取上下文语境 o o o（若干语境词构成）；

• 使用单词 c c c的词向量与语境 o o o中各个单词的词向量的相似度来计算在给定 c c c的条件下出现 o o o的概率（或反过来在给定 o o o的条件下出现 c c c的概率，即mask的思想）；

• 不断调整词向量使得④中的条件概率尽可能的大；

Word2Vec模型的目标函数：slides p.25 minimize { u w i , v w i } i = 1 ∣ v ∣ J ( θ ) = − 1 T ∑ t = 1 T ∑ − m ≤ j ≤ m , j ≠ 0 log ⁡ P ( w t + j ∣ w t ; θ ) (1.1) \text{minimize}_{\{u_{w_i},v_{w_i}\}_{i=1}^{|v|}}\quad J(\theta)=-\frac1T\sum_{t=1}^T\sum_{-m\le j\le m,j\neq0}\log P(w_{t+j}|w_t;\theta)\tag{1.1} minimize{ uwi​​,vwi​​}i=1∣v∣​​J(θ)=−T1​t=1∑T​−m≤j≤m,j​=0∑​logP(wt+j​∣wt​;θ)(1.1)

其中概率 P P P（称为预测函数）的计算方式如下：

P ( o ∣ c ) = exp ⁡ ( u o ⊤ v c ) ∑ w ∈ V exp ⁡ ( u w ⊤ v c ) (1.2) P(o|c)=\frac{\exp(u_o^\top v_c)}{\sum_{w\in V}\exp(u_w^\top v_c)}\tag{1.2} P(o∣c)=∑w∈V​exp(uw⊤​vc​)exp(uo⊤​vc​)​(1.2)

根据assignment2中的说法，这个结果可以理解为是真实的单词概率分布 y y y向量与预测的单词概率分布 y ^ \hat y y^​向量之间的交叉熵。

式中变量说明：

① T T T表示语料库规模（即文本长度）；

② V V V表示词汇表；

③ m m m表示上下文窗口大小；

④ w i w_i wi​表示在第 i i i个位置上的单词；

⑤ v w v_w vw​表示单词 w w w作为中心词的词向量；

⑥ u w u_w uw​表示单词 w w w作为语境词的词向量；

⑦ θ \theta θ表示超参数；

Word2Vec模型中每个单词都有两个词向量，最终将两个词向量取均值作为模型输出的词向量。

因此式 ( 1.1 ) (1.1) (1.1)中决策变量总数为 2 d ∣ V ∣ 2d|V| 2d∣V∣，其中 d d d为给定的词向量嵌入维度。

由于变量数量非常多，因此通常选择随机梯度下降法求解Word2Vec模型。