word2vec 究竟学到了什么？伯克利研究给出闭式理论解释

伯克利 AI 研究团队证明，在初始化接近零、梯度步长极小等温和近似条件下，word2vec 的学习问题可化简为无权重最小二乘矩阵分解，其梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。训练中模型按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，这些特征即 M* 的顶部特征向量，可由语料统计和超参数预先算出。