word2vec是如何得到词向量的？
2023-10-31 阅读 24
Word2Vec是一种基于神经网络的词嵌入模型，它通过学习上下文语境中词语的分布来生成词向量。Word2Vec模型有两种实现方式：Skip-gram和CBOW（Continuous Bag of Words）。
在Skip-gram模型中，我们将目标词作为输入，预测其周围上下文词语的概率分布。模型的训练目标是最大化预测正确上下文词语的概率。通过训练，模型学习到了每个词语在不同上下文环境中出现的概率，从而得到了每个词语的词向量。
在CBOW模型中，我们将上下文词语作为输入，预测目标词语。模型的训练目标是最大化预测正确目标词语的概率。通过训练，模型学习到了每个上下文词语对于预测目标词语的重要性，从而得到了每个词语的词向量。
在训练过程中，Word2Vec模型使用了一个浅层的神经网络，通常是一个单隐藏层的前馈神经网络。模型的输入是one-hot编码表示的词语，输出是词语的词向量。通过反向传播算法，模型不断调整参数以最小化预测误差，从而得到最优的词向量表示。
得到词向量后，我们可以将其用于各种自然语言处理任务，如词语相似度计算、文本分类、命名实体识别等。
更新于 2023年11月01日
