静态词向量预训练模型笔记

静态词向量预训练模型笔记 静态词向量预训练模型笔记 Word2Vec词向量

CBOW：通过上下文对目标位置词进行预测。
Skip-gram：通过目标位置词对上下文词进行预测。

分布式假设

相邻的单词之间相似度较大

负样本

给定当前词与其上下文，最大化两者共现的概率。（负样本较多，使用此方法采用负样本，使得负样本数量变少）