語言模型是自然語言處理的核心概念之一。word2vec是一種基于神經(jīng)網(wǎng)絡的語言模型，也是一種詞匯表征方法。word2vec包括兩種結(jié)構(gòu)：skip-gram（跳字模型）和CBOW（連續(xù)詞袋模型），但本質(zhì)上都是一種詞匯降維的操作。

word2vec

 我們將NLP的語言模型看作是一個監(jiān)督學習問題：即給定上下文詞，輸出中間詞，或者給定中間詞，輸出上下文詞。基于輸入和輸出之間的映射便是語言模型。這樣的一個語言模型的目的便是檢查和放在一起是否符合自然語言法則，更通俗一點說就是和擱一起是不是人話。

所以，基于監(jiān)督學習的思想，本文的主角——word2vec便是一種基于神經(jīng)網(wǎng)絡訓練的自然語言模型。word2vec是谷歌于2013年提出的一種NLP分析工具，其特點就是將詞匯進行向量化，這樣我們就可以定量的分析和挖掘詞匯之間的聯(lián)系。因而word2vec也是我們上一講講到的詞嵌入表征的一種，只不過這種向量化表征需要經(jīng)過神經(jīng)網(wǎng)絡訓練得到。

word2vec訓練神經(jīng)網(wǎng)絡得到一個關(guān)于輸入和輸出之間的語言模型，我們的關(guān)注重點并不是說要把這個模型訓練的有多好，而是要獲取訓練好的神經(jīng)網(wǎng)絡權(quán)重，這個權(quán)重就是我們要拿來對輸入詞匯的向量化表示。一旦我們拿到了訓練語料所有詞匯的詞向量，接下來開展 NLP 研究工作就相對容易一些了。

word2vec包括兩種模型。一種是給定上下文詞，需要我們來預測中間目標詞，這種模型叫做連續(xù)詞袋模型（Continuous Bag-of-Words Model，以下簡稱CBOW），另一種是給定一個詞語，我們根據(jù)這個詞來預測它的上下文，這種模型叫做skip-g

總結(jié)

以上是生活随笔為你收集整理的python应用实战系列-一文教你深入解读word2vec的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。