1、基本介紹

Gensim是一款開源的第三方Python工具包，用于從原始的非結(jié)構(gòu)化的文本中，無監(jiān)督地學(xué)習(xí)到文本隱層的主題向量表達(dá)。它支持包括TF-IDF，LSA，LDA，和word2vec在內(nèi)的多種主題模型算法，支持流式訓(xùn)練，并提供了諸如相似度計(jì)算，信息檢索等一些常用任務(wù)的API接口。

官網(wǎng)：https://radimrehurek.com/gensim/

?????????? https://pypi.python.org/pypi/gensim/

安裝：pip install gensim

2、基本概念：

• 語料（Corpus）：一組原始文本的集合，用于無監(jiān)督地訓(xùn)練文本主題的隱層結(jié)構(gòu)。語料中不需要人工標(biāo)注的附加信息。在Gensim中，Corpus通常是一個(gè)可迭代的對象（比如列表）。每一次迭代返回一個(gè)可用于表達(dá)文本對象的稀疏向量。
• 向量（Vector）：由一組文本特征構(gòu)成的列表。是一段文本在Gensim中的內(nèi)部表達(dá)。
• 稀疏向量（Sparse Vector）：通常，我們可以略去向量中多余的0元素。此時(shí)，向量中的每一個(gè)元素是一個(gè)(key, value)的tuple。
• 模型（Model）：是一個(gè)抽象的術(shù)語。定義了兩個(gè)向量空間的變換（即從文本的一種向量表達(dá)變換為另一種向量表達(dá)）。

??????? gensim 是一個(gè)通過衡量詞組（或更高級結(jié)構(gòu)，如整句或文檔）模式來挖掘文檔語義結(jié)構(gòu)的工具。gensim 以“文集”——文本文檔的集合——作為輸入，并生成一個(gè)“向量”來表征該文集的文本內(nèi)容，從而實(shí)現(xiàn)語義挖掘。該向量表示可被用于訓(xùn)練一個(gè)“模型”。模型是從數(shù)據(jù)生成不同特征的算法集，通常是更為語義化的。

3、功能：預(yù)料處理、文本向量化、文本相似度等。

總結(jié)

以上是生活随笔為你收集整理的【数据平台】python语言NLP库Gensim初识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。