TF-IDF（term frequency–inverse document frequency）是一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)。

1.什么是TF-IDF TF-IDF是一種統(tǒng)計(jì)方法，用以評估一字詞對于一個(gè)文件集或一個(gè)語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語料庫中出現(xiàn)的頻率成反比下降。TF-IDF加權(quán)的各種形式常被搜索引擎應(yīng)用，作為文件與用戶查詢之間相關(guān)程度的度量或評級。除了TF-IDF以外，因特網(wǎng)上的搜索引擎還會(huì)使用基于鏈接分析的評級方法，以確定文件在搜尋結(jié)果中出現(xiàn)的順序。 TFIDF的主要思想是：如果某個(gè)詞或短語在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語具有很好的類別區(qū)分能力，適合用來分類。TFIDF實(shí)際上是：TF * IDF，TF詞頻(Term Frequency)，IDF反文檔頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現(xiàn)的頻率。 2.TF-IDF原理 TFIDF的主要思想是：如果某個(gè)詞或短語在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語具有很好的類別區(qū)分能力，適合用來分類。TFIDF實(shí)際上是：TF * IDF，TF詞頻(Term Frequency)，IDF逆向文件頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現(xiàn)的頻率。 IDF的主要思想是：如果包含詞條t的文檔越少，也就是n越小，IDF越大，則說明詞條t具有很好的類別區(qū)分能力。如果某一類文檔C中包含詞條t的文檔數(shù)為m，而其它類包含t的文檔總數(shù)為k，顯然所有包含t的文檔數(shù)n=m+k，當(dāng)m大的時(shí)候，n也大，按照IDF公式得到的IDF的值會(huì)小，就說明該詞條t類別區(qū)分能力不強(qiáng)。但是實(shí)際上，如果一個(gè)詞條在一個(gè)類的文檔中頻繁出現(xiàn)，則說明該詞條能夠很好代表這個(gè)類的文本的特征，這樣的詞條應(yīng)該給它們賦予較高的權(quán)重，并選來作為該類文本的特征詞以區(qū)別與其它類文檔。這就是IDF的不足之處. 在一份給定的文件里，詞頻（term frequency，TF）指的是某一個(gè)給定的詞語在該文件中出現(xiàn)的頻率。這個(gè)數(shù)字是對詞數(shù)(term count)的歸一化，以防止它偏向長的文件。（同一個(gè)詞語在長文件里可能會(huì)比短文件有更高的詞數(shù)，而不管該詞語重要與否。）

---

對于在某一特定文件里的詞語來說，它的重要性（詞頻term frequency，TF）可表示為：

• 分子是該詞在文件中的出現(xiàn)次數(shù)，
• 分母是在文件中所有字詞的出現(xiàn)次數(shù)之和。

---

某一特定詞語的IDF，可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目，再將得到的商取對數(shù)得到：??

• |D|：語料庫中的文件總數(shù)
• 包含詞語的文件數(shù)目（即的文件數(shù)目）

---

然后再計(jì)算TF與IDF的乘積。 某一特定文件內(nèi)的高詞語頻率，以及該詞語在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于過濾掉常見的詞語，保留重要的詞語。

---

3.For example: 假如一篇文件的總詞語數(shù)是100個(gè)，而詞語“母牛”出現(xiàn)了3次，那么“母牛”一詞在該文件中的詞頻就是 0.03 (3/100)。一個(gè)計(jì)算文件頻率 (DF) 的方法是測定有多少份文件出現(xiàn)過“母牛”一詞，然后除以文件集里包含的文件總數(shù)。所以，如果“母牛”一詞在1,000份文件出現(xiàn)過，而文件總數(shù)是 10,000,000份的話，其文件頻率就是 0.0001 (1000/10,000,000)。最后，TF-IDF分?jǐn)?shù)就可以由計(jì)算詞頻除以文件頻率而得到。以上面的例子來說，“母牛”一詞在該文件集的TF- IDF分?jǐn)?shù)會(huì)是 300 (0.03/0.0001)。這條公式的另一個(gè)形式是將文件頻率取對數(shù)。

轉(zhuǎn)載于:https://www.cnblogs.com/daneres/p/5673762.html

總結(jié)

以上是生活随笔為你收集整理的TF-IDF（term frequency–inverse document frequency）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。