什么是 TF-IDF 算法？

TF（全稱TermFrequency），中文含義詞頻，簡單理解就是關鍵詞出現在網頁當中的頻次。

IDF（全稱InverseDocumentFrequency），中文含義逆文檔頻率，簡單來說就是該關鍵詞出現在所有文檔里面的一種數據集合。

在信息檢索中，tf-idf或TFIDF（術語頻率 – 逆文檔頻率的縮寫）是一種數字統計，旨在反映單詞對集合或語料庫中的文檔的重要程度。

它經常被用作搜索信息檢索，文本挖掘和用戶建模的加權因子。tf-idf值按比例增加一個單詞出現在文檔中的次數，并被包含該單詞的語料庫中的文檔數量所抵消，這有助于調整某些單詞在一般情況下更頻繁出現的事實。Tf-idf是當今最受歡迎的術語加權方案之一;數字圖書館中83％的基于文本的推薦系統使用tf-idf。比如關鍵詞“中國”在A網頁里面出現了100次，那么它的TF值則是100次（詞頻），假設搜索引擎所收錄的所有網頁里面有1億網頁包含“中國”該關鍵詞，那么IDF將由IDF公式計算出它對應的數據值。統一來理解則是TF是計算自己網頁內的關鍵詞頻次，而TDF是計算所有文檔里面包含該關鍵詞的一種概率數值。

搜索引擎經常使用tf-idf加權方案的變體作為在給定用戶查詢的情況下對文檔的相關性進行評分和排序的中心工具。tf-idf可以成功地用于各種主題領域的停用詞過濾，包括文本摘要和分類。

TF （Term Frequency）—— “單詞頻率”

意思就是說，我們計算一個查詢關鍵字中某一個單詞在目標文檔中出現的次數。舉例說來，如果我們要查詢 “Car Insurance”，那么對于每一個文檔，我們都計算“Car” 這個單詞在其中出現了多少次，“Insurance”這個單詞在其中出現了多少次。這個就是 TF 的計算方法。

TF背后的隱含的假設是，查詢關鍵字中的單詞應該相對于其他單詞更加重要，而文檔的重要程度，也就是相關度，與單詞在文檔中出現的次數成正比。比如，“Car” 這個單詞在文檔 A 里出現了 5 次，而在文檔 B 里出現了 20 次，那么 TF 計算就認為文檔 B 可能更相關。

然而，信息檢索工作者很快就發現，僅有TF不能比較完整地描述文檔的相關度。因為語言的因素，有一些單詞可能會比較自然地在很多文檔中反復出現，比如英語中的 “The”、“An”、“But” 等等。這些詞大多起到了鏈接語句的作用，是保持語言連貫不可或缺的部分。然而，如果我們要搜索 “How to Build A Car” 這個關鍵詞，其中的 “How”、“To” 以及 “A” 都極可能在絕大多數的文檔中出現，這個時候 TF 就無法幫助我們區分文檔的相關度了。

IDF（Inverse Document Frequency）—— “逆文檔頻率”

就在這樣的情況下應運而生。這里面的思路其實很簡單，那就是我們需要去 “懲罰”（Penalize）那些出現在太多文檔中的單詞。

也就是說，真正攜帶 “相關” 信息的單詞僅僅出現在相對比較少，有時候可能是極少數的文檔里。這個信息，很容易用 “文檔頻率” 來計算，也就是，有多少文檔涵蓋了這個單詞。很明顯，如果有太多文檔都涵蓋了某個單詞，這個單詞也就越不重要，或者說是這個單詞就越沒有信息量。因此，我們需要對 TF 的值進行修正，而 IDF 的想法是用 DF 的倒數來進行修正。倒數的應用正好表達了這樣的思想，DF 值越大越不重要。

讓我們從一個實例開始講起。假定現在有一篇長文《中國的蜜蜂養殖》，我們準備用計算機提取它的關鍵詞。

一個容易想到的思路，就是找到出現次數最多的詞。如果某個詞很重要，它應該在這篇文章中多次出現。于是，我們進行"詞頻"（Term Frequency，縮寫為TF）統計。

結果你肯定猜到了，出現次數最多的詞是----“的”、“是”、“在”----這一類最常用的詞。它們叫做"停用詞"（stop words），表示對找到結果毫無幫助、必須過濾掉的詞。

假設我們把它們都過濾掉了，只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題，我們可能發現"中國"、“蜜蜂”、"養殖"這三個詞的出現次數一樣多。這是不是意味著，作為關鍵詞，它們的重要性是一樣的？

顯然不是這樣。因為"中國"是很常見的詞，相對而言，"蜜蜂"和"養殖"不那么常見。如果這三個詞在一篇文章的出現次數一樣多，有理由認為，“蜜蜂"和"養殖"的重要程度要大于"中國”，也就是說，在關鍵詞排序上面，"蜜蜂"和"養殖"應該排在"中國"的前面。

所以，我們需要一個重要性調整系數，衡量一個詞是不是常見詞。如果某個詞比較少見，但是它在這篇文章中多次出現，那么它很可能就反映了這篇文章的特性，正是我們所需要的關鍵詞。

用統計學語言表達，就是在詞頻的基礎上，要對每個詞分配一個"重要性"權重。最常見的詞（“的”、“是”、“在”）給予最小的權重，較常見的詞（“中國”）給予較小的權重，較少見的詞（“蜜蜂”、“養殖”）給予較大的權重。這個權重叫做"逆文檔頻率"（Inverse Document Frequency，縮寫為IDF），它的大小與一個詞的常見程度成反比。

知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個值相乘，就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個詞，就是這篇文章的關鍵詞。

下面就是這個算法的細節。

第一步，計算詞頻。

考慮到文章有長短之分，為了便于不同文章的比較，進行"詞頻"標準化。

或者

第二步，計算逆文檔頻率。

這時，需要一個語料庫（corpus），用來模擬語言的使用環境。

如果一個詞越常見，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對得到的值取對數。

第三步，計算TF-IDF。

可以看到，TF-IDF與一個詞在文檔中的出現次數成正比，與該詞在整個語言中的出現次數成反比。所以，自動提取關鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TF-IDF值，然后按降序排列，取排在最前面的幾個詞。

還是以《中國的蜜蜂養殖》為例，假定該文長度為1000個詞，“中國”、“蜜蜂”、“養殖"各出現20次，則這三個詞的"詞頻”（TF）都為0.02。然后，搜索Google發現，包含"的"字的網頁共有250億張，假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張，包含"蜜蜂"的網頁為0.484億張，包含"養殖"的網頁為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：

log(250億/（62.3億+1）)約等于0.603
“中國”這個詞的詞頻怎么算的就不知道了

從上表可見，"蜜蜂"的TF-IDF值最高，"養殖"其次，"中國"最低。（如果還計算"的"字的TF-IDF，那將是一個極其接近0的值。）所以，如果只選擇一個詞，"蜜蜂"就是這篇文章的關鍵詞。

除了自動提取關鍵詞，TF-IDF算法還可以用于許多別的地方。比如，信息檢索時，對于每個文檔，都可以分別計算一組搜索詞（“中國”、“蜜蜂”、“養殖”）的TF-IDF，將它們相加，就可以得到整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關的文檔。

TF-IDF算法的優點是簡單快速，結果比較符合實際情況。缺點是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數并不多。而且，這種算法無法體現詞的位置信息，出現位置靠前的詞與出現位置靠后的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對全文的第一段和每一段的第一句話，給予較大的權重。這一點對于SEO特別重要）

TF-IDF算法思想：

TF-IDF的核心思想是通過該算法進行有效的計算網頁的核心關鍵詞。雖然語義分析以及中文分詞能夠簡單的計算出頁面的關鍵詞主題，但是由于互聯網內容信息重復度較大，同一個內容單純從分詞角度來講是不足以滿足搜索引擎針對網頁的內容是否更加符合用戶的需求。而TF-IDF則可以用過算法公式來計算用戶搜索詞與網頁之間的相似度。

比如網頁標題“小黑的同桌叫馬天”，這里面的、叫在搜索引擎里面一般都稱為停用詞，也就是無意義詞。而去掉這些詞剩下的詞則是小黑、同桌、馬天。根據分詞原理，這三個詞都是名詞，那么作為用戶而言去看這個標題明顯知道是闡述馬天是網頁的核心關鍵詞，但是對于搜索引擎來說并不能深刻的理解該網頁的核心關鍵詞。對于這三個詞，一般我們都有一個詞的重要程度系數。從常見度來說，越常見的東西則不重要，反之越不常見越重要。那么搜索引擎是如何知道該詞的常見程度呢？可以通過相關搜索結果數來計算關鍵詞的重要度。

TF-IDF算法應用：

關于TF-IDF的算法實戰應用，最常見的方式則是利用TF-IDF算法的計算方式來進行定位網頁的核心詞，從而網站大量提升關鍵詞排名。首先我們要理解真正原創文章的含義，真正的內容原創有兩種，一種是網頁內容與總語料庫文檔不重合，另一種則是關鍵詞與該關鍵詞的相關結果文檔不重合。而TF-IDF最佳的運用方式則是可以采用換湯不換藥的操作方式來進行關鍵詞排名。比如優化一個關鍵詞“山藥的功效與作用”，那么我們可以去抄襲一篇“人參的功效與作用”的文章，并且替換網頁里面的所有人參關鍵詞，盡管這篇文章在人參里面是重復性很高的文章。但是在山藥的功效與作用里面它就是獨一無二的。并且刻意增加山藥文章里面的TF值，讓搜索引擎認定該網頁的核心關鍵詞。

鏡像站專門干這事！

網站鏡像是通過TF-IDF算法應用的經典案例，內容全部抄襲，網頁標題（title）與文章標題不同，目的就是用來提升網頁的點擊率。并且文章標題我們可以發現互博國際該關鍵詞是一個由多個詞組成的詞組，通過分詞符號可以讓互博國際變成一個關鍵詞（詞組形成關鍵詞）。并且在網頁內容里面，自然的分布關鍵詞的頻次（TF），從而達到關鍵詞的強調性，即使內容在其他文章里面出現，但是在互博國際里面，該內容則是獨一無二的原創（不重合）。為了提升網頁的點擊率，我們可以將網頁的標題（title）寫的更加規范，這樣排名一旦上來，還有利于用戶的點擊，從而提升網頁關鍵詞的排名更佳狀態。

參考：SEO算法篇，TFIDF算法講解及在SEO中的利用

總結

以上是生活随笔為你收集整理的TF-IDF算法讲解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。