特征权重量化 TF-IDF 用于信息检索和数据挖掘的加权技术
?
TFIDF實(shí)際上是:TF * IDF,TF詞頻(Term Frequency),IDF逆向文件頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現(xiàn)的頻率。IDF的主要思想是:如果包含詞條t的文檔越少,也就是n越小,IDF越大,則說(shuō)明詞條t具有很好的類別區(qū)分能力。
?
TFIDF的主要思想是:如果某個(gè)詞或短語(yǔ)在一篇文章中出現(xiàn)的頻率TF高,并且在其他文章中很少出現(xiàn),則認(rèn)為此詞或者短語(yǔ)具有很好的類別區(qū)分能力,適合用來(lái)分類。
TF是指在一個(gè)文檔中出現(xiàn)的詞的頻率,詞的次數(shù)初一所有的詞數(shù)
? 而IDF是所有的文檔中出現(xiàn)該詞的次數(shù)越多,則權(quán)重就越小。。逆向文件頻率(inverse document frequency,IDF)是一個(gè)詞語(yǔ)普遍重要性的度量。某一特定詞語(yǔ)的IDF,可以由總文件數(shù)目除以包含該詞語(yǔ)之文件的數(shù)目,再將得到的商取對(duì)數(shù)得到:
最后的相關(guān)性的計(jì)算
,上述相關(guān)性計(jì)算的公式就由詞頻的簡(jiǎn)單求和變成了加權(quán)求和,即 TF1*IDF1 + TF2*IDF2 +... + TFN*IDFN。。
?
轉(zhuǎn)載于:https://www.cnblogs.com/fxd-address/p/5022140.html
總結(jié)
以上是生活随笔為你收集整理的特征权重量化 TF-IDF 用于信息检索和数据挖掘的加权技术的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: jQuery-1.9.1源码分析系列(十
- 下一篇: Unix中的I/O模型和Java NIO