[python] 基于k-means和tfidf的文本聚类代码简单实现
生活随笔
收集整理的這篇文章主要介紹了
[python] 基于k-means和tfidf的文本聚类代码简单实现
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
俗話說“外行看熱鬧,內行看門道“,作為一個機器學習的門外漢,剛研究python機器學習scikit-learn兩周時間,雖然下面這段程序可能對于那些專研算法或機器學習的人來說非常簡單,但對于一些入門的同學和我自己還是非常有幫助的。如果文章中有錯誤或不足之處,還請你微微一笑,原諒之;當然也非常歡迎你提出建議或指正~
基本步驟包括:
1.使用python+selenium分析dom結構爬取百度|互動百科文本摘要信息;
2.使用jieba結巴分詞對文本進行中文分詞,同時插入字典關于關鍵詞;
3.scikit-learn對文本內容進行tfidf計算并構造N*M矩陣(N個文檔 M個特征詞);
4.再使用K-means進行文本聚類(省略特征詞過來降維過程);
5.最后對聚類的結果進行簡單的文本處理,按類簇歸類,也可以計算P/R/F特征值;
6.總結這篇論文及K-means的缺點及知識圖譜的一些內容。
當然這只是一篇最最基礎的文章,更高深的分類、聚類、LDA、SVM、隨機森林等內容,自己以后慢慢學習吧!這篇作為在線筆記,路漫漫其修遠兮,fighting~
基本步驟包括:
1.使用python+selenium分析dom結構爬取百度|互動百科文本摘要信息;
2.使用jieba結巴分詞對文本進行中文分詞,同時插入字典關于關鍵詞;
3.scikit-learn對文本內容進行tfidf計算并構造N*M矩陣(N個文檔 M個特征詞);
4.再使用K-means進行文本聚類(省略特征詞過來降維過程);
5.最后對聚類的結果進行簡單的文本處理,按類簇歸類,也可以計算P/R/F特征值;
6.總結這篇論文及K-means的缺點及知識圖譜的一些內容。
當然這只是一篇最最基礎的文章,更高深的分類、聚類、LDA、SVM、隨機森林等內容,自己以后慢慢學習吧!這篇作為在線筆記,路漫漫其修遠兮,fighting~
一. 爬蟲
總結
以上是生活随笔為你收集整理的[python] 基于k-means和tfidf的文本聚类代码简单实现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: [python] 安装numpy+sci
- 下一篇: [数据库] SQL语句select简单记