何為數(shù)據(jù)挖掘，顧名思義就是從大量數(shù)據(jù)中挖掘或抽取出知識。在實際中，進行數(shù)據(jù)挖掘的數(shù)據(jù)不僅僅有數(shù)值型數(shù)據(jù)，還有圖片型數(shù)據(jù)，文本型數(shù)據(jù)等。而所謂文本挖掘，就是從大量文本數(shù)據(jù)中，提取出對信息使用者有價值的信息。文本挖掘主要的研究領(lǐng)域有：文本結(jié)構(gòu)分析，文本分類，文本聚類，文本關(guān)聯(lián)分析等。今天，小編用一個例子為大家講解使用支持向量機SVM進行短文本分類。

對于支持向量機，前面已有小伙伴對它進行詳細(xì)介紹，若想了解具體情況，可查看歷史文章：python機器學(xué)習(xí)——支持向量機(入門理解)

數(shù)據(jù)說明：本次用來訓(xùn)練及測試的分類數(shù)據(jù)有兩類，分別是“體育”類及“文學(xué)出版”類，“體育”類數(shù)據(jù)由899個短文本組成，“文學(xué)出版”類數(shù)據(jù)由797個短文本組成。

先來看看利用SVM文本分類的流程吧！

數(shù)據(jù)預(yù)處理---->數(shù)據(jù)向量化---->利用Sklearn-learn進行SVM分類

一、數(shù)據(jù)預(yù)處理

對于文本挖掘，數(shù)據(jù)預(yù)處理的過程必不可少同時也至關(guān)重要。在數(shù)據(jù)預(yù)處理過程中，主要是進行中文分詞及去除停用詞。

(一)中文分詞

分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程，該過程主要為第二步數(shù)據(jù)向量化特征選擇做準(zhǔn)備。Jieba分詞是目前國內(nèi)使用人數(shù)最多的中文分詞工具，且支持三種分詞模式，下面對其三種分詞模式的使用方法進行簡單介紹。

(二)去除停用詞

由于中國人的說話習(xí)慣，在中文語句中會有許多的語氣用詞“啊，呀,呢”及一些無特殊含義的詞“的，這兒，一些”等，這些詞沒有實際意義確占比較大，一方面增大了計算量，另一方面減少了有意義詞的權(quán)重。去除停用詞采取的方法通常是，建立一個專門的停用詞庫，然后調(diào)用詞庫去掉無意義詞匯，網(wǎng)上有許多停用詞詞庫，這兒就不具體介紹了。

二、數(shù)據(jù)向量化

數(shù)據(jù)向量化是連接文本型數(shù)據(jù)與計算機的橋梁，可以將文本型數(shù)據(jù)轉(zhuǎn)化為計算機可讀的數(shù)值型數(shù)據(jù)。目前，較為常見的數(shù)據(jù)向量化方法是使用詞向量模型。

詞向量(Word embedding)，又叫Word嵌入是自然語言處理(NLP)中的一組語言建模和特征學(xué)習(xí)技術(shù)的統(tǒng)稱，它是通過“淺層雙層的神經(jīng)網(wǎng)絡(luò)”對大量文本進行訓(xùn)練，從而將每一個詞對應(yīng)一個向量，建立起詞與詞之間的關(guān)系。這兒對于其訓(xùn)練過程不做過多贅述，直接看如何使用吧！

?

三、利用Scikit-learn進行SVM分類

Scikit-learn(sklearn)是機器學(xué)習(xí)中常用的第三方模塊，對常用的機器學(xué)習(xí)方法進行了封裝，包括回歸(Regression)、降維(Dimensionality Reduction)、分類(Classfication)、聚類(Clustering)等方法。當(dāng)我們面臨機器學(xué)習(xí)問題時，便可根據(jù)下圖來選擇相應(yīng)的方法。

Scikit-learn中的SVM算法庫分為兩類，一類是分類的算法庫，包括SVC， NuSVC和LinearSVC 3個類；另一類是回歸算法庫，包括SVR， NuSVR和LinearSVR 3個類。相關(guān)的類都包含在sklearn.svm模塊之中。下面就開始使用Scikit-learn進行SVM短文本分類啦！

在該過程有如下幾個步驟：

(一)分類數(shù)據(jù)貼標(biāo)簽

分別對兩類數(shù)據(jù)進行數(shù)據(jù)預(yù)處理及數(shù)據(jù)向量化后，每一個短文本都由一個向量表示。接著按照分類將“體育”類文本貼上標(biāo)簽“1”，“文學(xué)出版”類文本貼上標(biāo)簽“0”。

(二)合并分類數(shù)據(jù)并拆分訓(xùn)練集，測試集

將兩類數(shù)據(jù)及對應(yīng)的數(shù)據(jù)標(biāo)簽對應(yīng)合并，接下來使用“sklearn”模塊中“train_test_split”包對數(shù)據(jù)進行切割，隨機選擇30%的數(shù)據(jù)作為測試集，剩余數(shù)據(jù)作為訓(xùn)練集。

(三)利用SVM模型進行訓(xùn)練并測試

SVM模型有許多核函數(shù)，使用不同核函數(shù)，其效果也不盡相同，在這里使用三個不同的核函數(shù)做對比，看看針對本案例那個核函數(shù)的預(yù)測效果更佳。在該過程使用了“sklearn”模塊中“classification_report”和“accuracy_score”包獲得預(yù)測的準(zhǔn)確度，精確度，召回率，F1值。

Accuracy:(準(zhǔn)確度)，它是預(yù)測正確的正例和負(fù)例數(shù)據(jù)占全部數(shù)據(jù)的比例。

A=(TP+TN)/(TP+TN+FP+FN)

precision：(精確度)，它是預(yù)測正確的正例數(shù)據(jù)占預(yù)測為正例數(shù)據(jù)的比例。

P=TP/(TP+FP)

Recall：(召回率)，它是預(yù)測為正例的數(shù)據(jù)占實際為正例數(shù)據(jù)的比例。

R=TP/(TP+FN)

f1-score:(F1)，它是精確度和召回率的調(diào)和平均值,

1．使用線性核函數(shù)的預(yù)測結(jié)果

? ? ? Accuracy: 0.8646365422396856

2．使用多項式核函數(shù)的預(yù)測結(jié)果

?

Accuracy: 0.8567779960707269

3．使用徑向基核函數(shù)的預(yù)測結(jié)果

Accuracy: 0.8292730844793713

通過對比，可看出對于本案例，使用線性核函數(shù)的分類效果更好。通過這個例子，大家是否掌握了進行文本分類的技巧呢，實際上在文本挖掘中，它的前期處理過程大致相同，需要改變只有分類模型的使用哦！

以下，是代碼和分類數(shù)據(jù)的百度網(wǎng)盤鏈接：

https://pan.baidu.com/s/1MO8cXoHvG4ylhhOv57zu5w?

提取碼：qf2w

文字來源|陳丹

圖片來源|陳丹

編輯|宋欣蕊

審核|葉紫薇

歡迎大家轉(zhuǎn)發(fā)，但大家記得標(biāo)明原創(chuàng)出處喲~如果喜歡記得點【在看】呀~，掃描關(guān)注我們的公眾號↓

總結(jié)

以上是生活随笔為你收集整理的sklearn svm如何选择核函数_文本挖掘篇|利用SVM进行短文本分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。