? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?k近鄰算法(KNN)-分類算法

1 概念

定義：如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。

k-近鄰算法采用測量不同特征值之間的距離來進(jìn)行分類。

2 優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：簡單，易于理解，易于實(shí)現(xiàn)，無需估計(jì)參數(shù)，無需訓(xùn)練

缺點(diǎn)：懶惰算法，對測試樣本分類時(shí)的計(jì)算量大，內(nèi)存開銷大 必須指定K值，K值選擇不當(dāng)則分類精度不能保證

使用數(shù)據(jù)范圍：數(shù)值型和標(biāo)稱型

3?歐式距離

兩個(gè)樣本的距離可以通過如下公式計(jì)算，又叫歐式距離。如a(a1,a2,a3),b(b1,b2,b3)兩點(diǎn)用如下公式表示

4?sklearn k-近鄰算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

KNeighborsClassifier類的實(shí)例化所需參數(shù)如下

n_neighbors	（默認(rèn)= 5），k_neighbors查詢默認(rèn)使用的鄰居數(shù)
algorithm	{‘a(chǎn)uto’，‘ball_tree’，‘kd_tree’，‘brute’}，可選用于計(jì)算最近鄰居的算法：‘ball_tree’將會(huì)使用 BallTree，‘kd_tree’將使用 KDTree。‘a(chǎn)uto’將嘗試根據(jù)傳遞給fit方法的值來決定最合適的算法。 (不同實(shí)現(xiàn)方式影響效率)
n_jobs	（默認(rèn)= 1),用于鄰居搜索的并行作業(yè)數(shù)。如果-1，則將作業(yè)數(shù)設(shè)置為CPU內(nèi)核數(shù)。不影響fit方法。

方法：

（1）fit(X, y)：使用X作為訓(xùn)練數(shù)據(jù)擬合模型，y作為X的類別值。X，y為數(shù)組或者矩陣

（2）kneighbors(X=None, n_neighbors=None, return_distance=True)：找到指定點(diǎn)集X的n_neighbors個(gè)鄰居，return_distance為False的話，不返回距離

（3）predict(X)：預(yù)測提供的數(shù)據(jù)的類標(biāo)簽

（4）predict_proba(X)：返回測試數(shù)據(jù)X屬于某一類別的概率估計(jì)

5?實(shí)例流程

①數(shù)據(jù)集的處理

②分割數(shù)據(jù)集

③對數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化

④estimator流程進(jìn)行分類預(yù)測

6?k近鄰算法實(shí)例-預(yù)測入住位置

數(shù)據(jù)來源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data

這里根據(jù)X?y坐標(biāo)值，定位準(zhǔn)確性，時(shí)間作為特征值，入住的id為目標(biāo)值

from sklearn.neighbors import KNeighborsClassifier import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler#1 讀取數(shù)據(jù) data = pd.read_csv("./data/train.csv")#2 處理數(shù)據(jù),截取部分?jǐn)?shù)據(jù) data = data.query("x > 1.0 & x < 1.5 & y > 2.5 & y < 3") #處理日期數(shù)據(jù),將data里的time特征下的時(shí)間錯(cuò)裝換為（年-月-日 時(shí):風(fēng):秒）格式，unit='s'設(shè)置轉(zhuǎn)換的最小單位為s timev = pd.to_datetime(data['time'],unit='s') #把日期轉(zhuǎn)換為字典格式，為了構(gòu)造一些天數(shù)等特征，所以要將time轉(zhuǎn)換為可以獲取day，month的參數(shù) #那就需要把日期格式轉(zhuǎn)換為字典格式,就把每一行轉(zhuǎn)換為字典格式,那就可以單獨(dú)獲取里面的時(shí)分秒 timev = pd.DatetimeIndex(timev)#構(gòu)造新特征 data['day']=timev.day data['hour'] = timev.hour data['weekday'] = timev.weekday #刪除時(shí)間特性，pandas的列是1,sklearn的列是0 data.drop(['time'],axis=1)'''把簽到數(shù)量少于n個(gè)目標(biāo)位置刪除,用分組，然后統(tǒng)計(jì)求和 根據(jù)palce_id分組''' data_count = data.groupby('palce_id').count()'''以某個(gè)值進(jìn)行分組之后，前面的索引就是該值，然后才是每一列特征，row_id是入住的id，現(xiàn)在已經(jīng)變成具體的次數(shù)了 這里把row_id大于3的保留下來，然后調(diào)用reset_index，reset_index()的所用是把索引palce_id變成某一列，就能獲取了 前面的索引就變成0,1..一個(gè)個(gè)計(jì)數(shù)'''tf = data_count[data_count.row_id>5].reset_index()#篩選data里面id是tf里面的id，在就保留下來 data[data['place_id'].isin(tf.place_id)]# 取出數(shù)據(jù)當(dāng)中的特征值和將place_id作為目標(biāo)值, y = data['place_id'] x = data.drop(['place_id'], axis=1)# 將數(shù)據(jù)的分割成訓(xùn)練集合測試集 x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)#3 特征工程標(biāo)準(zhǔn)化,訓(xùn)練集做標(biāo)準(zhǔn)化了，測試集也要做標(biāo)準(zhǔn)化，目標(biāo)值不要計(jì)算距離不用做標(biāo)準(zhǔn)化 #標(biāo)準(zhǔn)化就是想讓每一列數(shù)據(jù)在同一個(gè)標(biāo)準(zhǔn)上面進(jìn)行計(jì)算 std = StandardScaler() x_train = std.fit_transform(x_train) x_test = std.transform(x_test)#進(jìn)行算法流程 超參數(shù) knn = KNeighborsClassifier(n_neighbors=5) #fit輸入數(shù)據(jù) knn.fit(x_train,y_train) #得出預(yù)測結(jié)果 y_predict = knn.predict(x_test) print("預(yù)測的目標(biāo)位置為：", y_predict) # 得出準(zhǔn)確率，這里得出的準(zhǔn)確率并不高，因?yàn)檫€有一些特征的影響如row_id，可以將其從特征值中刪除 print("預(yù)測的準(zhǔn)確率:", knn.score(x_test, y_test))

7 K近鄰算法問題：

①K值取多大，有什么影響？

K值取小了，比如取最近一個(gè)他的類別是什么類別我就是什么類別，這樣容易受異常點(diǎn)影響假設(shè)這個(gè)最近的點(diǎn)就是異常點(diǎn)，就預(yù)測錯(cuò)了

K值取大了，容易受K值數(shù)量（類別）波動(dòng)影響

如何處理K值取值問題見模型選擇與調(diào)優(yōu)

②性能問題：每一個(gè)樣本來了，要一個(gè)個(gè)去計(jì)算距離時(shí)間復(fù)雜度很高

?

總結(jié)

以上是生活随笔為你收集整理的k近邻算法(KNN)-分类算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。