在了解了KNN的基本原理之后，我們需要學(xué)習(xí)如何在sklearn中調(diào)用KNN算法以及如何用GridSearchCV進(jìn)行調(diào)參

首先導(dǎo)入必要的庫以及我們所使用的數(shù)據(jù)集：iris

1 from sklearn.neighbors importKNeighborsClassifier2 from sklearn importdatasets3 from sklearn.model_selection importGridSearchCV4 from sklearn.model_selection importtrain_test_split5 iris =datasets.load_iris()6 data =iris.data7 label = iris.target

由于KNN對極端數(shù)據(jù)比較敏感，所以一般會對數(shù)據(jù)進(jìn)行歸一化，此處數(shù)據(jù)集比較友好就沒有歸一化了

將整個的數(shù)據(jù)集分成訓(xùn)練集和測試集，并創(chuàng)建一個KNN分類器對象

1 X_train,X_test,y_train,y_test = train_test_split(data,label,test_size=0.3,random_state=2)2 knn_clf = KNeighborsClassifier()

由于sklearn中的KNN方法有很多超參數(shù)，所以需要調(diào)參，這里只介紹常用的超參數(shù)：

weights：有兩種參數(shù)：'uniform'和'distance'，前者表示最原始的不帶距離權(quán)重的KNN，后者指帶有距離權(quán)重的KNN，比如說，A到B的距離為1，A到C的距離為2，A到D的距離為4，而且B屬于M類，C和D屬于N類，此時KNN算法的K如果等于3，則最終會將A判斷為N類，但實(shí)際上A距離B最近，應(yīng)該屬于M類，故應(yīng)該使用距離的倒數(shù)來表示距離，此時AB距離為1，AC距離為1/2，AD距離為1/4，AC+AD=3/4<1，故A點(diǎn)屬于M類，此外，這種算法還能解決K個最近距離就有K類的問題。

n_neighbors：鄰居個數(shù)，不再贅述

p：p=1表示曼哈頓距離，p=2表示歐式距離，p可以大于2，注意p參數(shù)只有在weights='distance'時才有

接下來介紹GridSearchCV的用法，先上代碼：

1 param_grid =[2 {3 'weights':['uniform'],4 'n_neighbors':[i for i in range(1,11)]5 },6 {7 'weights':['distance'],8 'n_neighbors':[i for i in range(1,11)],9 'p':[i for i in range(1,6)]10 }11 ]12 grid_search = GridSearchCV(knn_clf,param_grid,n_jobs=-1,verbose=2)

GridSearchCV常用超參數(shù)：

estimator：創(chuàng)建的對象，如上的knn_clf

param_grid：是一個列表，列表里是算法對象的超參數(shù)的取值，用字典存儲

n_jobs：使用電腦的CPU個數(shù)，-1代表全部使用

verbose：每次CV時輸出的格式

接下來就用grid_search對象訓(xùn)練數(shù)據(jù)

1 %%time2 grid_search.fit(X_train,y_train)

訓(xùn)練結(jié)果如下

grid_search.best_estimator_

這是取出參數(shù)最好的一組對應(yīng)的分類器

grid_search.best_score_

這是取出最好的超參數(shù)組合對應(yīng)的準(zhǔn)確率

grid_search.best_params_

這是取出最好的一組超參數(shù)

knn_clf =grid_search.best_estimator_

y_pre=knn_clf.predict(X_test)

knn_clf.score(X_test,y_pre)

用最好的一組超參數(shù)的分類器對象去預(yù)測測試集，并計算準(zhǔn)確率。

如有錯誤歡迎大家指出，謝謝

總結(jié)

以上是生活随笔為你收集整理的python knnsearch_sklearn之KNN详解+GridSearchCV使用方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。