KNN中的K值n_neighbors?

限定半徑最近鄰法中的半radius?

近鄰權weights?

主要用于標識每個樣本的近鄰樣本的權重，如果是KNN，就是K個近鄰樣本的權重，如果是限定半徑最近鄰，就是在距離在半徑以內的近鄰樣本的權重。可以選擇"uniform","distance" 或者自定義權重。選擇默認的"uniform"，意味著所有最近鄰樣本權重都一樣，在做預測時一視同仁。如果是"distance"，則權重和距離成反比例，即距離預測目標更近的近鄰具有更高的權重，這樣在預測類別或者做回歸時，更近的近鄰所占的影響因子會更加大。當然，我們也可以自定義權重，即自定義一個函數，輸入是距離值，輸出是權重值。這樣我們可以自己控制不同的距離所對應的權重。

一般來說，如果樣本的分布是比較成簇的，即各類樣本都在相對分開的簇中時，我們用默認的"uniform"就可以了，如果樣本的分布比較亂，規律不好尋找，選擇"distance"是一個比較好的選擇。如果用"distance"發現預測的效果的還是不好，可以考慮自定義距離權重來調優這個參數。

KNN和限定半徑最近鄰法使用的算法algorithm?

算法一共有三種，第一種是蠻力實現，第二種是KD樹實現，第三種是球樹實現。這三種方法在K近鄰法(KNN)原理小結中都有講述，如果不熟悉可以去復習下。對于這個參數，一共有4種可選輸入，‘brute’對應第一種蠻力實現，‘kd_tree’對應第二種KD樹實現，‘ball_tree’對應第三種的球樹實現， ‘auto’則會在上面三種算法中做權衡，選擇一個擬合最好的最優算法。需要注意的是，如果輸入樣本特征是稀疏的時候，無論我們選擇哪種算法，最后scikit-learn都會去用蠻力實現‘brute’。

個人的經驗，如果樣本少特征也少，使用默認的?‘auto’就夠了。 如果數據量很大或者特征也很多，用"auto"建樹時間會很長，效率不高，建議選擇KD樹實現‘kd_tree’，此時如果發現‘kd_tree’速度比較慢或者已經知道樣本分布不是很均勻時，可以嘗試用‘ball_tree’。而如果輸入樣本是稀疏的，無論你選擇哪個算法最后實際運行的都是‘brute’。

停止建子樹的葉子節點閾值leaf_size

這個值控制了使用KD樹或者球樹時， 停止建子樹的葉子節點數量的閾值。這個值越小，則生成的KD樹或者球樹就越大，層數越深，建樹時間越長，反之，則生成的KD樹或者球樹會小，層數較淺，建樹時間較短。默認是30. 這個值一般依賴于樣本的數量，隨著樣本數量的增加，這個值必須要增加，否則不光建樹預測的時間長，還容易過擬合。可以通過交叉驗證來選擇一個適中的值。

如果使用的算法是蠻力實現，則這個參數可以忽略。

距離度量metric?

?K近鄰法和限定半徑最近鄰法類可以使用的距離度量較多，一般來說默認的歐式距離（即p=2的閔可夫斯基距離）就可以滿足我們的需求。可以使用的距離度量參數有：

a) 歐式距離?“euclidean”:?∑i=1n(xi?yi)2??????????√∑i=1n(xi?yi)2

b) 曼哈頓距離 “manhattan”：?∑i=1n|xi?yi|∑i=1n|xi?yi|

c) 切比雪夫距離“chebyshev”:?max|xi?yi|(i=1,2,...n)max|xi?yi|(i=1,2,...n)

d)?閔可夫斯基距離?“minkowski”(默認參數):?∑i=1n(|xi?yi|)p???????????√p∑i=1n(|xi?yi|)pp?p=1為曼哈頓距離， p=2為歐式距離。

e) 帶權重閔可夫斯基距離?“wminkowski”:?∑i=1n(w?|xi?yi|)p??????????????√p∑i=1n(w?|xi?yi|)pp?其中w為特征權重

f) 標準化歐式距離?“seuclidean”: 即對于各特征維度做了歸一化以后的歐式距離。此時各樣本特征維度的均值為0，方差為1.

g) 馬氏距離“mahalanobis”：(x?y)TS?1(x?y)???????????????√(x?y)TS?1(x?y)?其中，S?1S?1為樣本協方差矩陣的逆矩陣。當樣本分布獨立時， S為單位矩陣，此時馬氏距離等同于歐式距離

還有一些其他不是實數的距離度量，一般在KNN之類的算法用不上，這里也就不列了。

距離度量附屬參數p

距離度量其他附屬參數metric_params

并行處理任務數n_jobs