• • • 一、機器學習概覽
    • 三、分類
      • 1、二分類器
      • 2、多分類器
      • 3、誤差分析
    • 四、訓練模型
      • 1、線性回歸和邏輯回歸
      • 2、邏輯回歸
      • 3、softmax回歸
        • 練習題4
    • 五、SVM
      • • 練習題5
    • 六、決策樹
      • • 練習題6
    • 七、集成學習
      • • 練習題7
    • 八、降維
      • • 練習題8

一、機器學習概覽

如何定義機器學習？

機器學習是通過一定的樣本來學習一個模型，來對未知數據的輸出做預測。

機器學習可以解決的四類問題？

沒有邏輯解、手工調整規則、構建適應環境波動的系統、幫助人類學習

什么是帶標簽的訓練集？

帶標簽的訓練集表示在有樣本的同時，還已知該樣本的類別

最常見的兩個監督任務是什么？

分類和回歸

指出四個常見的非監督任務？

聚類、可視化、降維和關聯規則學習

要讓一個機器人能在各種未知地形行走， 你會采用什么機器學習算法？

如果我們想讓機器人學會各種各樣的走路方式，強化學習很可能表現得最好未知地形，因為這是強化學習處理的典型問題?？梢詫⑦@個問題表述為一個有監督或半監督的學習問題，但這就不那么自然了。

要對你的顧客進行分組， 你會采用哪類算法？

如果不知道如何定義組，那么可以使用聚類算法(無監督學習)將你的客戶劃分成類似客戶的集群。然而,如果您知道您想擁有哪些組，那么您可以提供每個組的許多示例一個分類算法(監督學習)，它將把你的所有客戶分類這些團體。

垃圾郵件檢測是監督學習問題， 還是非監督學習問題？

垃圾郵件檢測是一種典型的有監督學習問題:該算法向大量電子郵件發送與他們的標簽(垃圾郵件或非垃圾郵件)。

什么是在線學習系統？

在線學習系統可以增量學習，而不是批量學習系統。這使其能夠快速適應不斷變化的數據和自治系統，以及對大量數據進行培訓。

什么是核外學習？

核外學習算法可以處理大量無法裝入計算機主程序的數據內存。一種非核心的學習算法將數據分解成小批量并在線使用學習從這些小批量中學習的技巧。

什么學習算法是用相似度做預測？

基于實例的學習系統能夠對訓練數據進行記憶;然后，當給了一個新的實例，它使用相似度度量來查找最相似的已學習實例并使用它們作出預測。

模型參數和學習算法的超參數的區別是什么？

一個模型有一個或多個模型參數，這些參數決定了在給定一個新實例(例如，線性模型的斜率)時它將預測什么。一個學習算法試圖找到最優值這些參數使模型能夠很好地推廣到新的實例。超參數是A學習算法本身的參數，而不是模型的參數(例如，要應用的正則化量)

基于模型學習的算法搜尋的是什么？ 最成功的策略是什么？ 基于模型學習如何做預測？

基于模型的學習算法搜索模型參數的最優值該模型將很好地推廣到新的實例。

我們通常通過最小化a來訓練這樣的系統衡量系統在預測訓練數據方面有多差的成本函數，如果模型是正則化的，則會對模型復雜度造成懲罰。

為了做出預測，我們將新實例的特征喂給模型的預測函數，使用學習到的參數。

機器學習的四個主要挑戰是什么？

數據不足、數據噪聲太多或表現力不足、模型的過擬合和欠擬合

如果模型在訓練集上表現好， 但推廣到新實例表現差， 問題是什么？ 給出三個可能的解決方案。

出現了過擬合問題，可以增加更多的樣本、簡化模型、或清洗數據

什么是測試集， 為什么要使用它？

測試集時為了在上線運行之前，估計模型在未知數據上的表現

驗證集的目的是什么？

驗證集可以選擇模型、選擇最優超參數

如果用測試集調節超參數， 會發生什么？

如果利用測試集條件超參數，則會讓模型過度擬合測試集的分布，對未知數據有較差的泛化能力。

什么是交叉驗證， 為什么它比驗證集好？

交叉驗證是可以選擇最優模型和超參數，交叉驗證是循環使用k折中的一折來作為驗證集，比單一的驗證集有更好的泛化性能。

三、分類

1、二分類器

準確率P：預測為正例的樣本中，有哪些是真正的正例

召回率R：預測為正例的樣本中，占真正的正例的多少

F1_score:F1=2PR / P+R

from sklearn.metrics import precision_score,recall_scoreprecision_score(y_train,y_pred) recall_score(y_train,y_pred)

準確率和召回率的平衡很重要，要根據不同場景來選擇高召回率還是高準確率：

• 高準確率：如果你訓練一個分類器去檢測視頻是否適合兒童觀看， 你會傾向選擇那種即便拒絕了很多好視頻、 但保證所保留的視頻都是好（ 高準確率） 的分類器， 而不是那種高召回率、 但讓壞視頻混入的分類器

• 高召回率：加入你訓練一個分類器去檢測監控圖像當中的竊賊， 有著 30% 準確率、 99% 召回率的分類器或許是合適的（ 當然， 警衛會得到一些錯誤的報警， 但是幾乎所有的竊賊都會被抓到） 。

• 折中：分類的時候，會有一個閾值，如果分數大于閾值，則被分類為正例，否則分類為負例，提高閾值，分類為正例的概率會變小，準確率提高，但是召回率會降低；降低閾值，召回率會提高，準確率會降低。

可以將準確率和召回率當做閾值的一個函數，繪制出其曲線，可以選擇適合任務的最佳閾值：

另一個選出其折衷的方法是直接繪制召回率-準確率曲線：

可以看到， 在召回率在 80% 左右的時候， 準確率急劇下降。 你可能會想選擇在急劇下降之前
選擇出一個準確率/召回率折衷點。 比如說， 在召回率 60% 左右的點。 當然， 這取決于你的項
目需求。

ROC曲線：

ROC 曲線是真正例率（ true positive rate， 另一個名字叫做召回率） 對假正例率（ false positive rate, FPR） 的曲線。

為了繪制ROC曲線，首先要計算各種不同閾值下的TPR和FPR，使用roc_curve()函數：

from sklearn.metrics import roc_curve fpr,tpr,thresholds=roc_curve(y_train,y_scores)

使用matplotlib繪制FPR對TPR的曲線：

def plot_roc_curve(fpr, tpr, label=None):plt.plot(fpr, tpr, linewidth=2, label=label)plt.plot([0, 1], [0, 1], 'k--')plt.axis([0, 1, 0, 1])plt.xlabel('False Positive Rate')plt.ylabel('True Positive Rate') plot_roc_curve(fpr, tpr) plt.show()

這里同樣存在折衷的問題： 召回率（ TPR） 越高， 分類器就會產生越多的假正例（ FPR） 。
圖中的點線是一個完全隨機的分類器生成的 ROC 曲線； 一個好的分類器的 ROC 曲線應該盡
可能遠離這條線（ 即向左上角方向靠攏） 。

一個比較分類器之間優劣的方法是： 測量ROC曲線下的面積（ AUC） 。 一個完美的分類器的
ROC AUC 等于 1， 而一個純隨機分類器的 ROC AUC 等于 0.5。 Scikit-Learn 提供了一個函
數來計算 ROC AUC：

from sklearn.metrics import roc_auc_score roc_auc_score(y_train,y_scores)

現在你知道如何訓練一個二分類器， 選擇合適的標準， 使用交叉驗證去評估你的分類器， 選
擇滿足你需要的準確率/召回率折衷方案， 和比較不同模型的 ROC 曲線和 ROC AUC 數值。
現在讓我們檢測更多的數字， 而不僅僅是一個數字 5。

2、多分類器

一些算法（ 比如隨機森林分類器或者樸素貝葉斯分類器） 可以直接處理多類分類問題。 其他
一些算法（ 比如 SVM 分類器或者線性分類器） 則是嚴格的二分類器。 然后， 有許多策略可以
讓你用二分類器去執行多類分類。

例如要進行10類的分類：

• 訓練10個二分類器，每個對應于一個數字，當想對某張圖像進行分類的時候，讓每個分類器對該圖像進行分類，選出決策分數最高的類別

• 訓練45個分類器，每個對應兩類的區分，當想對一張圖像進行分類的時候，必須將全部的45個二分類器全部跑完，看哪個類別的得分最多。

sklearn自動的執行的是一對多的分類器，

3、誤差分析

檢查混淆矩陣，需要使用cross_val_predict()做出預測，然后調用confusion_matrix()函數。

y_train_pred = cross_val_predict(sgd_clf, X_train_scaled, y_train, cv=3) conf_mx = confusion_matrix(y_train, y_train_pred) conf_mx

輸出：

array([[5725, 3, 24, 9, 10, 49, 50, 10, 39, 4], [ 2, 6493, 43, 25, 7, 40, 5, 10, 109, 8], [ 51, 41, 5321, 104, 89, 26, 87, 60, 166, 13], [ 47, 46, 141, 5342, 1, 231, 40, 50, 141, 92], [ 19, 29, 41, 10, 5366, 9, 56, 37, 86, 189], [ 73, 45, 36, 193, 64, 4582, 111, 30, 193, 94], [ 29, 34, 44, 2, 42, 85, 5627, 10, 45, 0], [ 25, 24, 74, 32, 54, 12, 6, 5787, 15, 236], [ 52, 161, 73, 156, 10, 163, 61, 25, 5027, 123], [ 43, 35, 26, 92, 178, 28, 2, 223, 82, 5240]])

使用matplotlib的matshow()函數，將混淆矩陣以圖像的方式呈現，將會更加方便。

plt.matshow(conf_mx,cmap=plt.cm.gray) plt.show()

這個混淆矩陣看起來相當好， 因為大多數的圖片在主對角線上。 在主對角線上意味著被分類
正確。 數字 5 對應的格子看起來比其他數字要暗淡許多。 這可能是數據集當中數字 5 的圖片
比較少， 又或者是分類器對于數字 5 的表現不如其他數字那么好。

四、訓練模型

1、線性回歸和邏輯回歸

訓練線性回歸模型：訓練一個模型是指設置模型的參數使得該模型在訓練集上的表現較好，為此，要先找到一個衡量模型好壞的評定方法。常用評估回歸的標準是RMSE，因此未來訓練一個線性回歸模型，需要通過梯度下降法或求解正規方程的方法來找到一個參數θθ，使得預測和真實的均方誤差最小。

正態方程求解：

生成一些近似線性的數據，來測試一下方程：

import numpy as np x=2*np.random.ran(100,1) y=4+3*x+np.random.randn(100,1)

現在讓我們使用正態方程來計算 ， 我們將使用 Numpy 的線性代數模塊（ np.linalg ） 中
的 inv() 函數來計算矩陣的逆， 以及 dot() 方法來計算矩陣的乘法

X_b = np.c_[np.ones((100, 1)), X] theta_best = np.linalg.inv(X_b.T.dot(X_B)).dot(X_b.T).dot(y)

我們生產數據的函數實際上是y=4+3x 。 讓我們看一下最后的計算結果。

theta_best array([[4.21509616],[2.77011339]])

現在可以用θθ來進行預測：

>>> X_new = np.array([[0],[2]]) >>> X_new_b = np.c_[np.ones((2, 1)), X_new] >>> y_predict = X_new_b.dot(theta.best) >>> y_predict array([[4.21509616],[9.75532293]])

繪制：

plt.plot(X_new,y_predict,"r-") plt.plot(X,y,"b.") plt.axis([0,2,0,15]) plt.show()

計算復雜度：

正態方程需要計算XTX?1XTX?1，計算復雜度很高，但是線性情況下預測也是很快的。

梯度下降求解：

梯度下降是一種非常通用的優化算法， 它能夠很好地解決一系列問題。 梯度下降的整體思路
是通過的迭代來逐漸調整參數使得損失函數達到最小值。

數值歸一化很重要，否則會使得收斂很慢，模型不穩定，可能收斂不到局部最優點。

批量梯度下降→→隨機梯度下降→→小批量梯度下降SGD

(1) 批量梯度下降

eta=0.1 n_iterations=1000 m=100theta=np.random.randn(2,1) for iteration in range(n_iterations):gradients=2/m*X_b.T.dot(X_b.dot(theta)-y)theta=theta-eta*gradients

輸出：

theta array([[4.21509616],[2.77011339]])

看！ 正態方程的表現非常好。 完美地求出了梯度下降的參數。 但是當你換一個學習率會發生
什么？ 圖 4-8 展示了使用了三個不同的學習率進行梯度下降的前 10 步運算（ 虛線代表起始位
置）

在左面的那副圖中， 學習率是最小的， 算法幾乎不能求出最后的結果， 而且還會花費大量的
時間。 在中間的這幅圖中， 學習率的表現看起來不錯， 僅僅幾次迭代后， 它就收斂到了最后
的結果。 在右面的那副圖中， 學習率太大了， 算法是發散的， 跳過了所有的訓練樣本， 同時
每一步都離正確的結果越來越遠。

為了找到一個好的學習率， 你可以使用網格搜索（ 詳見第二章） 。 當然， 你一般會限制迭代
的次數， 以便網格搜索可以消除模型需要很長時間才能收斂這一個問題。

(2) 隨機梯度下降

批量梯度下降的最要問題是計算每一步的梯度時都需要使用整個訓練集， 這導致在規模較大
的數據集上， 其會變得非常的慢。 與其完全相反的隨機梯度下降， 在每一步的梯度計算上只
隨機選取訓練集中的一個樣本。 很明顯， 由于每一次的操作都使用了非常少的數據， 這樣使
得算法變得非?？?。 由于每一次迭代， 只需要在內存中有一個實例， 這使隨機梯度算法可以
在大規模訓練集上使用。

其呈現出更多的不規律性： 它到達最小
值不是平緩的下降， 損失函數會忽高忽低， 只是在大體上呈下降趨勢。 隨著時間的推移， 它
會非常的靠近最小值， 但是它不會停止在一個值上， 它會一直在這個值附近擺動（ 如圖 4-
9） 。 因此， 當算法停止的時候， 最后的參數還不錯， 但不是最優值

當損失函數很不規則時（ 如圖 4-6） ， 隨機梯度下降算法能夠跳過局部最小值。 因此， 隨機梯
度下降在尋找全局最小值上比批量梯度下降表現要好。

隨機性可以很好的跳過局部最優值，但是不能達到局部最小值，因此，可以通過降低學習率的方法，也叫模擬退火法，使學習率越來越小，從而使算法到達全局最小值。

隨機梯度下降代碼：

n_epochs=50 t0,t1=5,50def learning_schedule(t):return t0/(t+t1) theta=np.random.randn(2,1)for epoch in range(n_epochs):for i in range(m):random_index=np.random.randint(m)xi=X_b[random_index:random_index+1]yi=y[random_index:random_index+1]gradients=2*xi.T.dot(xi,dot(theta)-yi)eta=learning_schedule(epoch*m+i)theta=theta-eta*gradients theta array([[4.21076011],[2.748560791]])

圖 4-10 展示了前 10 次的訓練過程（ 注意每一步的不規則程度） :

由于每個實例的選擇是隨機的， 有的實例可能在每一代中都被選到， 這樣其他的實例也可能
一直不被選到。 如果你想保證每一次迭代過程， 算法可以遍歷所有實例， 一種方法是將訓練
集打亂重排， 然后選擇一個實例， 之后再繼續打亂重排， 以此類推一直進行下去。 但是這樣
收斂速度會非常的慢。

通過使用 Scikit-Learn 完成線性回歸的隨機梯度下降， 你需要使用 SGDRegressor 類， 這個類
默認優化的是均方差損失函數。 下面的代碼迭代了 50 代， 其學習率 為0.1（ eta0=0.1 ） ，
使用默認的 learning schedule （ 與前面的不一樣） ， 同時也沒有添加任何正則項
（ penalty = None ） ：

from sklearn.linear_model import SGDRegressorsgd_reg + SGDRregressor(n_iter=50, penalty=None, eta0=0.1)sgd_reg.fit(X,y.ravel())

（3） 小批量梯度下降

在迭代的每一步， 批量梯度使用整個訓練集， 隨機梯度時候用僅僅一個實例， 在小批量梯度下降中， 它則使用一個隨機的小型實例集。 它比隨機梯度的主要優點在于你可以通過矩陣運算的硬件優化得到一個較好的訓練表現， 尤其當你使用 GPU 進行運算的時候。

小批量梯度下降在參數空間上的表現比隨機梯度下降要好的多， 尤其在有大量的小型實例集
時。 作為結果， 小批量梯度下降會比隨機梯度更靠近最小值。 但是， 另一方面， 它有可能陷
在局部最小值中（ 在遇到局部最小值問題的情況下， 和我們之前看到的線性回歸不一樣） 。

圖4-11顯示了訓練期間三種梯度下降算法在參數空間中所采用的路徑。 他們都接近最小值，
但批量梯度的路徑最后停在了最小值， 而隨機梯度和小批量梯度最后都在最小值附近擺動。
但是， 不要忘記， 批次梯度需要花費大量時間來完成每一步， 但是， 如果你使用了一個較好
的 learning schedule ， 隨機梯度和小批量梯度也可以得到最小值。

2、邏輯回歸

二分類模型，當估計概率大于50%的時候，模型預測該示例為正類，反之為負類。

邏輯回歸是將線性回歸的得分函數通過sigmoid函數映射為0~1之間的概率值，使用交叉熵損失函數作為損失函數，度量原始分布和預測分布的差別。

該損失函數是合理的，因為當一個樣本為正例的時候，當p接近0的時候，-log(p)很大，也就是將正例判斷為負例的時候，損失函數會很大，當p接近于1的時候，-log(p)接近于0，損失函數會很小。

整個訓練集上的損失函數是所以實例的平均值，可以用一個表達式來統一表示，稱為對數損失函數：

但是這個損失函數對于求解最小化損失函數的 是沒有公式解的（ 沒有等價的正態方程） 。
但好消息是， 這個損失函數是凸的， 所以梯度下降（ 或任何其他優化算法） 一定能夠找到全
局最小值（ 如果學習速率不是太大， 并且你等待足夠長的時間） 。

3、softmax回歸

邏輯回歸是softmax回歸的二分類時的特殊情況，可以將映射函數從sigmoid變為softmax就可以實現多分類，

和 Logistic 回歸分類器一樣， Softmax 回歸分類器將估計概率最高（ 它只是得分最高的類） 的
那類作為預測結果， 如公式 4-21 所示。

我們的目標是建立一個模型在目標類別上有著較高的概率，可以用交叉熵來定義當前的損失函數，當模型對目標類得出了一個較低的概率，會懲罰該模型，交叉熵通常用于衡量待測類別和目標類別的匹配程度。

練習題4

如果你有一個數百萬特征的訓練集，你應該選擇哪種線性回歸訓練算法？

可以使用隨機梯度下降法或小批量梯度下降法，數據集太大基本無法使用全量梯度下降法，所需內存太大。

假設你訓練集中特征的數值尺度（scale） 有著非常大的差異，哪種算法會受到影響？有
多大的影響？對于這些影響你可以做什么？

如果訓練集的特征尺度差距太大，損失函數的等高線會呈橢圓狀，利用梯度下降來求最優解的過程中會很難收斂，梯度方向變化很劇烈，收斂速度很慢，并且可能不會收斂到最優點。

訓練 Logistic 回歸模型時，梯度下降是否會陷入局部最低點？

當訓練一個邏輯回歸模型的時候，梯度下降不會陷入局部最小值，因為損失函數是凸函數

在有足夠的訓練時間下，是否所有的梯度下降都會得到相同的模型參數？

如果優化問題是凸的(如線性回歸或邏輯回歸)，和假設學習率不是很高，那么所有的梯度下降算法都會接近全球最優，最終生產出相當相似的模型。不過，除非你漸漸降低學習率，隨機GD和小批量GD永遠不會真正收斂;相反,它們會在全局最優值附近來回跳躍。這意味著即使你讓它們運行的時間很長，這些梯度下降算法產生的結果會略有不同模型。

假設你使用批量梯度下降法，畫出每一代的驗證誤差。當你發現驗證誤差一直增大，接
下來會發生什么？你怎么解決這個問題？

如果驗證誤差一直增大的話，一種可能就是學習率過大，算法發散，可以降低學習率，還有一種可能就是過擬合了，應該早停訓練。

當驗證誤差升高時，立即停止小批量梯度下降是否是一個好主意？

由于梯度下降的隨機性，不能保證在每輪迭代都會保證訓練取得進展，如果馬上停止訓練的時候，可能會過早停止而無法達到最佳狀態，更好的選擇是定期保存模型，如果經過很長一段時間仍然沒有改進的話，可以恢復到保存的最好模型。

哪個梯度下降算法（在我們討論的那些算法中） 可以最快到達解的附近？哪個的確實會收斂？怎么使其他算法也收斂？

隨機梯度下降法的訓練和迭代速度最快，因為它只考慮一次訓練一個實例，因此它通常是第一個到達全局最優的附加的，然而只有批量梯度下降在給定足夠的時間的時候是收斂的，也就是隨機梯度下降和小批量梯度下降是都是收斂到最優解的附近，除非學習率下降到非常小。

假設你使用多項式回歸，畫出學習曲線，在圖上發現學習誤差和驗證誤差之間有著很大的間隙。這表示發生了什么？有哪三種方法可以解決這個問題？

表明模型出現了過擬合的情況，在訓練集上表現好，驗證集上表現不好

增加訓練集、正則化、dropout

假設你使用嶺回歸，并發現訓練誤差和驗證誤差都很高，并且幾乎相等。你的模型表現是高偏差還是高方差？這時你應該增大正則化參數 ，還是降低它？

高偏差，可以降低正則化參數

你為什么要這樣做：
使用嶺回歸代替線性回歸？

• 模型有正則化的時候會比沒有正則化的時候又更好的泛化性能，嶺回歸就是對模型的參數做了正則化，約束其幅值變化不能太大，否則會容易出現過擬合。

Lasso 回歸代替嶺回歸？

• Lasso回歸是L1正則化，也就是對模型參數的幅值正則化，該正則化也叫“稀疏選擇算子”，可以對重要的特征進行選擇，增加模型的可解釋性，使得更多不重要的特征的權值置為0，只保留重要的特征，且越重要權重越高。

彈性網絡代替 Lasso 回歸？

假設你想判斷一副圖片是室內還是室外，白天還是晚上。你應該選擇二個邏輯回歸分類
器，還是一個 Softmax 分類器？

可以選擇兩個邏輯回歸來實現

在 Softmax 回歸上應用批量梯度下降的早期停止法（不使用 Scikit-Learn） 。

五、SVM

支持向量機（ SVM） 是個非常強大并且有多種功能的機器學習模型， 能夠做線性或者非線性
的分類， 回歸， 甚至異常值檢測。 機器學習領域中最為流行的模型之一， 是任何學習機器學
習的人必備的工具。 SVM 特別適合應用于復雜但中小規模數據集的分類問題

在 Scikit-Learn 庫的 SVM 類， 你可以用 C 超參數（ 懲罰系數） 來控制這種平衡。

import numpy as np from sklearn import datasets from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import LinearSVCiris = datasets.load_iris() X = iris["data"][:, (2, 3)] # petal length, petal width y = (iris["target"] == 2).astype(np.float64) # Iris-Virginica svm_clf = Pipeline((("scaler", StandardScaler()),("linear_svc", LinearSVC(C=1, loss="hinge")),)) svm_clf.fit(X_scaled, y)Then, as usual, you can use the model to make predictions: svm_clf.predict([[5.5, 1.7]]) array([ 1.])

logistics回歸分類器輸出的是概率，SVM分類器不會輸出每個類別的概率。

作為一種選擇， 你可以在 SVC 類， 使用 SVC(kernel=”linear”, C=1) ， 但是它比較慢， 尤其在
較大的訓練集上， 所以一般不被推薦。 另一個選擇是使用 SGDClassifier 類，
即 SGDClassifier(loss=”hinge”, alpha=1/(m*C)) 。 它應用了隨機梯度下降（ SGD 見第四章）
來訓練一個線性 SVM 分類器。 盡管它不會和 LinearSVC 一樣快速收斂， 但是對于處理那些不
適合放在內存的大數據集是非常有用的， 或者處理在線分類任務同樣有用。

利用SVM實現回歸：你可以使用 Scikit-Learn 的 LinearSVR 類去實現線性 SVM 回歸

練習題5

支持向量機背后的基本思想是什么

支持向量機的背后的思想就是尋找具有最大間隔的分類平面，來對正負樣本進行分類。

什么是支持向量

支持向量就是在不改變分類平面方向的情況下來移動分類平面，分類平面會和樣本點有接觸，越過支持向量就會出現錯分的情況。

當使用 SVM 時，為什么標準化輸入很重要？

SVM是嘗試尋找出具有最大分類間隔的平面，所以如果不對輸入進行歸一化的話，SVM會更傾向于忽略小的特征，以大數量級的樣本為主導。

SVM 對特征縮放比較敏感，可以看到圖 5-2：左邊的圖中，垂直的比例要更大于水平的
比例，所以最寬的“街道”接近水平。但對特征縮放后（例如使用Scikit-Learn的StandardScaler） ，判定邊界看起來要好得多，如右圖。

分類一個樣本時，SVM 分類器能夠輸出一個置信值嗎？概率呢？

SVM分類器可以輸出測試示例與決策邊界之間的距離，可以用這個作為信心指數，然后該分數不能直接轉換成分類估計概率。

在一個有數百萬訓練樣本和數百特征的訓練集上，你是否應該使用 SVM 原始形式或對偶
形式來訓練一個模型？

該問題只適用于線性SVM，因為內核化只能使用對偶形式，SVM的原始問題的計算復雜度是和實例數量m成正比的，對偶形式的計算復雜度處于m2m2和m3m3之間，所以對于百萬以上的數據集，可以使用原始形式，因為對偶形式計算很慢。

假設你用 RBF 核來訓練一個 SVM 分類器，如果對訓練集欠擬合：你應該增大或者減
小 γ 嗎？調整參數 C 呢？

如果訓練集欠擬合的話，說明對誤差的懲罰太小，對模型的約束太小，可以增大C，欠擬合說明RBF核的標準差太大，可以減小標準差，即增大γγ

使用現有的 QP 解決方案，你應該怎么樣設置 QP 參數（H ， f ， A ，和 b ） 去解決
一個軟間隔線性 SVM 分類器問題？

在一個線性可分的數據集訓練一個 LinearSVC ，并在同一個數據集上訓練一
個 SVC 和 SGDClassifier ，看它們是否產生了大致相同效果的模型。

在 MNIST 數據集上訓練一個 SVM 分類器。因為 SVM 分類器是二元的分類，你需要使
用一對多（one-versus-all） 來對 10 個數字進行分類。你可能需要使用小的驗證集來調
整超參數，以加快進程。最后你能達到多少準確度？

在加利福尼亞住宅（California housing） 數據集上訓練一個 SVM 回歸模型

六、決策樹

練習題6

在 100 萬例訓練集上訓練（沒有限制） 的決策樹的近似深度是多少？

包含m個樹葉的平衡良好的二叉樹的深度等于log2(m)，四舍五入。一個二叉決策樹(一個只做二叉決策的樹，就像ScikitLearn中的所有樹一樣)會在訓練結束時或多或少地保持平衡，每次訓練都有一片葉子實例，如果訓練沒有限制。因此，如果訓練集包含一百萬情況下,決策樹的深度log2(10^6)≈20以來(實際上更多樹一般不會完全平衡)

節點的基尼指數比起它的父節點是更高還是更低？它是通常情況下更高/更低，還是永遠
更高/更低？

節點的基尼指數通常低于其父節點，這是由CART數的訓練損失函數所確定的，每個節點經過最優屬性分割之后，子節點的基尼指數之和都會小于父節點的基尼指數，然而如果一個孩子節點的基尼指數比另外一個的基尼指數小，則可能比其父節點的基尼不純度更大，但是其基尼不純度的增加肯定小于另外孩子基尼不純度的減少。

如果決策樹過擬合了，減少最大深度是一個好的方法嗎？

是一個好方法，可以對模型進行約束，使其規范化

如果決策樹對訓練集欠擬合了，嘗試縮放輸入特征是否是一個好主意？

決策樹對屬性的數值縮放并不敏感，數值縮放不會影響其最優分裂點的選擇，

如果對包含 100 萬個實例的數據集訓練決策樹模型需要一個小時，在包含 1000 萬個實
例的培訓集上訓練另一個決策樹大概需要多少時間呢？

決策樹的計算復雜度為O(n×mlog(m))O(n×mlog(m))所以如果訓練集增加了10倍，復雜度會增加以下倍數K=(n×10m×log(10m))/(n×m×log(m)=10×log(10m)/log(m)K=(n×10m×log(10m))/(n×m×log(m)=10×log(10m)/log(m),如果m=10^6，K=11.7，大概需要11.7小時

如果你的訓練集包含 100,000 個實例，設置 presort=True 會加快訓練的速度嗎？

只有當數據集小于幾千時，才會加速訓練實例。如果它包含100,000個實例，那么設置presort=True的訓練將會慢得多。

七、集成學習

接下來的代碼創建和訓練了在 sklearn 中的投票分類器。 這個分類器由三個不同的分類器組成
（ 訓練集是第五章中的 moons 數據集） ：

>>> from sklearn.ensemble import RandomForestClassifier >>> from sklearn.ensemble import VotingClassifier >>> from sklearn.linear_model import LogisticRegression >>> from sklearn.svm import SVC >>> log_clf = LogisticRegression() >>> rnd_clf = RandomForestClassifier() >>> svm_clf = SVC() >>> voting_clf = VotingClassifier(estimators=[('lr', log_clf), ('rf', rnd_clf), >>> (' svc', svm_clf)],voting='hard') >>> voting_clf.fit(X_train, y_train)

讓我們看一下在測試集上的準確率：

>>> from sklearn.metrics import accuracy_score >>> for clf in (log_clf, rnd_clf, svm_clf, voting_clf): >>> clf.fit(X_train, y_train) >>> y_pred = clf.predict(X_test) >>> print(clf.__class__.__name__, accuracy_score(y_test, y_pred)) LogisticRegression 0.864 RandomForestClassifier 0.872 SVC 0.888 VotingClassifier 0.896

投票分類器比其他單獨的分類器表現的都要好

sklearn中的bagging

接下來的代碼訓練了一個 500 個決策樹分類器的集成， 每一個都是在數據集上有放回采樣 100 個訓練實例下進行訓練

n_jobs 參數告訴 sklearn 用于訓練和預測所需要 CPU核的數量。 （ -1 代表著 sklearn 會使用所有空閑核） ：

>>>from sklearn.ensemble import BaggingClassifier >>>from sklearn.tree import DecisionTreeClassifier >>>bag_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,max_samples=100, bootstrap=True, n_jobs=-1) >>>bag_clf.fit(X_train, y_train) >>>y_pred = bag_clf.predict(X_test)

圖 7-5 對比了單一決策樹的決策邊界和 Bagging 集成 500 個樹的決策邊界， 兩者都在 moons
數據集上訓練。 正如你所看到的， 集成的分類比起單一決策樹的分類產生情況更好： 集成有
一個可比較的偏差但是有一個較小的方差（ 它在訓練集上的錯誤數目大致相同， 但決策邊界
較不規則） 。

out-of-bag評價：

對于 Bagging 來說， 一些實例可能被一些分類器重復采樣， 但其他的有可能不會被采樣。 BaggingClassifier 默認采樣。 BaggingClassifier 默認是有放回的采樣 m 個實例（ bootstrap=True ） ， 其中 m 是訓練集的大小， 這意味著平均下來只有63%的訓練實例被每個分類器采樣， 剩下的37%個沒有被采樣的訓練實例就叫做 Out-of-Bag 實例。 注意對于每一個的分類器它們的 37% 不是相同的。

因為在訓練中分類器從來沒有看到過 oob 實例， 所以它可以在這些實例上進行評估， 而不需要單獨的驗證集或交叉驗證。 你可以拿出每一個分類器的 oob 來評估集成本身。

在 sklearn 中， 你可以在訓練后需要創建一個 BaggingClassifier 來自動評估時設
置 oob_score=True 來自動評估。 接下來的代碼展示了這個操作。 評估結果通過變
量 oob_score_ 來顯示：

>>> bag_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,bootstrap=T rue, n_jobs=-1, oob_score=True) >>> bag_clf.fit(X_train, y_train) >>> bag_clf.oob_score_ 0.93066666666666664

Adabooost：

>>>from sklearn.ensemble import AdaBoostClassifier >>>ada_clf = AdaBoostClassifier(DecisionTreeClassifier(max_depth=1), n_estimators=200,algorithm="SAMME.R", learning_rate=0.5) >>>ada_clf.fit(X_train, y_train)

如果你的 Adaboost 集成過擬合了訓練集， 你可以嘗試減少基分類器的數量或者對基分類器使
用更強的正則化。

GBDT：

梯度提升也是通過向集成中逐步增加分類器運行的， 每一個分類器都修正之前的分類結果。 然而， 它并不像 Adaboost 那樣每一次迭代都更改實例的權重， 這個方法是去使用新的分類器去擬合前面分類器預測的殘差。

梯度提升回歸樹（GBRT）：

# 首先用DecisionTreeRegressor來擬合訓練集 from sklearn.tree import DecisionTreeRegressor tree_reg1=DecisionTreeRgressor(max_depth=2) tree_reg1.fit(X,y)# 之后在第一個分類器的殘差上訓練第二個分類器 y2=y-tree_reg1.predict(X) tree_reg2=DecisionTreeRegressor(max_depth=2) tree_reg2.fit(X,y2)# 隨后在第二個分類器的殘差上訓練第三個分類器 y3 = y2 - tree_reg1.predict(X) tree_reg3 = DecisionTreeRegressor(max_depth=2) tree_reg3.fit(X, y3)# 現在我們有了一個包含三個回歸器的集成。 它可以通過集成所有樹的預測來在一個新的實例 上進行預測。 y_pred=sum(tree.predict(X_new) for tree in (tree_reg1,tree_reg2,tree_reg3))

圖7-9在左欄展示了這三個樹的預測， 在右欄展示了集成的預測。 在第一行， 集成只有一個
樹， 所以它與第一個樹的預測相似。 在第二行， 一個新的樹在第一個樹的殘差上進行訓練。
在右邊欄可以看出集成的預測等于前兩個樹預測的和。 相同的， 在第三行另一個樹在第二個
數的殘差上訓練。 你可以看到集成的預測會變的更好。

sklearn中可以使用GradientBoostingRegressor來訓練梯度回歸樹，與RandomForestClassifier 相似， 它也有超參數去控制決策樹的生長（ 例如 max_depth ， min_samples_leaf 等等） ， 也有超參數去控制集成訓練， 例如基分類器的數量（ n_estimators ） 。 接下來的代碼創建了與之前相同的集成：

from sklearn.ensemble import GradientBoostingRegressor gbrt = GradientBoostingRegressor(max_depth=2,n_estimators=3,learning_rate=1.0) gbrt.fit(X,y)

超參數learning_rate確立了每個樹的貢獻，如果你把它設置為一個很小的樹， 例如 0.1， 在
集成中就需要更多的樹去擬合訓練集， 但預測通常會更好。 這個正則化技術叫做 shrinkage

圖 7-10 展示了兩個在低學習率上訓練的 GBRT 集成： 其中左面是一個沒有足夠樹去擬合訓練
集的樹， 右面是有過多的樹過擬合訓練集的樹

下面的代碼用120個樹訓練了一個GBRT集成，然后在訓練的每個階段驗證錯誤以找到樹的最佳數量，最后使用GBRT樹的最優數量訓練另一個集成。

>>>import numpy as np >>>from sklearn.model_selection import train_test_split >>>from sklearn.metrics import mean_squared_error >>>X_train, X_val, y_train, y_val = train_test_split(X, y) >>>gbrt = GradientBoostingRegressor(max_depth=2, n_estimators=120) >>>gbrt.fit(X_train, y_train) >>>errors = [mean_squared_error(y_val, y_pred) for y_pred in gbrt.staged_predict(X_val)] >>>bst_n_estimators = np.argmin(errors) >>>gbrt_best = GradientBoostingRegressor(max_depth=2,n_estimators=bst_n_estimators) >>>gbrt_best.fit(X_train, y_train)

練習題7

如果你在相同訓練集上訓練 5 個不同的模型，它們都有 95% 的準確率，那么你是否可以
通過組合這個模型來得到更好的結果？如果可以那怎么做呢？如果不可以請給出理由。

可以使用集成學習并結合投票規則來獲得更好的準確率，集成學習的基學習器有很大的不同的時候會有較好的投票結果，利用不同的數據集學到的基學習器的組合同樣可以獲得較好的效果。

軟投票和硬投票分類器之間有什么區別？

硬投票分類器只計算集合中每個分類器的投票，并選擇得到最多選票的類，軟投票分類器計算每個類的平均估計類概率，并選擇概率最高的類，也就是給置信度高的類更高的權重，但是前提是可以得到每個類的概率。

是否有可能通過分配多個服務器來加速 bagging 集成系統的訓練？pasting 集成，boosting 集成，隨機森林，或 stacking 集成怎么樣？

boosting集成是串行生成的基分類器，不能分布式進行。
bagging、pasting、stacking都可以并行進行

out-of-bag 評價的好處是什么？

在包外評估中，包外集成中的每個預測器都使用它沒有經過訓練的實例進行評估(它們被保留了下來)。這樣就可以對集成進行相當公正的評估，而不需要額外的驗證集。這樣，您就有了更多可用的實例來進行培訓，您的集成可以稍微好一些。

是什么使 Extra-Tree 比規則隨機森林更隨機呢？這個額外的隨機有什么幫助呢？那這個
Extra-Tree 比規則隨機森林誰更快呢？

當您在隨機森林中種植一棵樹時，只考慮在每個節點上分割特征的一個隨機子集。對于額外樹來說也是如此，但是它們更進一步:不像常規的決策樹那樣搜索可能的最佳閾值，而是對每個特性使用隨機閾值。這種額外的隨機性就像一種正則化的形式:如果一個隨機森林超過了訓練數據，額外的樹可能會表現得更好。此外，由于額外的樹不會搜索最好的閾值，它們比隨機森林訓練的速度要快得多。然而，它們在進行預測時既不比隨機森林快也不慢。

如果你的 Adaboost 模型欠擬合，那么你需要怎么調整超參數？

增加樣本量、減小正則化程度，提高模型速度

如果你的梯度提升過擬合，那么你應該調高還是調低學習率呢？

降低學習率，或使用早停的方法來尋找正確數量的基學習器。

八、降維

PCA：常用的線性降維方法它的目標是通過某種線性投影，將高維的數據映射到低維的空間中表示，即把原先的n個特征用數目更少的m個特征取代，新特征是舊特征的線性組合。并期望在所投影的維度上數據的方差最大，盡量使新的m個特征互不相關。從舊特征到新特征的映射捕獲數據中的固有變異性。以此使用較少的數據維度，同時保留住較多的原數據點的特性。

很多機器學習的問題都會涉及到有著幾千萬甚至數百萬維的特征的訓練實例，這會使得訓練過程非常緩慢，同時很難找到一個很好的解，也稱為維數災難。

降維可以加快訓練速度，也可以提高數據可視化的程度。

PCA：將數據投影到具有最大方差的坐標軸上，可以損失更少的信息，也可以使得原始數據集投影到該軸上的均方距離最小。

• 首先尋找具有最大方差的軸：最大化的保留原始數據的信息

• 之后尋找和第一條軸正交的軸作為第二條軸，保證可以獲得最大的殘差

備注：主成分的方向不穩定： 如果您稍微打亂一下訓練集并再次運行 PCA， 則某些新PC 可能會指向與原始 PC 方向相反。 但是， 它們通常仍位于同一軸線上。 在某些情況下， 一對 PC 甚至可能會旋轉或交換， 但它們定義的平面通常保持不變。

如何找到主成分：利用奇異值分解SVD對矩陣進行分解，

X_centered=X-X.mean(axis=0) U,s,V=np.linalg.svd(X_centered) c1=V.T[:,0] c2=V.T[:,1]

PCA 假定數據集以原點為中心。 正如我們將看到的， Scikit-Learn 的 PCA 類負責
為您的數據集中心化處理。 但是， 如果您自己實現 PCA（ 如前面的示例所示） ， 或者如
果您使用其他庫， 不要忘記首先要先對數據做中心化處理。

投影：一旦確定了所有的主成分，可以選擇將數據集投影到由前d個主成分構成的超平面上，從而將數據集降至d維，為了將訓練集投影到超平面上， 可以簡單地通過計算訓練集矩陣 X 和 Wd 的點積， Wd 定義為包含前 d 個主成分的矩陣（ 即由 V^T 的前 d 列組成的矩陣）

方差解釋率：另一個非常有用的信息是每個主成分的方差解釋率， 可以通過explained_variance_ratio_變量獲得，表示位于每個主成分軸上的數據集方差的比例。

print(pca.explained_variance_ratio_) array([0.84248607, 0.14631839])

這表明， 84.2% 的數據集方差位于第一軸， 14.6% 的方差位于第二軸。 第三軸的這一比例不
到1.2％， 因此可以認為它可能沒有包含什么信息。

通常我們傾向于選擇加起來到方差解釋率能夠達到足夠占比（ 例如 95%） 的維度的數量， 而
不是任意選擇要降低到的維度數量。 當然， 除非您正在為數據可視化而降低維度 – 在這種情
況下， 您通常希望將維度降低到 2 或 3。

其他降維方法：

還有很多其他的降維方法， Scikit-Learn 支持其中的好幾種。 這里是其中最流行的：

• 多維縮放MDS：在嘗試保持實例之間距離的同時降低了維度（ 參見圖 8-13）

• t-分布隨機鄰域嵌入（ t-Distributed Stochastic Neighbor Embedding， t-SNE） 可以用于降低維?度， 同時試圖保持相似的實例臨近并將不相似的實例分開。 它主要用于可視化，尤其是用于可視化高維空間中的實例（ 例如， 可以將MNIST圖像降維到 2D 可視化） 。

• 線性判別分析（ Linear Discriminant Analysis， LDA） 實際上是一種分類算法， 但在訓練過程中， 它會學習類之間最有區別的軸， 然后使用這些軸來定義用于投影數據的超平面。 LDA 的好處是投影會盡可能地保持各個類之間距離， 所以在運行另一種分類算法（ 如 SVM 分類器） 之前， LDA 是很好的降維技術

練習題8

減少數據集維度的主要動機是什么？主要缺點是什么？

主要動機：加速訓練，去除噪聲和冗余特征，使得算法性能更好；可以可視化來尋找更好的特征；可以節省空間。

主要缺點：會丟失部分信息，可能降低后續算法的性能；是計算密集型的；增加了機器學習管道的復雜性；降低可解釋性

什么是維度爆炸？

維度爆炸是指高維空間中出現了許多低維空間不存在的問題，在機器學習中，一個常見的表現是，隨機采樣的高維向量通常非常稀疏，增加了過度擬合的風險，使得在沒有大量訓練數據的情況下很難識別數據中的模式。

一旦對某數據集降維，我們可能恢復它嗎？如果可以，怎樣做才能恢復？如果不可以，
為什么？

一旦數據集通過降維降到了一個較小的維度，就幾乎不會是想完全的復現，因為在維度減小的過程中，已經有信息丟失了，雖然PCA有逆過程，但可以重構一個和原始數據集比較相似的數據集，但是t-SNE沒有。

PCA 可以用于降低一個高度非線性對數據集嗎？

PCA可以顯著降低大多數數據集的維數，即使他們是高度非線性的，因為它至少可以消除無用的維度，然而如果每個維度都很有用，那么利用PCA之后丟失很多的信息。

假設你對一個 1000 維的數據集應用 PCA，同時設置方差解釋率為 95%，你的最終數據
集將會有多少維？

這是一個棘手的問題:它取決于數據集。讓我們來看兩個極端的例子。首先,假設數據集由幾乎完全對齊的點組成。在這種情況下，PCA可以將數據集減少到一個維度，同時仍然保留95%的方差?，F在假設數據集由完全隨機的點組成，散布在1000個點周圍維度。在這種情況下，所有1000維都需要保持95%的方差。所以答案是，它取決于數據集，它可以是1到1000之間的任何數字。把被解釋的方差作圖成維數的函數是得到a的一種方法數據集固有維數的粗略概念

在什么情況下你會使用普通的 PCA，增量 PCA，隨機 PCA 和核 PCA？

常規PCA是默認值，但它只在數據集適合內存的情況下工作。增量PCA對于不適合內存的大型數據集有用，但它比常規PCA要慢，所以如果數據集適合內存你應該喜歡常規的PCA。

增量PCA也適用于在線任務，當您需要動態應用PCA時，每當一個新實例到達時。隨機當您想要大大減少維度并且數據集適合時，PCA是有用的記憶;在這種情況下，它比普通PCA快得多。

最后，核PCA是對非線性數據集有用。

你該如何評價你的降維算法在你數據集上的表現？

直觀地說，如果一個降維算法在不丟失太多信息的情況下從數據集中消除了大量的維數，那么它的性能就會很好。一種測量方法是應用反向變換并測量重構誤差。然而，并不是所有的降維算法都提供了反向轉換。或者，如果您使用降維作為另一種機器學習算法(例如，隨機森林分類器)之前的預處理步驟，那么您可以簡單地測量第二種算法的性能;如果降維不會丟失太多信息，那么算法的性能應該與使用原始數據集時一樣好。

將兩個不同的降維算法串聯使用有意義嗎？

將兩種不同的降維算法串聯起來是絕對有意義的。一個常見的例子是使用PCA快速擺脫大量無用的維數，然后應用另一種慢得多的降維算法，如LLE。這種分兩步的方法可能會產生與僅使用LLE相同的性能，但只是一小部分時間。

總結

以上是生活随笔為你收集整理的hands-on Machine Learning with sklearn的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。