線性模型小結

??? 線性模型，顧名思義，就是使用將特征的線性組合得到的超平面劃分特征空間的方法。簡單的在二維空間中，線性模型就是一條直線，而在三維空間中，線性模型就是一個平面，它們都可以將所在空間劃分為兩部分。當有多個超平面的時候可以將空間劃分為多個區域。

怎么得到線性模型？在PRML中將主要的方法劃分為三種方式

1：discriminant function即判別函數法

主要途徑是得到一個判別函數，通過函數來對樣本空間進行劃分。

2：使用貝葉斯理論求后驗概率P(Ck|X)，由類條件概率和先驗概率得到后驗概率。generative models.

3：另一種方法也是求后驗概率P(Ck|X)，但是并不是使用貝葉斯理論先求條件概率和先驗概率來得到。而是直接構建后驗概率的模型，然后通過訓練集來優化該模型的參數，可以使用最大似然等方法來解決。Logistic regression. Iterative reweighted least squares.

本章的內容也是按照這個基本的結構來劃分的：

一：判別函數方法

1：least squares for classification

最小二乘分類，最小錯誤率??????????????????????????

2：Fisher’s linear discriminant

Fisher線性分類：樣本在投影空間中的最大可分性

3：Perceptron algorithm

感知器算法：在樣本線性可分的情況下能保證收斂，并且分類超平面結果不確定，取決于初始化權值。

二：概率產生模型（probabilistic generative models）

通過貝葉斯理論將后驗概率表示為先驗概率和類條件概率，得到Logistic函數的形式，然后通過最大似然估計來優化Logistic函數的參數。主要討論了樣本的類條件分布概率符合高斯分布情況，兩類樣本可以有相同的協方差矩陣，也可有不同的協方差矩陣，主要討論前者。然后是討論了離散特征的處理，以及用指數族來表示其通用形式。

三：概率區分模型

在二中的處理方式是一種間接的處理方式，另一種相對應的模型就是直接構建其后驗概率模型，通過最大似然估計來優化其參數。

代表性的方法就是Logistic regression。關于權值的更新介紹了Iterative reweighted least squares方法來更新權值。

probit regression：使用probit activation function來對樣本進行分類。

然后簡單的介紹多類別情況的Logistic regression。Canonical link function是Logistic regression的統一表示形式，跟指數族類似。

四：拉普拉斯逼近（Laplace Approximation）

前面講的很多模型都是針對高斯分布的，當樣本不符合高斯分布的時候顯然就不能再使用，所以該節介紹了一種使用高斯分布逼近非高斯分布的技術：Laplace Approximation。主要分為三步：找最大點，泰勒展開，歸一化。

該節的另一個重點部分是從數學角度分析了模型選擇問題：分析了過擬合產生的原因以及模型選擇方法BIC（Bayesian Information Criterion）方法。

五：Bayesian Logistic Regression

將拉普拉斯逼近用于Logistic regression。