????????線性判別分析可用于處理二分類問題，其過程是尋找一個(gè)最佳的投影方向，使得樣本點(diǎn)在該方向上的投影符合類內(nèi)小、類間大的思想（“低耦合，高內(nèi)聚”），具體指的是類內(nèi)的方差之和小，類間的均值之差大。

1 、數(shù)據(jù)

????????

2 目標(biāo)函數(shù)?

2.1 均值&方差

? ? ?——>這個(gè)是兩個(gè)類放到一塊的數(shù)據(jù)集的均值和方差

? ? ?

? ?

?2.2 目標(biāo)函數(shù)

?定義目標(biāo)函數(shù)

2.2.1 分子

分子是類間均值的距離（中心點(diǎn)之間的距離），越大表示類“分得越快”?

?

?2.2.2 分母

分母是兩個(gè)類方差的和，越小表示每個(gè)類“內(nèi)部越緊”

先看S1

S2 同理，所以有：

?2.2.3 目標(biāo)函數(shù)整體

結(jié)合2.2.1和2.2.2，我們有：

?極大化J(w)就可以使得類內(nèi)的方差之和小，類間的均值之差大。

3 線性判別分析的求解

為了方便起見，我們令：

于是

?對(duì)J(w)關(guān)于w求導(dǎo)數(shù)：

?

?參考內(nèi)容：機(jī)器學(xué)習(xí)-白板推導(dǎo)系列筆記（四）-線性分類_scu-liu的博客-CSDN博客

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：线性判别分析（Fisher）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。