前提及說(shuō)明

第一次遇見(jiàn)矩陣求導(dǎo)，大多數(shù)人都是一頭霧水，而搜了維基百科看也還是云里霧里，一堆的名詞和一堆的表格到底都是什么呢？這里總結(jié)了我個(gè)人的學(xué)習(xí)經(jīng)驗(yàn)，并且通過(guò)一個(gè)例子可以讓你感受如何進(jìn)行矩陣求導(dǎo)，下次再遇到需要進(jìn)行矩陣求導(dǎo)的地方就不會(huì)措手不及。

在進(jìn)行概念的解說(shuō)之前，首先大家需要先知道下面的這個(gè)前提：

前提：?若?x?為向量，則默認(rèn)?x?為列向量，?xT?為行向量

布局的概念

布局簡(jiǎn)單地理解就是分子?y?、分母?x?是行向量還是列向量。

• 分子布局（Numerator-layout）：?分子為?y?或者分母為?xT?(即，分子為列向量或者分母為行向量)
• 分母布局（Denominator-layout）：?分子為?yT?或者分母為?x?(即，分子為行向量或者分母為列向量)

為了更加深刻地理解兩種布局的特點(diǎn)和區(qū)別，下面是從維基百科中布局部分拿來(lái)的例子：

分子布局

• 標(biāo)量/向量：??（分母的向量為行向量）

• 向量/標(biāo)量：??（分子的向量為列向量）

• 向量/向量：??（分子為列向量橫向平鋪，分母為行向量縱向平鋪）

• 標(biāo)量/矩陣：??（注意這個(gè)矩陣部分是轉(zhuǎn)置的，而下面的分母布局是非轉(zhuǎn)置的）

• 矩陣/標(biāo)量：?

分母布局

• 標(biāo)量/向量：??（分母的向量為列向量）

• 向量/標(biāo)量：??（分子的向量為行向量）

• 向量/向量：??（分子為行向量縱向平鋪，分母為列向量橫向平鋪）

• 標(biāo)量/矩陣：??（矩陣部分為原始矩陣）

一個(gè)求導(dǎo)的例子

問(wèn)題

?

說(shuō)明：?y、w為列向量，X為矩陣

式子演化

看到這個(gè)例子不要急著去查表求導(dǎo)，先看看它的形式，是的形式，這種形式一般求導(dǎo)較為復(fù)雜，因此為了簡(jiǎn)化運(yùn)算，我們先把式子展開(kāi)成下面的樣子（注意：： ）

然后就可以寫(xiě)成四個(gè)部分求導(dǎo)的形式如下（累加后求導(dǎo)=求導(dǎo)后累加）：?

求導(dǎo)

說(shuō)明：分子部分為標(biāo)量，分母部分為向量，找到維基百科中的Scalar-by-vector identities表格，在表格中匹配形式到第1行的位置，因?yàn)榉帜笧榱邢蛄?#xff0c;因此為分母布局，對(duì)應(yīng)的求導(dǎo)結(jié)果就是?0?。

說(shuō)明：同樣的，在維基百科中的Scalar-by-vector identities表格，在表格中匹配形式到第11行的位置，對(duì)應(yīng)的求導(dǎo)結(jié)果就是?。

說(shuō)明：因?yàn)榉肿訛闃?biāo)量，標(biāo)量的轉(zhuǎn)置等于本身，所以對(duì)分子進(jìn)行轉(zhuǎn)置操作，其等價(jià)于第二部分。

說(shuō)明：同樣的，在維基百科中的Scalar-by-vector identities表格，在表格中匹配形式到第13行的位置，矩陣的轉(zhuǎn)置乘上本身為對(duì)稱(chēng)矩陣當(dāng)做表格中的A?，所以得到求導(dǎo)結(jié)果?。

整合

把四個(gè)部分求導(dǎo)結(jié)果進(jìn)行相應(yīng)的加減就可以得到最終的結(jié)果：?

?

現(xiàn)在你再看看維基百科里那成堆的表格，是不是覺(jué)得異常實(shí)用了！

參考文獻(xiàn)

• 維基百科 Matrix calculus
• 求導(dǎo)的例子來(lái)自《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》-第八章 回歸 138頁(yè)

總結(jié)

以上是生活随笔為你收集整理的矩阵求导实例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。