在機(jī)器學(xué)習(xí)中的矩陣向量求導(dǎo)(一) 求導(dǎo)定義與求導(dǎo)布局中，我們討論了向量矩陣求導(dǎo)的9種定義與求導(dǎo)布局的概念。今天我們就討論下其中的標(biāo)量對向量求導(dǎo)，標(biāo)量對矩陣求導(dǎo), 以及向量對向量求導(dǎo)這三種場景的基本求解思路。

　　　　對于本文中的標(biāo)量對向量或矩陣求導(dǎo)這兩種情況，如前文所說，以分母布局為默認(rèn)布局。向量對向量求導(dǎo)，以分子布局為默認(rèn)布局。如遇到其他文章中的求導(dǎo)結(jié)果和本文不同，請先確認(rèn)使用的求導(dǎo)布局是否一樣。另外，由于機(jī)器學(xué)習(xí)中向量或矩陣對標(biāo)量求導(dǎo)的場景很少見，本系列不會單獨討論這兩種求導(dǎo)過程。

1. 用定義法求解標(biāo)量對向量求導(dǎo)

　　　　標(biāo)量對向量求導(dǎo)，嚴(yán)格來說是實值函數(shù)對向量的求導(dǎo)。即定義實值函數(shù)f:Rn→Rf:Rn→R,自變量xx是n維向量，而輸出yy是標(biāo)量。對于一個給定的實值函數(shù)，如何求解?y?x?y?x呢？

　　　　首先我們想到的是基于矩陣求導(dǎo)的定義來做，由于所謂標(biāo)量對向量的求導(dǎo)，其實就是標(biāo)量對向量里的每個分量分別求導(dǎo)，最后把求導(dǎo)的結(jié)果排列在一起，按一個向量表示而已。那么我們可以將實值函數(shù)對向量的每一個分量來求導(dǎo)，最后找到規(guī)律，得到求導(dǎo)的結(jié)果向量。

　　　　首先我們來看一個簡單的例子：y=aTxy=aTx,求解?aTx?x?aTx?x

　　　　根據(jù)定義，我們先對xx的第i個分量進(jìn)行求導(dǎo)，這是一個標(biāo)量對標(biāo)量的求導(dǎo)，如下：

 

?aTx?xi=?∑j=1najxj?xi=?aixi?xi=ai?aTx?xi=?∑j=

總結(jié)

以上是生活随笔為你收集整理的机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。