对范数求偏导数
首先介紹點基礎知識,另一方面也算是鞏固下:
A?1表示A的逆矩陣;
AT表示A的轉置;
AH表示Hermitian矩陣(A的共軛轉置矩陣A?==A)
基礎
(1)跡(Trace)
eig(A)表示A的特征值
(2)行列式(Determinant)
(3)特例2*2矩陣
以上是摘自:The Matrix Cookbook
也可參考維基百科:Matrix calculus
L1范數的次微分
L1范數不可微。但是存在次梯度,即是次微分的
L1范數的次梯度如下:
其中sign(x) 表示如下:
sign(x)=?????+1?1[?1,1]xi>0xi<0xi=0
而 L1范數: ||X||1=|x1|+|x2|+?+|xn|
例如: x=(3,2,?5)T
故其梯度為:sign(x)=(1,1,-1)
L2范數的微分
例如:求解下面函數的偏導數:
得: ?f(W)?wi=∑i,j?sγi,j(wTiX?wTjX)??(wTiX?wTjX)?wi=∑i,j?sγi,j(wTiX?wTjX)?XT=∑i,j?sγi,j(wTi?wTj)?(XXT)
注意這里得到的是行向量的形式,因此還需要對其進行轉置
以上的推倒是基于上圖公式得到。。。
總結
- 上一篇: 在村里开个什么店比较挣钱 教你选择适
- 下一篇: 新手炒股步骤