矩阵迹的性质_矩阵(含逆)的迹、行列式关于矩阵自身的导数计算与Maple验证...
常見神經(jīng)網(wǎng)絡(luò)在計(jì)算相鄰層權(quán)重關(guān)系式時(shí),矩陣對(duì)矩陣求導(dǎo)所涉及的維度拼接操作對(duì)理論萌新往往不太友好;對(duì)于數(shù)據(jù)型為矩陣的最小二乘問題,盡管跡對(duì)矩陣求導(dǎo)操作十分實(shí)用但很多人仍習(xí)慣于逐項(xiàng)計(jì)算偏導(dǎo)。本文避開“矩陣對(duì)矩陣求導(dǎo)”這一男默女淚的內(nèi)容,圍繞關(guān)于標(biāo)量(跡、行列式)對(duì)矩陣的求導(dǎo)問題展開系列探索。這要求讀者具備較牢固的線性代數(shù)基礎(chǔ),后兩問或許已超出萌新范疇。跡對(duì)矩陣求導(dǎo)問題較好理解,我在Maple技術(shù)交互研討群(QQ836204107) 暑期訓(xùn)練營活動(dòng)中曾給出過相關(guān)的每日一問,本文將另給出應(yīng)用。至于行列式對(duì)矩陣求導(dǎo)問題,純屬筆者類(閑得)比(蛋疼)矩陣常見概念所得,因此未有應(yīng)用但其中思考過程較為有趣。
想寫這篇文章很久了,但因?yàn)楦?#xff08;吃)種(喝)原(玩)因(樂)有所耽擱,今天整理桌面發(fā)現(xiàn)過去備忘錄中關(guān)于 “行列式對(duì)矩陣求導(dǎo)” 的問題,琢磨一番發(fā)現(xiàn)可以解決,趁熱打鐵寫就本文。標(biāo)題《矩陣(含逆)的跡、行列式關(guān)于矩陣自身的導(dǎo)數(shù)計(jì)算與Maple驗(yàn)證》讀起來十分別扭,但思前想后仍未找到更好替代,全文讀畢哈姆雷特如有更好建議可于評(píng)論區(qū)留痕。兩類問題的本質(zhì)解法同為元素分析與矩陣導(dǎo)數(shù)定義相結(jié)合,現(xiàn)在正文開始。
1. 問題描述
1.1. 符號(hào)&說明&tips
(1) 對(duì)于每項(xiàng)元素均為變量的矩陣
,其逆、轉(zhuǎn)置記為 ; 記為 先取逆再轉(zhuǎn)置(其實(shí)跟先轉(zhuǎn)置再取逆一樣); 為 簡記;全文 視為同一記號(hào),均表示矩陣 在 上的元素。(2)
表示方陣 的跡:矩陣所有特征值之和(或是對(duì)角線所有元素和)。 對(duì)于相同階數(shù)的方陣 ,有:(3)
表示方陣 的行列式:矩陣所有特征值之積(或是涉及逆序數(shù)的頭大算式)。 對(duì)于相同階數(shù)的方陣 ,有:(4)
表示方陣 所有特征值構(gòu)成的集合: 。(5) 標(biāo)量
對(duì)矩陣 的偏導(dǎo)記為 ,其中:(6) 對(duì)于第
列以外元素均為0的方陣 ,易證 。1.2. 待證結(jié)論
設(shè)
匹配以下矩陣相乘時(shí)的維度關(guān)系(不一定是方陣),則:結(jié)論1在復(fù)雜的最小二乘問題中有所應(yīng)用,也是結(jié)論2的證明基礎(chǔ);結(jié)論2是一個(gè) “權(quán)重矩陣優(yōu)化” 的變分問題求解中的輔助手段,下文會(huì)具體指出應(yīng)用;結(jié)論3是吃撐為了消化所得到。
2. 跡相關(guān)結(jié)論證明及應(yīng)用
2.1. 結(jié)論1的證明
在涉及對(duì)矩陣求導(dǎo)的操作中,元素分析法是一個(gè)重要且有效的方法。 這是因?yàn)榫仃嚤旧碇皇嵌鄠€(gè)元素的載體,對(duì)矩陣求導(dǎo)的本質(zhì)逃不開對(duì)元素的逐一求導(dǎo)。該方法通過對(duì)矩陣的求導(dǎo)降維成對(duì)矩陣元素的求導(dǎo),降低問題難度,循環(huán)結(jié)束以后再回歸矩陣型表達(dá)。針對(duì)該類問題一旦猶豫不決,元素分析法就是平鋪直敘的做法。
證明:
開始已聲明矩陣每個(gè)元素均為變量(不存在常數(shù)元素),所以自然得到上述結(jié)論。若允許存在常數(shù)元素,完備的結(jié)論是:如果該元素是變量,則求導(dǎo)結(jié)果與理論結(jié)果相同;如果該元素是常量,則求導(dǎo)結(jié)果為0。所以在結(jié)論1基礎(chǔ)上再
(點(diǎn)乘)一個(gè)變量確定矩陣 :這個(gè)變量確定矩陣的補(bǔ)丁均可打在三條待證等式的右邊。考慮到結(jié)論式的實(shí)際情景,通常
所有元素均為變量,此處便不再細(xì)究 的用途。接下來將矩陣導(dǎo)數(shù)定義與元素分析法所得結(jié)論聯(lián)系一起,為后續(xù)問題提供助力。通過類比試探性摸索矩陣求導(dǎo)的定義如下:化簡上式右邊同時(shí)聯(lián)立元素分析法所得結(jié)論,得到:
這個(gè)結(jié)論看著有些迷幻,因?yàn)槎歼€沒有定義左邊是如何計(jì)算的,僅是從符號(hào)直覺上給出一條等式。實(shí)際上左邊可以看做一個(gè)逐元素循環(huán)計(jì)算偏導(dǎo)的過程: 對(duì)于任意的
,設(shè)定 僅在 位置有所擾動(dòng),其余位置均為0,進(jìn)而可得:這個(gè)通過創(chuàng)建矩陣導(dǎo)數(shù)定義所得到的結(jié)論,對(duì)于結(jié)論2的證明將起到核心作用。
2.2. 結(jié)論2的證明
為讓證明過程顯得不那么復(fù)雜,先證明 去掉
(或者說 ) 的結(jié)論:證明:
根據(jù)矩陣逆的一階展開式 所得; 根據(jù)結(jié)論1所得。回到更復(fù)雜的待證結(jié)論2,有:Maple暑期訓(xùn)練營-day9問題是利用Maple驗(yàn)證如下結(jié)論,其思路類似上述證明。
在此基礎(chǔ)上結(jié)合矩陣間的鏈?zhǔn)轿⒎址▌t,同樣可以證明結(jié)論2:
2.3. 相關(guān)應(yīng)用
在最小二乘問題中應(yīng)用跡對(duì)矩陣導(dǎo)數(shù)的常見操作,此處就不作過多闡述了。這里重點(diǎn)利用結(jié)論1~2解決以下問題: 已知
分別為確定的、待優(yōu)化的對(duì)稱方陣, 為確定的觀測(cè)矩陣 (不一定是方陣),對(duì)于以下誤差矩陣 ,尋找合適 使得:思路: 教科書級(jí)別做法是主要基于以下矩陣型柯西-施瓦茲不等式,進(jìn)而局部作矩陣代換可得
。站在巨人肩膀上做事情的做法十分迅速了當(dāng),但郁悶的是該不等式本身的證明,不看答案前提下同樣耗時(shí)甚久。能不能來點(diǎn)陽間的解法? 一個(gè)自然想法是,尋找
使得觀察
結(jié)構(gòu)可以發(fā)現(xiàn),它的 分布十分符合結(jié)論1~2中 的位置(那是肯定的,因?yàn)榻Y(jié)論2就是我根據(jù)這個(gè)問題抽離出來的好嘛)。從左往右,第2、3和第1、4個(gè) 在求導(dǎo)時(shí)可分別應(yīng)用結(jié)論1、2:對(duì)矩陣求導(dǎo)之所以可怕,只是接觸少了而已,一旦看透本質(zhì)它就成了紙老虎。很多情況下多元微分怎么計(jì)算,對(duì)矩陣微分就怎么計(jì)算。因?yàn)榫仃囍皇嵌鄠€(gè)變量的載體,你怒發(fā)沖冠把它平鋪成向量,本質(zhì)上
就沒有區(qū)別。所以多元微分下能“計(jì)算一個(gè)、固定剩余”做法,對(duì)于矩陣微分同樣適用。以下計(jì)算過程盡管看著冗長,其實(shí)就是利用結(jié)論1~2并輔助對(duì)稱陣性質(zhì)一路強(qiáng)推而已。3. 行列式相關(guān)結(jié)論證明
上一章內(nèi)容其實(shí)好久以前就已經(jīng)寫好,當(dāng)時(shí)直覺判斷行列式應(yīng)同樣具備類似結(jié)論,但摸索無果便棄置一旁,強(qiáng)迫如我必須找到關(guān)于行列式的結(jié)論才能放手。近來呆在人工智障的坑中,整天跟電腦打交道。慚愧很久沒推導(dǎo)理論,加上快(陪)樂(伴)開(佳)心(人)度過一個(gè)國慶,回來看到桌上好久前留下的這個(gè)問題,也就試著再做了做,好在運(yùn)氣不錯(cuò):
3.1. 困難分析
行列式和跡雖然都是涉及矩陣的重要概念,但前者的難度起碼比后者高出1個(gè)維度(乘法之于加法)。原本出于推廣的目的,求解以下問題將更具意義:
考慮到矩陣相乘時(shí)其行列式可以單獨(dú)拆分,例如:
這樣對(duì)矩陣求導(dǎo)時(shí),推廣項(xiàng)對(duì)結(jié)果只有伸縮影響,索性略去僅研究樸實(shí)的結(jié)論3。緊跟上一章思路,試探性用對(duì)矩陣求導(dǎo)的定義式演一波對(duì)面:
跡相關(guān)問題求解之所以能夠成功,是因?yàn)閷?duì)逆矩陣近似后所得化簡式成功配合結(jié)論1:
然而對(duì)于行列式而言,
卻不存在可配合的化簡式,我當(dāng)初也誤以為結(jié)果是隨緣式。但針對(duì)矩陣求導(dǎo)問題,思慮不決就“元素分析”是肯定不會(huì)錯(cuò)。為了減少篇幅,以下直接針對(duì) 階矩陣進(jìn)行證明。實(shí)際上我是在3階符號(hào)矩陣做逐一元素(位置分為對(duì)角線與非對(duì)角線)求導(dǎo)時(shí)才得到最終的思路。3.2. 元素分析法再登場(chǎng)
首先,得到關(guān)于矩陣
的符號(hào)型逆、微分矩陣如下:設(shè)定
僅在 位置有所擾動(dòng),其余位置均為0,進(jìn)而得到:根據(jù) “某列之外元素均為0” 的矩陣性質(zhì)(見1.1符號(hào)&說明&tips),得到:
至于這個(gè)結(jié)論有何應(yīng)用,現(xiàn)在也說不上來,莊子說過“無用亦有用"。總之我把它放在此處,等待那天有緣人用到好了~
4. Maple驗(yàn)證
restart: with(LinearAlgebra): N,M:=5,6:# 跡求導(dǎo)過程中AB不一定要是方陣 A,X,B:=Matrix(M,N,(i,j)->a[i,j]),Matrix(N,(i,j)->x[i,j]),Matrix(N,M,(i,j)->b[i,j]); #A,X,B:=IdentityMatrix(N),Matrix(N,(i,j)->x[i,j]),IdentityMatrix(N); X_inverse:=MatrixInverse(X): A_invX_B:=A.X_inverse.B: # 跡對(duì)矩陣求導(dǎo)驗(yàn)證(訓(xùn)練營問題,結(jié)論2的精簡版) predict_expr:=-(X_inverse^+).(A^+).(B^+).(X_inverse^+): diff_expr:=diff~(Trace(A_invX_B),X): judge:=simplify(diff_expr-predict_expr); # 行列式對(duì)矩陣求導(dǎo)驗(yàn)證(結(jié)論3) X_det:=Determinant(X): predict_expr2:=X_det*(X_inverse^+): diff_expr2:=diff~(X_det,X): judge2:=simplify(diff_expr2-predict_expr2);注意上述代碼僅是針對(duì)具體階數(shù)下的符號(hào)型矩陣做出驗(yàn)證。結(jié)論成立條件為兩個(gè)判別陣judge、judge2均為0矩陣,運(yùn)行結(jié)果也確實(shí)如此。
總結(jié)
以上是生活随笔為你收集整理的矩阵迹的性质_矩阵(含逆)的迹、行列式关于矩阵自身的导数计算与Maple验证...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 接口隔离原则_设计模式之七大设计原则(上
- 下一篇: perl python文本处理_awk,