常見神經(jīng)網(wǎng)絡(luò)在計(jì)算相鄰層權(quán)重關(guān)系式時(shí)，矩陣對(duì)矩陣求導(dǎo)所涉及的維度拼接操作對(duì)理論萌新往往不太友好；對(duì)于數(shù)據(jù)型為矩陣的最小二乘問題，盡管跡對(duì)矩陣求導(dǎo)操作十分實(shí)用但很多人仍習(xí)慣于逐項(xiàng)計(jì)算偏導(dǎo)。本文避開“矩陣對(duì)矩陣求導(dǎo)”這一男默女淚的內(nèi)容，圍繞關(guān)于標(biāo)量（跡、行列式）對(duì)矩陣的求導(dǎo)問題展開系列探索。這要求讀者具備較牢固的線性代數(shù)基礎(chǔ)，后兩問或許已超出萌新范疇。跡對(duì)矩陣求導(dǎo)問題較好理解，我在Maple技術(shù)交互研討群(QQ836204107) 暑期訓(xùn)練營活動(dòng)中曾給出過相關(guān)的每日一問，本文將另給出應(yīng)用。至于行列式對(duì)矩陣求導(dǎo)問題，純屬筆者類（閑得）比（蛋疼）矩陣常見概念所得，因此未有應(yīng)用但其中思考過程較為有趣。

想寫這篇文章很久了，但因?yàn)楦?#xff08;吃）種（喝）原（玩）因（樂）有所耽擱，今天整理桌面發(fā)現(xiàn)過去備忘錄中關(guān)于 “行列式對(duì)矩陣求導(dǎo)” 的問題，琢磨一番發(fā)現(xiàn)可以解決，趁熱打鐵寫就本文。標(biāo)題《矩陣（含逆）的跡、行列式關(guān)于矩陣自身的導(dǎo)數(shù)計(jì)算與Maple驗(yàn)證》讀起來十分別扭，但思前想后仍未找到更好替代，全文讀畢哈姆雷特如有更好建議可于評(píng)論區(qū)留痕。兩類問題的本質(zhì)解法同為元素分析與矩陣導(dǎo)數(shù)定義相結(jié)合，現(xiàn)在正文開始。

1. 問題描述

1.1. 符號(hào)&說明&tips

(1) 對(duì)于每項(xiàng)元素均為變量的矩陣

，其逆、轉(zhuǎn)置記為 ； 記為 先取逆再轉(zhuǎn)置（其實(shí)跟先轉(zhuǎn)置再取逆一樣）； 為 簡記；全文 視為同一記號(hào)，均表示矩陣 在 上的元素。

(2)

表示方陣 的跡：矩陣所有特征值之和（或是對(duì)角線所有元素和）。 對(duì)于相同階數(shù)的方陣 ，有:

(3)

表示方陣 的行列式：矩陣所有特征值之積（或是涉及逆序數(shù)的頭大算式）。 對(duì)于相同階數(shù)的方陣 ，有:

(4)

表示方陣 所有特征值構(gòu)成的集合： 。

(5) 標(biāo)量

對(duì)矩陣 的偏導(dǎo)記為 ，其中：

(6) 對(duì)于第

列以外元素均為0的方陣 ，易證 。

1.2. 待證結(jié)論

設(shè)

匹配以下矩陣相乘時(shí)的維度關(guān)系（不一定是方陣），則：

結(jié)論1在復(fù)雜的最小二乘問題中有所應(yīng)用，也是結(jié)論2的證明基礎(chǔ)；結(jié)論2是一個(gè) “權(quán)重矩陣優(yōu)化” 的變分問題求解中的輔助手段，下文會(huì)具體指出應(yīng)用；結(jié)論3是吃撐為了消化所得到。

2. 跡相關(guān)結(jié)論證明及應(yīng)用

2.1. 結(jié)論1的證明

在涉及對(duì)矩陣求導(dǎo)的操作中，元素分析法是一個(gè)重要且有效的方法。 這是因?yàn)榫仃嚤旧碇皇嵌鄠€(gè)元素的載體，對(duì)矩陣求導(dǎo)的本質(zhì)逃不開對(duì)元素的逐一求導(dǎo)。該方法通過對(duì)矩陣的求導(dǎo)降維成對(duì)矩陣元素的求導(dǎo)，降低問題難度,循環(huán)結(jié)束以后再回歸矩陣型表達(dá)。針對(duì)該類問題一旦猶豫不決，元素分析法就是平鋪直敘的做法。

證明：

開始已聲明矩陣每個(gè)元素均為變量（不存在常數(shù)元素），所以自然得到上述結(jié)論。若允許存在常數(shù)元素，完備的結(jié)論是：如果該元素是變量，則求導(dǎo)結(jié)果與理論結(jié)果相同；如果該元素是常量，則求導(dǎo)結(jié)果為0。所以在結(jié)論1基礎(chǔ)上再

（點(diǎn)乘）一個(gè)變量確定矩陣 ：

這個(gè)變量確定矩陣的補(bǔ)丁均可打在三條待證等式的右邊。考慮到結(jié)論式的實(shí)際情景，通常

所有元素均為變量，此處便不再細(xì)究 的用途。接下來將矩陣導(dǎo)數(shù)定義與元素分析法所得結(jié)論聯(lián)系一起，為后續(xù)問題提供助力。通過類比試探性摸索矩陣求導(dǎo)的定義如下：

化簡上式右邊同時(shí)聯(lián)立元素分析法所得結(jié)論，得到：

這個(gè)結(jié)論看著有些迷幻，因?yàn)槎歼€沒有定義左邊是如何計(jì)算的，僅是從符號(hào)直覺上給出一條等式。實(shí)際上左邊可以看做一個(gè)逐元素循環(huán)計(jì)算偏導(dǎo)的過程： 對(duì)于任意的

，設(shè)定 僅在 位置有所擾動(dòng)，其余位置均為0，進(jìn)而可得：

這個(gè)通過創(chuàng)建矩陣導(dǎo)數(shù)定義所得到的結(jié)論，對(duì)于結(jié)論2的證明將起到核心作用。

2.2. 結(jié)論2的證明

為讓證明過程顯得不那么復(fù)雜，先證明 去掉

（或者說 ） 的結(jié)論：

證明：

根據(jù)矩陣逆的一階展開式 所得； 根據(jù)結(jié)論1所得。回到更復(fù)雜的待證結(jié)論2，有：

Maple暑期訓(xùn)練營-day9問題是利用Maple驗(yàn)證如下結(jié)論，其思路類似上述證明。

在此基礎(chǔ)上結(jié)合矩陣間的鏈?zhǔn)轿⒎址▌t,同樣可以證明結(jié)論2：

2.3. 相關(guān)應(yīng)用

在最小二乘問題中應(yīng)用跡對(duì)矩陣導(dǎo)數(shù)的常見操作，此處就不作過多闡述了。這里重點(diǎn)利用結(jié)論1~2解決以下問題： 已知

分別為確定的、待優(yōu)化的對(duì)稱方陣， 為確定的觀測(cè)矩陣 （不一定是方陣），對(duì)于以下誤差矩陣 ，尋找合適 使得：

思路： 教科書級(jí)別做法是主要基于以下矩陣型柯西-施瓦茲不等式，進(jìn)而局部作矩陣代換可得

。

站在巨人肩膀上做事情的做法十分迅速了當(dāng)，但郁悶的是該不等式本身的證明，不看答案前提下同樣耗時(shí)甚久。能不能來點(diǎn)陽間的解法？ 一個(gè)自然想法是，尋找

使得

觀察

結(jié)構(gòu)可以發(fā)現(xiàn)，它的 分布十分符合結(jié)論1~2中 的位置（那是肯定的，因?yàn)榻Y(jié)論2就是我根據(jù)這個(gè)問題抽離出來的好嘛）。從左往右，第2、3和第1、4個(gè) 在求導(dǎo)時(shí)可分別應(yīng)用結(jié)論1、2：

對(duì)矩陣求導(dǎo)之所以可怕，只是接觸少了而已，一旦看透本質(zhì)它就成了紙老虎。很多情況下多元微分怎么計(jì)算，對(duì)矩陣微分就怎么計(jì)算。因?yàn)榫仃囍皇嵌鄠€(gè)變量的載體，你怒發(fā)沖冠把它平鋪成向量，本質(zhì)上

就沒有區(qū)別。所以多元微分下能“計(jì)算一個(gè)、固定剩余”做法，對(duì)于矩陣微分同樣適用。以下計(jì)算過程盡管看著冗長，其實(shí)就是利用結(jié)論1~2并輔助對(duì)稱陣性質(zhì)一路強(qiáng)推而已。

3. 行列式相關(guān)結(jié)論證明

上一章內(nèi)容其實(shí)好久以前就已經(jīng)寫好，當(dāng)時(shí)直覺判斷行列式應(yīng)同樣具備類似結(jié)論，但摸索無果便棄置一旁，強(qiáng)迫如我必須找到關(guān)于行列式的結(jié)論才能放手。近來呆在人工智障的坑中，整天跟電腦打交道。慚愧很久沒推導(dǎo)理論，加上快（陪）樂（伴）開（佳）心（人）度過一個(gè)國慶，回來看到桌上好久前留下的這個(gè)問題，也就試著再做了做，好在運(yùn)氣不錯(cuò):

3.1. 困難分析

行列式和跡雖然都是涉及矩陣的重要概念，但前者的難度起碼比后者高出1個(gè)維度（乘法之于加法）。原本出于推廣的目的，求解以下問題將更具意義：

考慮到矩陣相乘時(shí)其行列式可以單獨(dú)拆分，例如:

這樣對(duì)矩陣求導(dǎo)時(shí)，推廣項(xiàng)對(duì)結(jié)果只有伸縮影響，索性略去僅研究樸實(shí)的結(jié)論3。緊跟上一章思路，試探性用對(duì)矩陣求導(dǎo)的定義式演一波對(duì)面：

跡相關(guān)問題求解之所以能夠成功，是因?yàn)閷?duì)逆矩陣近似后所得化簡式成功配合結(jié)論1：

然而對(duì)于行列式而言，

卻不存在可配合的化簡式，我當(dāng)初也誤以為結(jié)果是隨緣式。但針對(duì)矩陣求導(dǎo)問題，思慮不決就“元素分析”是肯定不會(huì)錯(cuò)。為了減少篇幅，以下直接針對(duì) 階矩陣進(jìn)行證明。實(shí)際上我是在3階符號(hào)矩陣做逐一元素（位置分為對(duì)角線與非對(duì)角線）求導(dǎo)時(shí)才得到最終的思路。

3.2. 元素分析法再登場(chǎng)

首先，得到關(guān)于矩陣

的符號(hào)型逆、微分矩陣如下：

設(shè)定

僅在 位置有所擾動(dòng)，其余位置均為0，進(jìn)而得到：

根據(jù) “某列之外元素均為0” 的矩陣性質(zhì)（見1.1符號(hào)&說明&tips），得到：

至于這個(gè)結(jié)論有何應(yīng)用，現(xiàn)在也說不上來，莊子說過“無用亦有用"。總之我把它放在此處，等待那天有緣人用到好了~

4. Maple驗(yàn)證

restart: with(LinearAlgebra): N,M:=5,6:# 跡求導(dǎo)過程中AB不一定要是方陣 A,X,B:=Matrix(M,N,(i,j)->a[i,j]),Matrix(N,(i,j)->x[i,j]),Matrix(N,M,(i,j)->b[i,j]); #A,X,B:=IdentityMatrix(N),Matrix(N,(i,j)->x[i,j]),IdentityMatrix(N); X_inverse:=MatrixInverse(X): A_invX_B:=A.X_inverse.B: # 跡對(duì)矩陣求導(dǎo)驗(yàn)證（訓(xùn)練營問題，結(jié)論2的精簡版） predict_expr:=-(X_inverse^+).(A^+).(B^+).(X_inverse^+): diff_expr:=diff~(Trace(A_invX_B),X): judge:=simplify(diff_expr-predict_expr); # 行列式對(duì)矩陣求導(dǎo)驗(yàn)證（結(jié)論3） X_det:=Determinant(X): predict_expr2:=X_det*(X_inverse^+): diff_expr2:=diff~(X_det,X): judge2:=simplify(diff_expr2-predict_expr2);

注意上述代碼僅是針對(duì)具體階數(shù)下的符號(hào)型矩陣做出驗(yàn)證。結(jié)論成立條件為兩個(gè)判別陣judge、judge2均為0矩陣，運(yùn)行結(jié)果也確實(shí)如此。

總結(jié)

以上是生活随笔為你收集整理的矩阵迹的性质_矩阵（含逆）的迹、行列式关于矩阵自身的导数计算与Maple验证...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。