對計量經濟學初學者而言，OLS原理的矩陣表示通常令人“發怵”。其原因主要在于，至少在財經類課程體系中，關于矩陣微分的先行課程是缺失的。鑒于計量經濟學的進階課程大多采用矩陣語言，筆者認為有必要專文論述如何“搞掂”關于OLS原理的矩陣方法，以降低后續學習的門檻。

一、從OLS的基本原理談起

對于多元回歸模型(1)：OLS原理就是，選擇參數估計值以使得殘差平方和最小，即：若定義目標函數為Q，則由上述最優化問題的一階條件可形成一個包括k+1個正規方程的方程組。?求解上述正規方程組(3)，即獲得各個參數的OLS估計量。現在若我們引入向量與矩陣定義：則多元回歸模型(1)可表示為：最優化問題(2)可表示為：正規方程組(3)可表示為：

二、矩陣微分規則的引出與應用

我們考察式(6)。在這里，與0是k+1維列向量。用式(6)來描述正規方程組(3)，看似十分平凡，但其實隱含了一個關于矩陣微分的一般規則：一個標量對一個m維列向量求導，等價于該標量對這個m維列向量中的每一個元素求導，其求導結果是一個m維列向量。這是一個簡單而重要的規則，接下來我們將反復利用此規則。最優化問題(5)的目標函數Q可進一步展開成：由于標量Q只可能被分解成標量，式(7)中最后一個等號右邊的四項均為標量，并且有：根據式(8)，我們需依次解決四個問題：

(一)

標量，其不是中任何元素的函數。因此，有：從形式上看，式(9)與我們在《微積分》課程中所熟悉的微分規則是一致的，其中為常數，為變量。這里的0是標量，而式(9)中的0是k+1維列向量。

(二)

由于為標量，而為k+1維列向量，我們可迅速判斷為k+1維行向量。若定義：，則。顯然有：從形式上看，式(10)與我們在《微積分》課程中所熟悉的微分規則是一致的。關鍵的差別在于，在式(10)中，不能同那樣，被直接置于等號右邊——為了滿足矩陣微分規則，我們還需對其進行轉置處理，以使其變為一個列向量。

(三)

敏銳的讀者會發現，由于標量的轉置等于標量本身，即有：故有：當然，我們還可將標量中的因式定義為列向量，從而有：。因此，。從形式上看，式(12)與我們在《微積分》課程中所熟悉的微分規則是一致的。重要的是，在這里，能同那樣，被直接置于等號右邊。如此處理滿足矩陣微分規則，原因在于是一個列向量。

(四)

現在我們碰到了棘手的問題——在中，出現了兩次。但非常幸運的是，對問題(一)、(二)與(三)的討論已暗示，這個求導結果也應該與傳統的微分規則具有一定的一致性。關于函數積的微分規則表明：參照式(13)中第二個等號右邊的表達式，我們可以猜測：在這里，我們很容易注意到：為列向量；為行向量。為了滿足矩陣微分規則，我們需要對行向量取轉置，以將其轉化為列向量。在回答問題(一)、(二)與(三)時，我們對相應的矩陣微分規則進行了具體的驗證。當然我們也可以驗證式(14)是成立的，但由于比較復雜，在此略去。三、OLS估計量的“三步”記憶法及啟示將式(9)、(10)、(12)、(14)帶入式(8)，并結合式(6)，有：進而有：假定的逆存在，則有：

(一)“三步”記憶法

我們可通過如下“三步”來記憶式(17)：Step1：。注意，等式兩邊左乘而不是。考慮矩陣的維數，顯然是無意義的。Step2：。前提是存在。Step3：省略，則有。既然兩者近似相等，那么就以作為的估計量。

(二)啟示

如果能省略，那么意味著。但這有何依據呢？為了回答此問題，我們來考察列向量：由式(18)可知，若式(19)成立，則省略就是比較合理的。那么，式(19)意味著什么呢？很容易發現，其意味著：第一，誤差項的樣本均值近似為零；第二，誤差項與任何一個解釋變量均近似地樣本不相關。現在的問題是，上述兩個結論成立嗎？答案是，若“誤差項期望值等于零”與“誤差項與任意解釋變量均不相關”這兩大假定成立，則上述兩個結論至少在大樣本下是成立的。原因在于，這兩大假定是兩個總體矩條件，上述兩個結論其實是相應的樣本矩條件，而根據矩估計原理，樣本矩是對總體矩的一致估計。根據上述討論，我們可以獲得兩大啟示：第一，給定上述兩個假定成立，OLS估計本質上是矩估計的特例；第二，如果上述兩個假定不成立，那么OLS估計量就不會是對真實參數向量比較“靠譜”的估計。反過來這意味著，上述兩大假定成立，對于保證OLS估計量具有良好性質至關重要。四、如何保證存在？存在，表明是一個的滿秩方陣，亦即×：。按照矩陣理論有：，故這進一步意味著，作為一個的矩陣，秩等于k+1，亦即必須列滿秩。滿足列滿秩假定，意味著構成的k+1個列向量線性無關——這k+1個列向量中的任何一個向量，均不能是其余列向量的線性組合。若此假定被違背，則出現完全共線情況，此時不存在，OLS法失效。在此我們列舉一個不滿足列滿秩假定的例子。對于模型(20)：假設，則矩陣中的第一個列向量是后兩個列向量的線性組合，故三個列向量完全共線，不具有列滿秩性質。此時一個與原模型等價的新模型是：在這里，為任意常數。。現在我們不妨問這樣一個問題，如果真能夠將對與進行回歸，那么回歸結果所估計的到底是式(20)還是式(21)呢？顯然，我們無法確定。用計量經濟學術語來講，就是當不滿足列滿秩假定時，模型(20)或者(21)是無法被識別的。值得指出的是，不滿足列滿秩假定的一個特殊例子是，樣本容量小于待估計參數的數量。例如，對于模型(20)，其有三個參數需要估計。假定我們僅有兩個觀測值，那么將是一個2×3的矩陣，其秩最大為2，故不滿足列滿秩假定。其實，從直覺上很容易理解，模型(20)的樣本回歸方程代表一個平面，而要確定一個平面，至少需要3個點(觀測值)。五、回到一元線性回歸模型對于一元回歸模型(22)：此時，矩陣由列向量與構成，矩列滿秩假定成立表明：，其中為任意常數。亦即，變量的N次觀測值不能為一個常數。對于一元線性回歸模型，斜率估計量的公式為：顯然，若變量的N次觀測值為一個常數，則，而這是一個不定型。我們從直覺上很容易理解，當變量的N次觀測值為一個常數時，由于缺乏對照，變量對的影響是根本無法被識別的。

·END·

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的ols残差_涨知识丨OLS原理的矩阵方法很难？Just So So的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。