第十一章基于特征向量的變換

目錄

1.??? 主分量分析（PCA）、K-L變換（Hotelling變換）

2.??? 奇異值分解（SVD）

3.??? DCT與K-L變換的關(guān)系

---

　1. 主分量分析（PCA）、K-L變換（Hotelling變換）

?? 一般而言，這一方法的目的是尋找任意統(tǒng)計分布的數(shù)據(jù)集合之主要分量的子集。相應(yīng)的基向量組滿足正交性且由它定義的子空間最優(yōu)地考慮了數(shù)據(jù)的相關(guān)性。將原始數(shù)據(jù)集合變換到主分量空間使單一數(shù)據(jù)樣本的互相關(guān)性(cross-correlation)降低到最低點。

??? 設(shè)是N維向量的數(shù)據(jù)集合，m是其均值向量：

?
?

?

?
?

???

??? 有了特征向量集合，任何數(shù)據(jù)x可以投影到特征空間（以特征向量為基向量）中的表示：

?
?

?

相反地，任何數(shù)據(jù)x可以表示成如下的線性組合形式：

?
?

?

??? 如果用A代表以特征向量為列向量構(gòu)成的矩陣，則A^T定義了一個線性變換：

?
?

?

上述去相關(guān)的主分量分析方法可以用于降低數(shù)據(jù)的維數(shù)。通過略去對應(yīng)于若干較小特征值的特征向量來給y降維。例如，丟棄底下N-M行得到的矩陣B，并為簡單起見假定均值m=0，則有：

?
?

?

它只是被舍棄的特征向量所對應(yīng)的特征值的和。通常，特征值幅度差別很大，忽略一些較小的值不會引起很大的誤差。

??? 上述方法是圖象數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)之一，通常被稱為PrincipalComponent Analysis (PCA)或Karhunen-Loeve (K-L)變換。

??? K-L變換的核心過程是計算特征值和特征向量，有很多不同的數(shù)值計算方法。一種常采用的方法是根據(jù)如下的推導(dǎo)：

?
?

?

由于通常s<<N，這種方法將求高階矩陣的特征向量轉(zhuǎn)化為求較低階矩陣的特征向量的過程在圖象數(shù)據(jù)分析中是很實用的。

　K-L變換是圖象分析與模式識別中的重要工具，用于特征抽取，降低特征數(shù)據(jù)的維數(shù)。例如，MIT-Media Lab基于特征臉的人臉識別方法。http://www-white.media.mit.edu/vismod/demos/facerec/

(以上圖片來自于MIT-Media Lab Photobook/Eigenfaces Demo)

2. 奇異值分解（SVD）

??? 奇異值分解（SingularValue Decomposition）是矩陣分析中正規(guī)矩陣酉對角化的推廣。設(shè)矩陣A是的秩為r，它的奇異值是指n階方陣A^HA（或m階方陣AA^H）的正特征值的平方根 (A^H是A的共軛轉(zhuǎn)置)。奇異值分解是指如下形式的分解：

?
?

　

??? 對于圖象數(shù)據(jù)而言，任意一個的矩陣A定義的奇異值變換為：

?
?

?

3. DCT與K-L變換的關(guān)系

馬爾可夫（Markov）過程 一個靜態(tài)隨機序列稱為一階Markov序列，如果序列中每個元素的條件概率只依賴于它的前一個元素。一個的Markov序列的協(xié)方差矩陣具有以下形式：

其中，相鄰兩元素之間的相關(guān)系數(shù)：

這個協(xié)方差矩陣的特征值和特征向量（K-L變換正交矩陣的元素）為：

在ρ趨近1時有

與DCT變換相同。

??? 對于自然景物，通常有。這時DCT的基向量可以很好地近似K-L變換的基向量。由于這個原因，在圖象壓縮算法中常被用來代替K-L變換，如JPEG算法。盡管DCT在降低譜的相關(guān)性方面不如K-L變換有效，但是其好處是它的基函數(shù)是固定的，而K-L變換的基函數(shù)取決于待變換圖象的協(xié)方差矩陣。

其它參考文獻：

Markus Grob, Visual Computing---The Integration of Computer Graphics, Visual Perception and Imaging, Springer-Verlag, 1994.

余鄂西，矩陣論，高等教育出版社，1995。

作業(yè)

推導(dǎo)K-L變換前后的協(xié)方差矩陣之間的關(guān)系：

?
?

?

閱讀有關(guān)人臉識別中的PCA方法資料。

---

返回主目錄 返回本章目錄

清華大學(xué)計算機系 艾海舟

最近修改時間：2001年7月18日

出處：http://media.cs.tsinghua.edu.cn/~ahz/digitalimageprocess/CourseImageProcess.html

總結(jié)

以上是生活随笔為你收集整理的数字图像处理：第十一章基于特征向量的变换的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。