图像处理中的通信原理——冈萨雷斯读书笔记(三)
法國數學家傅里葉男爵在1822年出版的《熱分析理論》一書中指出,任何周期函數都可以表示為不同頻率的正弦和或余弦和(每個正弦項/余弦項乘不同的系數)的形式,這其實就是無窮級數的一種:傅里葉級數。無窮級數的思想是通過簡單的函數形式,逼近復雜的函數,包括泰勒級數、冪級數也是這個道理。還是回到傅里葉級數,我們可以坐而論道地簡單地想一下為什么所有符合要求的周期函數都可以表示為余弦/正弦之和。我們可以把函數看成一種運動的描述,而最簡單的運動就是直線運動和圓周運動,而我們可以看一下wiki上講的余弦是如何構成的:正余弦就是直線運動與圓周運動的結合體!
那么,我們一直在談論的傅里葉變換是什么呢?當函數非周期時,我們依然把它看作是周期函數,只不過周期是無窮大的,這時候的余弦和就演變成了積分的形式,其作用在多數理論和應用學科中甚至遠大于傅里葉級數。利用歐拉公式可以將正余弦轉化為復數,所以頻譜圖是復數域的,橫縱坐標代表實部與虛部。關于傅里葉級數和傅里葉變換的聯系可以看知乎大神馬同學的回答。
線性系統和傅里葉變換研究的核心是沖激及其取樣特性。沖激可以是連續的或離散的。連續的沖激函數是廣義的函數,在變量等于0的時候取正無窮。離散沖激是一個普通函數,在變量等于0的時候取1。周期為T的沖激串的傅里葉變換還是沖激串,周期為1/T。盒狀函數的傅里葉變換是辛格函數,其零值位置與盒狀函數的寬度W成反比,高度和W成正比。
卷積定理是頻率域濾波的基礎。卷積定理就是空間域兩個函數的卷積的傅里葉變換等于兩個函數的傅里葉變換在頻率域中的乘積。那么什么是卷積呢?卷積是信號處理中最基礎、最重要的一個概念,具體應用有卷積碼,有現在大熱的卷積神經網絡CNN,但是很多人對卷積的理解其實還是不夠,關于卷積我也是看了好多文章,這里先引用一段參考鏈接1的論述:
對圖像和濾波矩陣進行逐個元素相乘再求和的操作就相當于將一個二維的函數移動到另一個二維函數的所有位置,這個操作就叫卷積或者協相關。卷積和協相關的差別是,卷積需要先對濾波矩陣進行180的翻轉,但如果矩陣是對稱的,那么兩者就沒有什么差別了。Correlation 和 Convolution可以說是圖像處理最基本的操作,但卻非常有用。這兩個操作有兩個非常關鍵的特點:它們是線性的,而且具有平移不變性shift-invariant。平移不變性指我們在圖像的每個位置都執行相同的操作。線性指這個操作是線性的,也就是我們用每個像素的鄰域的線性組合來代替這個像素。這兩個屬性使得這個操作非常簡單,因為線性操作是最簡單的,然后在所有地方都做同樣的操作就更簡單了。
至于翻轉180度的理解,在書中空間濾波的部分進行了解釋。在對只有一個1,其他全0的序列(離散單位沖激)填充0之后,相關操作對濾波器序列進行從左到右的橫移,結果得到這個濾波器函數的翻轉版本。而我們知道卷積的基本特性是某個函數與某個單位沖激卷積得到一個在該沖激處的這個函數的拷貝。結合剛才相關的結果,那么我們就可以把卷積看作是先對濾波器函數翻轉180度,再進行相關操作。在圖像處理中,我們就通常預先旋轉模板,然后滑動求和。如果濾波器模板是對稱的,卷積核相關將得到相同的結果。相關還可以用于尋找圖像中的匹配。
但這只是談到了卷積和相關的聯系與區別。卷積的意義到底是什么?知乎:如何理解卷積,另外如何理解圖像處理中的卷積?中看到了幾個不錯的回答:從濾波(空間濾波)角度,就是剛才提到的滑動加權;從投影角度,卷積也是一種內積(圖像模板與圖像patch),patch投影在模板上,得到feature map,常見的如卷積神經網絡第一層,在卷積核上的投影,用一組Garbor濾波器提取圖像特征;從隨機信號角度,圖像和模板都看作隨機變量,卷積結果就是隨機變量和X+Y的分布,這也和卷積定義中的暗合,更進一步,馬同學的知乎回答中還提到荊哲解釋的卷積中的“卷”是什么意思 卷積為什么叫「卷」積? - 荊哲的回答 - 知乎https://www.zhihu.com/question/54677157/answer/141245297,將紙看作是f和g的張量積,卷起來之后的一條環線就對應紙上的一條直線,x+y=n。對應翻轉的理解,其實這只是方便和相關做比較,或者是把信號看作整體,計算每一個時間點的響應值,卷積也可以按照知乎張俊博的理解將信號分開,計算在所有時間的響應值再疊加。
取樣定理在頻域告訴我們,只要滿足取樣率大于函數最高頻率的兩倍,就可以恢復原來的連續帶限函數(意味著在時間上是無窮擴展的)。用單位間隔為T的沖激串作為取樣函數。用來從函數的取樣恢復原始函數的濾波器就是重建濾波器。由一組樣本集合來重建函數實際上可以減少樣本間的內插。由書上的4.3.12式,在整數m處,sinc函數等于0,恢復函數的值就是樣本值,樣本點之間的值就是sinc函數的和形成的內插。
因為圖像不是在兩個坐標方向無限擴展,也不能無限取樣,所以取樣后總會存在混淆,分為空間混淆和時間混淆。空間混淆由欠采樣造成,時間混淆是幀率低于運動速度,如電影中車輪倒轉。
Reference:
1.https://blog.csdn.net/zouxy09/article/details/49080029 圖像卷積與濾波的一些知識點
2.https://www.zhihu.com/question/27251882 知乎
3.https://www.zhihu.com/question/22298352 如何通俗易懂地理解卷積如何通俗易懂地解釋卷積? - 張俊博的回答 - 知乎https://www.zhihu.com/question/22298352/answer/34267457
總結
以上是生活随笔為你收集整理的图像处理中的通信原理——冈萨雷斯读书笔记(三)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 建议收藏丨sql行转列的一千种写法!!
- 下一篇: 10.Mysql数据库导入导出和授权