CS131专题-6：图像特征（Blob检测、LoG算子、Harris-Laplacian）
?本專題介紹的技術(shù)應(yīng)用已不廣，但是這些有利于理解SIFT算法的原理，也有助于感悟CV傳統(tǒng)技術(shù)的發(fā)展變遷，以及解決問題的思路。
速記要點(diǎn)：
blob是什么：blob是描述圖像中局部區(qū)域的平均像素強(qiáng)度的特征。而圖像中局部的平均像素強(qiáng)度具有尺度不變性。blob特征畫在圖像上就是個(gè)圓。
blob特征有什么性質(zhì)：具備光強(qiáng)強(qiáng)度、旋轉(zhuǎn)不變性，但是不具備尺度和仿射不變性。
blob檢測(cè)的大概流程：用不同尺度的拉普拉斯核（需要?dú)w一化），對(duì)原圖上每個(gè)像素點(diǎn)做卷積，如果某個(gè)結(jié)果有鄰域內(nèi)最大值，則這個(gè)像素點(diǎn)位置，就有個(gè)根號(hào)2乘以該拉普拉斯核σ尺寸的blob圓。
如果忘記原理細(xì)節(jié)，可看下面的詳細(xì)版（語言和章節(jié)沒有過仔細(xì)整理）
目錄
速記要點(diǎn)：
1 問題的引發(fā)
2 Blob塊檢測(cè)
2.1 高斯一階導(dǎo)能求邊緣圖
2.2 高斯二階導(dǎo)（拉普拉斯核：Laplacian of Gaussian）也能求邊緣
2.3 高斯二階導(dǎo)（拉普拉斯核：LoG）和信號(hào)進(jìn)行卷積的特性
2.4 拉普拉斯核與圓做卷積的情況
2.5 Blob塊的特征尺度是什么
2.6 實(shí)際上怎么判定一個(gè)Blob
2.7 Blob檢測(cè)效果
2.8 Blob檢測(cè)流程
2.9 Blob檢測(cè)的缺點(diǎn)和改進(jìn)（Harris角點(diǎn)+拉普拉斯）
1 問題的引發(fā)
上次介紹了Harris 角點(diǎn)檢測(cè)，雖然對(duì)于光照強(qiáng)度、旋轉(zhuǎn)改變具有較好的檢測(cè)不變性，但是卻不具有尺度不變性和仿射不變性。
本專題介紹擁有對(duì)光照強(qiáng)度、旋轉(zhuǎn)、尺度有較好檢測(cè)不變性的特征：Blob
下圖是使用不同焦長(zhǎng)拍攝的兩張圖片，我們希望找到某種特征提取器，能夠?qū)崿F(xiàn)下面這種兩張不同尺度圖片中找到相同的內(nèi)容：
2 Blob塊檢測(cè)
blob塊是描述圖像中局部區(qū)域的平均像素強(qiáng)度的特征。而圖像中局部的平均像素強(qiáng)度具有尺度不變性。下面講解Blob檢測(cè)的整個(gè)來龍去脈和原理。
2.1 高斯一階導(dǎo)能求邊緣圖
前面專題我們講過圖像邊緣檢測(cè)原理，如下圖：
忘了的可看下面解釋：
- 通常邊緣檢測(cè)流程是：高斯核對(duì)圖像進(jìn)行平滑去噪，然后對(duì)去噪后圖像進(jìn)行求導(dǎo)，從而得到原圖的邊緣圖。
- 但是為了減少計(jì)算量，根據(jù)卷積性質(zhì)，可以先對(duì)高斯求一階導(dǎo)，然后把它和圖像進(jìn)行卷積，也能得到整個(gè)圖像的邊緣圖。上圖中第3行圖像中波峰位置就是邊緣。
高斯核的一階導(dǎo)（x方向偏導(dǎo)、y方向偏導(dǎo)）模樣可視化如下：
2.2 高斯二階導(dǎo)（拉普拉斯核：Laplacian of Gaussian）也能求邊緣
高斯二階導(dǎo)同樣也能用來求邊緣，下圖第3行圖中上下兩個(gè)波峰的中間位置即為邊緣位置。
高斯二階導(dǎo)（拉普拉斯核：LoG）可視化如下圖所示：
σ=1.4時(shí)的離散拉普拉斯核如下：
2.3 高斯二階導(dǎo)（拉普拉斯核：LoG）和信號(hào)進(jìn)行卷積的特性
如上圖所示，第一列是信號(hào)，它們有不同的寬度（也就是不同尺度），第2列是用σ=1的拉普拉斯核和信號(hào)進(jìn)行卷積的結(jié)果。
分析4種情況會(huì)發(fā)現(xiàn)，當(dāng)信號(hào)尺度和拉普拉斯核尺度一致時(shí)，結(jié)果會(huì)出現(xiàn)一個(gè)絕對(duì)值最大的波谷。（要記住：高斯核或拉普拉斯核只要確定了σ值，那么核寬度其實(shí)也就確定了。）
真實(shí)情況是我們不知道信號(hào)（圖像）情況，所以需要用不同σ值拉普拉斯核去試。
但直接用不同σ值的拉普拉斯核去和信號(hào)做卷積，隨著σ值逐漸變大，卷積的結(jié)果會(huì)逐漸衰減，如下是取不同σ值時(shí)的卷積結(jié)果：
為什么信號(hào)會(huì)被衰減？原因如下：
下圖是高斯核一階導(dǎo)和紅粗線信號(hào)的卷積示意圖，卷積結(jié)果卷積結(jié)果就是高斯核一階導(dǎo)函數(shù)曲線小的面積。當(dāng)σ變大，面積即能量會(huì)變小。
所以，要確保隨著σ變大后，信號(hào)不被衰減，如果是高斯核一階導(dǎo)，就要乘以一個(gè)σ值，做個(gè)尺度歸一化，使得能量不被衰減；如果是高斯核二階導(dǎo)（拉普拉斯核），就要乘以σ^2。
這么做后，使用拉普拉斯核卷積結(jié)果變成如下：
如上圖，會(huì)發(fā)現(xiàn)σ=8時(shí)，信號(hào)和拉普拉斯核會(huì)有一個(gè)絕對(duì)值極大值點(diǎn)。
2.4 拉普拉斯核與圓做卷積的情況
如上圖，假設(shè)有個(gè)上圖左邊這樣的圖像，中心區(qū)有個(gè)黑色的圓（像素值為0），四周是白色（像素值為255），如果用拉普拉斯核在該圖像的中心位置對(duì)該圖像做卷積，根據(jù)拉普拉斯核尺度與圓的直徑尺度關(guān)系不同，會(huì)有3種情況，如下：
- 上圖紅色線條是拉普拉斯核的一個(gè)切面曲線，根據(jù)拉普拉斯核定義，它中心區(qū)的元素值是小于0的，中心區(qū)外圍一段區(qū)域的元素值是大于0的。
- 黑色線條是上面那個(gè)image圖像的切面表示，把那張圖像想象成3D，黑色的圓區(qū)域內(nèi)像素值全為0，圓之外區(qū)域像素都為255。
如上圖，只有圓的直徑剛好和拉普拉斯核的零值區(qū)間寬度一致時(shí)，卷積結(jié)果（累加求和）才會(huì)是最大的。
所以，只要拉普拉斯核的零值區(qū)間寬度剛好和圖像中圓的寬度一致，也即拉普拉斯核的零值區(qū)間寬度所形成的圓和圖像中圓剛好重合，那么這個(gè)尺度的拉普拉斯核就能和圖像中這個(gè)圓有最大值響應(yīng)。
拉普拉斯核的簡(jiǎn)化常量參數(shù)后的公式如下：
上述拉普拉斯核公式=0時(shí)，剛好就是拉普拉斯核的零值元素所形成的那個(gè)圓。上述公式=0也即e前面的計(jì)算結(jié)果要為0，如果要讓拉普拉斯核零值元素所形成的圓剛好和圖像中圓重合，那么只要σ取下面這個(gè)值就行：
2.5 Blob塊的特征尺度是什么
我們將Blob的特征尺度定義為在Blob中心產(chǎn)生拉普拉斯響應(yīng)峰值的尺度。
2.6 實(shí)際上怎么判定一個(gè)Blob
預(yù)設(shè)一批待取的σ值，遍歷圖像中每一個(gè)像素點(diǎn)，在每個(gè)像素點(diǎn)上用不同σ的拉普拉斯核進(jìn)行卷積，每3個(gè)臨近的σ值的拉普拉斯核卷積結(jié)果作為1個(gè)判定組，如下圖示例：
假設(shè)對(duì)圖像中某像素點(diǎn)位置做3個(gè)不同σ值的拉普拉斯核卷積，結(jié)果如上，如果上圖中黑色'x'位置處的像素點(diǎn)，即σ=1.5時(shí)的拉普拉斯卷積，如果這個(gè)位置響應(yīng)結(jié)果值比圖中其他26個(gè)位置或情況下的響應(yīng)結(jié)果都大，那么這個(gè)像素點(diǎn)位置，就有一個(gè)Blob特征，尺度可以根據(jù)此處σ=1.5的拉普拉斯核求得。
簡(jiǎn)單說就上述歸納為兩句話：
- 找到不同σ尺度下最大響應(yīng)。
- 要做非極大值抑制。（不然只滿足第一條，有時(shí)候臨近像素點(diǎn)位置都會(huì)判定為有Blob）
注意：即便滿足上述兩條規(guī)則，同一個(gè)像素點(diǎn)位置，可能會(huì)有、也可以有不同尺度的Blob，這是合理的。
2.7 Blob檢測(cè)效果
2.8 Blob檢測(cè)流程
??? 1）使用不同尺度Gassian函數(shù)的歸一化二階梯度分別于圖像卷積；
??? 2）合并不同尺度下卷積圖像形成三維圖像；
??? 3）在三維圖像中尋找局部極大值，該極大值即為檢測(cè)到的Blob塊 。
2.9 Blob檢測(cè)的缺點(diǎn)和改進(jìn)（Harris角點(diǎn)+拉普拉斯）
很顯然，運(yùn)算量非常大！需要用不同尺度的拉普拉斯核對(duì)圖像做卷積，σ越大，計(jì)算量也越大，計(jì)算很慢。
一個(gè)改進(jìn)的方法是：先檢測(cè)圖像中的Harris角點(diǎn)，然后去判定這些角點(diǎn)附近在不同尺度空間是否有拉普拉斯特性。這種方法源自：K.Mikolajczyk, C.Schmid. “Indexing Based on Scale Invariant Interest Points”. ICCV 2001
比較好的參考：
Blob檢測(cè) - luofeiju - 博客園
區(qū)域檢測(cè)——Blob檢測(cè) - Moonx5 - 博客園
總結(jié)
以上是生活随笔為你收集整理的CS131专题-6：图像特征（Blob检测、LoG算子、Harris-Laplacian）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： CS131专题-4：拟合（最小二乘、RA
- 下一篇： 原创：古人为何规定16两为1斤，筷子长度