LBP（續(xù)）

圓形LBP算子

基本的LBP算子的最大缺陷在于它只覆蓋了一個(gè)固定半徑范圍內(nèi)的小區(qū)域，這顯然不能滿足不同尺寸和頻率紋理的需要。為了適應(yīng)不同尺度的紋理特征，并達(dá)到灰度和旋轉(zhuǎn)不變性的要求，Ojala等對(duì)LBP算子進(jìn)行了改進(jìn)，將3x3鄰域擴(kuò)展到任意鄰域，并用圓形鄰域代替了正方形鄰域，改進(jìn)后的LBP算子允許在半徑為R的圓形鄰域內(nèi)有任意多個(gè)像素點(diǎn)。從而得到了諸如半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子。比如下圖定了一個(gè)5x5的鄰域：

上圖內(nèi)有八個(gè)黑色的采樣點(diǎn)，每個(gè)采樣點(diǎn)的值可以通過下式計(jì)算：

xp=xc+Rcos(2πpP)yp=yc?Rsin(2πpP)xp=xc+Rcos?(2πpP)yp=yc?Rsin?(2πpP)

通過上式可以計(jì)算任意個(gè)采樣點(diǎn)的坐標(biāo)，但是計(jì)算得到的坐標(biāo)未必完全是整數(shù)，所以可以通過雙線性插值來得到該采樣點(diǎn)的像素值：

f(x,y)≈[1?xx][f(0,0)f(1,0)f(0,1)f(1,1)][1?yy]f(x,y)≈[1?xx][f(0,0)f(0,1)f(1,0)f(1,1)][1?yy]

LBP等價(jià)模式

一個(gè)LBP算子可以產(chǎn)生不同的二進(jìn)制模式，對(duì)于半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子將會(huì)產(chǎn)生2p2p種模式。很顯然，隨著鄰域集內(nèi)采樣點(diǎn)數(shù)的增加，二進(jìn)制模式的種類是急劇增加的。例如：5×5鄰域內(nèi)20個(gè)采樣點(diǎn)，有220220＝1,048,576種二進(jìn)制模式。如此多的二值模式無論對(duì)于紋理的提取還是對(duì)于紋理的識(shí)別、分類及信息的存取都是不利的。

同時(shí)，過多的模式種類對(duì)于紋理的表達(dá)是不利的。例如，將LBP算子用于紋理分類或人臉識(shí)別時(shí)，常采用LBP模式的統(tǒng)計(jì)直方圖來表達(dá)圖像的信息，而較多的模式種類將使得數(shù)據(jù)量過大，且直方圖過于稀疏。因此，需要對(duì)原始的LBP模式進(jìn)行降維，使得數(shù)據(jù)量減少的情況下能最好的代表圖像的信息。

為了解決二進(jìn)制模式過多的問題，提高統(tǒng)計(jì)性，Ojala提出了采用一種“等價(jià)模式”（Uniform Pattern）來對(duì)LBP算子的模式種類進(jìn)行降維。Ojala等認(rèn)為，在實(shí)際圖像中，絕大多數(shù)LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，Ojala將“等價(jià)模式”定義為：當(dāng)某個(gè)LBP所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0到1或從1到0最多有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱為一個(gè)等價(jià)模式類。如00000000（0次跳變），00000111（只含一次從0到1的跳變），10001111（先由1跳到0，再由0跳到1，共兩次跳變）都是等價(jià)模式類。除等價(jià)模式類以外的模式都?xì)w為另一類，稱為混合模式類。

通過這樣的改進(jìn)，二進(jìn)制模式的種類大大減少，而不會(huì)丟失任何信息。模式數(shù)量由原來的2p2p種減少為p(p?1)+2p(p?1)+2種。這種丟掉2次以上跳變信息的方法，實(shí)際上就是一種高頻濾波。

LBP特征匹配

如果將以上得到的LBP值直接用于人臉識(shí)別，其實(shí)和不提取LBP特征沒什么區(qū)別，會(huì)造成計(jì)算量準(zhǔn)確率等一系列問題。我們可以將一副人臉圖像分為7x7的子區(qū)域，并在子區(qū)域內(nèi)根據(jù)LBP值統(tǒng)計(jì)其直方圖，以直方圖作為其判別特征。這樣做的好處是在一定范圍內(nèi)避免圖像沒完全對(duì)準(zhǔn)的情況，同時(shí)也對(duì)LBP特征做了降維處理。

對(duì)于得到的直方圖特征，有多種方法可以判別其相似性。常見的有Histogram intersection和Chi square statistic。

Histogram intersection

Histogram intersection出自以下論文：

《The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features》

Kristen Grauman，Boston College本科（2001）+MIT碩士（2003）+MIT博士（2006），University of Texas at Austin教授，Marr Prize（2011）。導(dǎo)師是Trevor Darrell。
絕對(duì)的美女，靠臉吃飯都沒問題的那種。
個(gè)人主頁：
http://www.cs.utexas.edu/~grauman/
從她的主頁來看，她手下有很多亞裔學(xué)生。還有一些在線課程，其中有部分是博士課程，只適合高手挑戰(zhàn)。

David Courtnay Marr，1945～1980，英國(guó)神經(jīng)學(xué)家和生理學(xué)家。Trinity College, Cambridge博士（1972），MIT教授。35歲死于白血病。他在神經(jīng)科學(xué)，尤其是視覺方面有重大貢獻(xiàn)。
Marr Prize由International Conference on Computer Vision頒發(fā)，2年一次，是CV界的最高榮譽(yù)。何愷明是去年（2017）的新晉得主。

假設(shè)圖像或其他數(shù)據(jù)的特征可以構(gòu)成直方圖，根據(jù)直方圖間距的不同可以得到多種類型的直方圖：

Ψ(x)=[H?1(x),H0(x),…,HL(x)]Ψ(x)=[H?1(x),H0(x),…,HL(x)]

H的下標(biāo)每增加1,則直方圖間距變?yōu)樵瓉淼膬杀丁?span id="ze8trgl8bvbq" class="MathJax_Preview" style="color: inherit; display: none;">H?1H?1表示每個(gè)樣本都有自己的bin，而HLHL表示所有的樣本都在一個(gè)bin中。

兩個(gè)數(shù)據(jù)集的相似度可以用下式來匹配：

KΔ(Ψ(y),Ψ(z))=∑i=0LwiNiKΔ(Ψ(y),Ψ(z))=∑i=0LwiNi

其中，wi=12i,Ni=I(Hi(y),Hi(z))?I(Hi?1(y),Hi?1(z))wi=12i,Ni=I(Hi(y),Hi(z))?I(Hi?1(y),Hi?1(z))。

I的計(jì)算方法如下圖所示：

(a)里的y和z代表兩種數(shù)據(jù)分布，三幅圖代表三層金字塔，每一層里有間距相等的虛線。

可以看到紅點(diǎn)藍(lán)點(diǎn)的位置是固定的，但是根據(jù)直方圖寬度的不同可以劃到不同的直方圖里，如(b)所示。

(c)圖就是L的計(jì)算結(jié)果，是通過(b)里兩種直方圖取交集得來的。

注意：這里的I表示的是交集里元素的個(gè)數(shù)（即(a)中的連線數(shù)），而不是交集的個(gè)數(shù)（即(c)中的綠條個(gè)數(shù)）。

Chi square statistic

在《數(shù)學(xué)狂想曲（五）》中，我們給出了χ2χ2檢驗(yàn)的原理和公式。這里僅對(duì)于直方圖相似度給出最后的公式：

χ2w(S,M)=∑i,jwj(Si,j?Mi,j)2Si,j+Mi,jχw2(S,M)=∑i,jwj(Si,j?Mi,j)2Si,j+Mi,j

其中，i為圖像的某塊小區(qū)域，j為小區(qū)域內(nèi)直方圖的某一列的值。wjwj是每塊小區(qū)域的權(quán)重，比如在人臉區(qū)域中，眼睛、嘴巴等區(qū)域包含的信息量更為豐富，那么這些區(qū)域的權(quán)重就可以設(shè)置的大一些。

參考

http://blog.csdn.net/smartempire/article/details/23249517

LBP方法

http://blog.csdn.net/dujian996099665/article/details/8886576

LBP算法的研究及其實(shí)現(xiàn)

https://mp.weixin.qq.com/s/iFlnZ8z5baUdWCZxIGkq5g

機(jī)器學(xué)習(xí)實(shí)戰(zhàn)——LBP特征提取

Fisherface

Fisherface由Peter N. Belhumeur, Joao P. Hespanha和David J. Kriegman于1997年提出。

Peter N. Belhumeur，Brown University本科（1985）+Harvard University博士（1993）,Yale University和Columbia University教授。

Joao P. Hespanha，Instituto Superior Técnico, Lisbon, Portugal本碩（1991,1993）+ Yale University博士。UCSB教授。

David J. Kriegman，Princeton University本科（1983）+Stanford University碩博（1984,1989）。UCSD教授。

論文：

《Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection》

Eigenfaces的主要原理基于PCA，而Fisherface的主要原理基于LDA（參見《機(jī)器學(xué)習(xí)（三十一）》）。這里不再贅述。

參考：

http://blog.csdn.net/smartempire/article/details/23377385

Fisherface（LDA）

Viola-Jones

Viola-Jones方法由Paul Viola和Michael Jones于2001年提出。

Paul Viola，MIT本科（1988）+博士（1995）。先后在微軟、Amazon擔(dān)任研究員。

Michael Jones，MIT博士（1997）。現(xiàn)為Mitsubishi electric research laboratories研究員。

論文：

《Rapid Object Detection using a Boosted Cascade of Simple Features》

《Robust real-time face detection》

《An Extended Set of Haar-like Features for Rapid Object Detection》

《Learning Multi-scale Block Local Binary Patterns for Face Recognition》

《Implementing the Viola-Jones Face Detection Algorithm》

概述

和之前的方法不同，Viola-Jones不僅是一個(gè)算法，更是一個(gè)框架，前DL時(shí)代的人臉檢測(cè)一般都采用該框架。其準(zhǔn)確度也由Fisherface時(shí)代的不到70%，上升到90%以上。當(dāng)然，這里所用的數(shù)據(jù)集以今天的眼光來看，只能算作玩具了——基本都是正面、無遮擋的標(biāo)準(zhǔn)照，光照也比較理想。但不管怎么說，這也是第一個(gè)進(jìn)入商業(yè)實(shí)用階段的目標(biāo)檢測(cè)框架，目前大多數(shù)的商業(yè)化產(chǎn)品仍然基于該框架。

Viola-Jones框架主要有三個(gè)要點(diǎn)：

1.Haar-like特征，AdaBoost算法和Cascade結(jié)構(gòu)。Haar-like特征利用積分圖像（Integral Image）快速的計(jì)算矩形區(qū)域的差分信號(hào)；

2.AdaBoost算法選擇區(qū)分能力強(qiáng)的特征結(jié)合Stump函數(shù)做弱分類器，然后把若干這些弱分類器線性組合在一起增強(qiáng)分類性能；

3.Cascade結(jié)構(gòu)做Early decision快速拋棄明顯不是人臉的掃描窗口。

下面我們分別描述一下這幾個(gè)要點(diǎn)。

Integral image

Integral image一種計(jì)算差分?jǐn)?shù)據(jù)的快速方法。

上圖左側(cè)是圖像的像素值，右側(cè)是相應(yīng)的積分圖。

由

46–22–20+10=1446–22–20+10=14 ，我們可以很快計(jì)算出左側(cè)藍(lán)色區(qū)域的像素值之和。

參考：

http://www.mathworks.com/help/vision/ref/integralimage.html

Integral image

Cascade分類器

Cascade分類器，簡(jiǎn)單來說，就是先將幾個(gè)通過Adaboost方法得到的強(qiáng)分類器進(jìn)行排序，排序原則是簡(jiǎn)單的放在前邊。因?yàn)橥ǔ碚f人臉只占一小部分，所以可以很放心地在前幾層分類器就拒絕掉大部分非人臉區(qū)域。只要前一級(jí)拒絕了，就不在進(jìn)入下一級(jí)分類器，這可以大大提高速度。其本質(zhì)是一顆退化決策樹。

參考

https://www.jianshu.com/p/024ad859c8de

人臉檢測(cè)的Viola-Jones方法

http://c.blog.sina.com.cn/profile.php?blogid=ab0aa22c890006v0

從Viola&Jones的人臉檢測(cè)說起

http://www.cnblogs.com/hrlnw/archive/2013/10/23/3374707.html

Viola Jones Face Detector

ORB

ORB（Oriented FAST and Rotated BRIEF）特征，從它的名字中可以看出它是對(duì)FAST特征點(diǎn)與BREIF特征描述子的一種結(jié)合與改進(jìn)，這個(gè)算法是由Ethan Rublee,Vincent Rabaud,Kurt Konolige以及Gary R.Bradski在2011年一篇名為“ORB：An Efficient Alternative to SIFT or SURF”的文章中提出。

參考：

http://www.cnblogs.com/ronny/p/4083537.html

ORB特征點(diǎn)檢測(cè)

直方圖反向投影

http://www.cnblogs.com/zsb517/archive/2012/06/20/2556508.html

opencv直方圖反向投影

總結(jié)

以上是生活随笔為你收集整理的图像处理理论（七）——LBP, Fisherface, Viola-Jones的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。