局部圖像特征描述概述 樊彬
中國科學(xué)院自動化研究所 模式識別國家重點實驗室 (CASIA NLPR)

? ?? ?局部圖像特征描述是計算機(jī)視覺的一個基本研究問題，在尋找圖像中的對應(yīng)點以及物體特征描述中有著重要的作用。它是許多方法的基礎(chǔ)，因此也是目前視覺研究中的一個熱點，每年在視覺領(lǐng)域的頂級會議 ICCV/CVPR/ECCV 上都有高質(zhì)量的特征描述論文發(fā)表。同時它也有著廣泛的應(yīng)用，舉例來說，在利用多幅二維圖像進(jìn)行三維重建、恢復(fù)場景三維結(jié)構(gòu)的應(yīng)用中，其基本出發(fā)點是要有一個可靠的圖像對應(yīng)點集合，而自動地建立圖像之間點與點之間的可靠對應(yīng)關(guān)系通常都依賴于一個優(yōu)秀的局部圖像特征描述子。又比如，在物體識別中，目前非常流行以及切實可行的方法之一是基于局部特征的，由于特征的局部性，使得物體識別可以處理遮擋、復(fù)雜背景等比較復(fù)雜的情況。

? ?? ?局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時候，通常是為了魯棒地處理各種圖像變換的情況。因此，在構(gòu)建 / 設(shè)計特征描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對于視角變化的不變性、對尺度變化的不變性、對旋轉(zhuǎn)變化的不變性等；在形狀識別和物體檢索中，需要考慮特征描述子對形狀的不變性。

? ?? ?然而，特征描述子的可區(qū)分性的強(qiáng)弱往往和其不變性是矛盾的，也就是說，一個具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點周圍固定大小的局部圖像內(nèi)容進(jìn)行描述。如果我們直接將圖像內(nèi)容展開成一個列向量對其進(jìn)行描述，那么只要局部圖像內(nèi)容發(fā)生了一點變化，就會使得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會產(chǎn)生很大的差異，即不變性弱。

? ?? ?而另一方面，如果我們通過統(tǒng)計局部圖像灰度直方圖來進(jìn)行特征描述，這種描述方式具有較強(qiáng)的不變性，對于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較魯棒，但是區(qū)分能力較弱，例如無法區(qū)分兩個灰度直方圖相同但內(nèi)容不同的局部圖像塊。

? ?? ?綜上所述，一個優(yōu)秀的特征描述子不僅應(yīng)該具有很強(qiáng)不變性，還應(yīng)該具有很強(qiáng)的可區(qū)分性。

? ?? ?在諸多的局部圖像特征描述子中， SIFT （ Scale Invariant Feature Transform ）是其中應(yīng)用最廣的，它在 1999 年首次提出，至 2004 年得到完善。 SIFT 的提出也是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作。由于 SIFT 對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且 SIFT 具有很強(qiáng)的可區(qū)分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應(yīng)用，局部圖像特征描述子在計算機(jī)視覺領(lǐng)域內(nèi)也得到了更加廣泛的關(guān)注，涌現(xiàn)了一大批各具特色的局部圖像特征描述子。

? ?? ? SURF （ Speeded Up Robust Features ）是對 SIFT 的改進(jìn)版本，它利用 Haar 小波來近似 SIFT 方法中的梯度操作，同時利用積分圖技術(shù)進(jìn)行快速計算， SURF 的速度是 SIFT 的 3-7 倍，大部分情況下它和 SIFT 的性能相當(dāng)，因此它在很多應(yīng)用中得到了應(yīng)用，尤其是對運(yùn)行時間要求高的場合。

? ?? ? DAISY 是面向稠密特征提取的可快速計算的局部圖像特征描述子，它本質(zhì)思想和 SIFT 是一樣的：分塊統(tǒng)計梯度方向直方圖，不同的是， DAISY 在分塊策略上進(jìn)行了改進(jìn)，利用高斯卷積來進(jìn)行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進(jìn)行特征描述子的提取。比較巧合的是， DAISY 這種特征匯聚策略被一些研究者（ Matthen Brown ， Gang Hua ， Simon Winder ）通過機(jī)器學(xué)習(xí)的方法證明相對于其他幾種特征匯聚策略（卡迪爾坐標(biāo)下分塊、極坐標(biāo)下分塊）是最優(yōu)的。

? ?? ? ASIFT （ Affine SIFT ）通過模擬所有成像視角下得到的圖像進(jìn)行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。

? ?? ? MROGH （ Multi-support Region Order-based Gradient Histogram ）則是特征匯聚策略上尋求創(chuàng)新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內(nèi)點的幾何位置的，而 MROGH 基于點的灰度序進(jìn)行特征匯聚。

? ?? ? BRIEF （ Binary Robust Independent Element Feature ）利用局部圖像鄰域內(nèi)隨機(jī)點對的灰度大小關(guān)系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲要求內(nèi)存低，因此手機(jī)應(yīng)用中具有很好的應(yīng)用前景。其實，利用鄰域內(nèi)點對的灰度大小關(guān)系進(jìn)行特征描述這一思想在 SMD （ ECCV’08 ）中就已經(jīng)有了。

? ?? ?除了 BRIEF ，近兩年還提出了許多二值特征描述子，例如 ORB 、 BRISK 、 FREAK 。上述這些特征描述子都是基于手動設(shè)計得到的，也有一些研究試圖利用機(jī)器學(xué)習(xí)的方法，通過數(shù)據(jù)驅(qū)動得到想要的特征描述子。這類特征描述子包括 PCA-SIFT ， Linear Discriminative Embedding ， LDA-Hash 等。當(dāng)然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。

? ?? ?國際上研究局部圖像特征描述子比較著名的學(xué)者有：

? ?? ?英國 Surrey 大學(xué)的 Mikolajzyk ，他在 INRIA 做博后的時候，在寬基線應(yīng)用背景下，對 SIFT 、 Shape Context 、 PCA-SIFT 、不變矩等多種局部圖像描述子的性能進(jìn)行了評測，相關(guān)論文發(fā)表在 2005 年 PAMI 上，他提出來的評測方法至今仍是局部圖像描述子研究領(lǐng)域中廣泛采用的性能評測方法。

? ?? ? INRIA 的 C. Schmid ，她九十年代就開始研究局部圖像描述方法了，是這個領(lǐng)域內(nèi)的元老之一，不過這幾年她的團(tuán)隊正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識別等應(yīng)用中。

? ?? ?比利時 Leuven 大學(xué)的 Tinne Tuytelaars ，她是著名的 SURF 描述子的提出者， SURF 相關(guān)的論文于 2011 年獲得 CVIU 引用最多論文獎，她寫了三篇局部圖像特征描述相關(guān)的綜述文章，分別是“ Local Invariant Feature Detectors: A Survey ”，“ Local Image Features ”和“ Wide baseline matching ”。

? ?? ?英國 Oxford 大學(xué)的 Andrea Valida ，他是 Vlfeat 的發(fā)起者和主要作者。 Vlfeat 是一個開源程序，其中包括了 SIFT 、 MSER ，被許多研究者廣泛采用。 Vlfeat 目前正在逐漸實現(xiàn)其他常用的特征描述子。

? ?? ?瑞士 EPFL 的 Vincent Lepetit 和 Pascal Fua ，他們的團(tuán)隊主要致力于發(fā)展快速、高效的局部圖像特征描述子，用于模板匹配、三維重建、虛擬現(xiàn)實等應(yīng)用。他們的工作包括用于稠密立體匹配的 DAISY 特征描述子，基于 Random Trees 的模板匹配方法，基于 Random Ferns 的模板匹配方法。此外， LDA-Hash 、 BRIEF 、 D-BRIEF （ ECCV 2012 ）也是他們的杰作。

? ?? ?中國科學(xué)院自動化研究所的吳福朝研究員，他在這方面也做了比較深入的研究，并提出了許多不錯的局部圖像特征提取和描述方法。這些名字都是我們在讀論文的時候會經(jīng)常看到的。

? ?? ?最近幾年局部圖像特征描述子的發(fā)展趨勢是：快速、低存儲。這兩個趨勢使得局部圖像特征描述子可以在快速實時、大規(guī)模應(yīng)用中發(fā)揮作用，而且有利于將許多應(yīng)用做到手機(jī)上去進(jìn)行開發(fā)，實實在在的將計算機(jī)視覺技術(shù)應(yīng)用于我們周圍的世界中。為了滿足快速和低存儲這兩個需求，二值特征描述子得到了研究者的廣泛關(guān)注，這兩年CVPR和ICCV中關(guān)于局部圖像特征描述子的文章，大部分都是這類的。相信它們在未來幾年還會繼續(xù)受到關(guān)注，期待出現(xiàn)一些深入大眾生活中的成功應(yīng)用。

from:?http://www.sigvc.org/bbs/thread-165-1-1.html

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的局部图像特征描述概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。