十來天沒上來寫東西了，在實踐試錯的過程中，有太多東西沒來得及總結(jié)，忙著填BoW的坑，忙著投簡歷(工作碗里來)。盡管這樣，還是抽了點空把這十來天自己在完善Bag of Words cpp實現(xiàn)(stable version 0.01)重排過程中做的一些東西總結(jié)一下，希望也能對后來者有些許幫助，好了進(jìn)入正題。

---

一般在詞袋模型中，為了提高檢索的精度，你可以通過很多的trick來提高其精度(mAP)，其中一個廣泛使用的技巧就是對返回的圖像進(jìn)行重排，重排有很多種方法，比如對多特征在分?jǐn)?shù)層(決策層)進(jìn)行融合也是一種重排方式，不過這里要做的是通過剔除查詢圖像與候選圖像錯配點對的方式進(jìn)行重排，剔除錯配點一般采用的是RANSAC算法，關(guān)于RANSAC原理可以閱讀RANSAC算法做直線擬合這篇文章，或者采用類RANSAC算法。作為初級階段的實踐，這里從兩幅圖像的匹配逐步深入。

代碼下載：下面貼圖的結(jié)果的代碼都可以sift(asift)-match-with-ransac-cpp下載。

1NN匹配

“1NN匹配”（勿wiki，自創(chuàng)的一個詞匯），講起來比較順口，而且從字面也應(yīng)該可以猜測出點意思來，所以就這么寫在這里了。所謂的“1NN”匹配，即是對于圖像im1中的某個SIFT特征點point1，通過在im2圖像上所有SIFT關(guān)鍵點查找到與point1最近的SIFT關(guān)鍵點，重復(fù)這個過程，即可得到圖像im1中所有的特征點在im2中的匹配點(最近鄰，1NN)。這種匹配方法，會出現(xiàn)很多的錯配點，下面是采用1NN匹配的結(jié)果：從上圖可以看到，1NN匹配的方法出現(xiàn)了很多的錯配點，而這些錯配點對無論是對圖像檢索中的重排，還是圖像拼接等，都是不希望看到的，所以得進(jìn)一步對其中的錯配點對進(jìn)行剔除，下面采用“1NN/2NN<0.8”的方法進(jìn)行錯配點對剔除。

1NN/2NN<0.8

"1NN/2NN<0.8"，不要詫異你未見過這樣一種說法，沒錯，自己瞎創(chuàng)的一種表述。對上面1NN方法理解了，這個水到渠成。所謂“1NN/2NN<0.8”，即對于圖像im1中的某個SIFT特征點point1，通過在im2圖像上所有SIFT關(guān)鍵點查找到與point1最近的SIFT關(guān)鍵點point21(記該關(guān)鍵點point21到point1的距離為dis1)和次近的關(guān)鍵點point22(記該關(guān)鍵點point22到point1的距離為dis2)，如果dis1/dis2<0.8，則我們將其視為正確匹配的點對，否則則為錯配的點對予以剔除。這種尋找匹配的方法，由Lowe在其Distinctive image features from scale-invariant keypoints中有說明，當(dāng)然，0.8這個閾值是可以調(diào)整的，不過一般都采用0.8。下面是采用該方法進(jìn)行匹配后的結(jié)果：可以看到，經(jīng)過該方法匹配后，相比與“1NN”匹配方法，相比于“1NN”，這種方法進(jìn)行匹配時有了很大的改善，不過正配點相比與1NN有部分損失。下面再探討用RANSAC方法對這兩種情況進(jìn)行錯配點剔除。

1NN+RANSAC

回到前面的“1NN”匹配的點對，我們再采用RANSAC方法對其進(jìn)行錯配點剔除，RANSAC方法的原理前面已有相關(guān)文章RANSAC算法做直線擬合，這里不再重復(fù)，相關(guān)的代碼請看utils.cpp中findInliers函數(shù)，調(diào)用的是OpenCV中的cv::findFundamentalMat函數(shù)計算其變換矩陣，下面是“1NN”經(jīng)過RANSAC剔除錯配點對的結(jié)果：可以看到，經(jīng)過RANSAC后，“1NN”中的很多錯配點對差不多剔除得比較好了，不過還有錯配的點對沒有剔除掉，圖中用紅色矩形框標(biāo)出了未剔除的錯配點對。我們在來看看對“1NN/2NN<0.8”進(jìn)行RANSAC后會是怎樣的結(jié)果呢？

1NN/2NN<0.8+RANSAC

在看匹配結(jié)果前，我們可以先做一個大概的預(yù)測，因為“1NN/2NN<0.8”得到的很多點就是正確匹配的點對，所以將其放入RANSAC中后，能夠得到很好的擬合模型，所以其剔除錯配點對效果也應(yīng)該更好。為了驗證這一預(yù)測，我們看一下“1NN/2NN<0.8+RANSAC”具體的效果，如下圖所示：可以看到，已經(jīng)完全沒有錯配點了，從這一點來說，其效果是非常好的。不過，從正配點對數(shù)目來看，“1NN+RANSAC”的結(jié)果更密集，也就是說“1NN+RANSAC”包含了更多的正配點對，“1NN/2NN<0.8+RANSAC”正配點對要稍微少些。在大多數(shù)情況下，我們會選擇完全剔除了錯配點對的模型。

---

上面分別介紹了兩種匹配方法，分別是“1NN”和“1NN/2NN<0.8”匹配方法，以及對它們采用RANSAC剔除錯配點對的方法。有時候，如果要求經(jīng)過RANSAC匹配后保留更多的正配點對，這時候，我們可以采用Affine-SIFT，簡稱ASIFT，具體可以閱讀ASIFT: An Algorithm for Fully Affine Invariant Comparison這篇文章，作者提供了ASIFT的C++代碼和匹配算法，可以在ASIFT下載得到，我大概跑了一下里面的demo，相比與SIFT，ASIFT可以提取到很多的關(guān)鍵點，對旋轉(zhuǎn)等變換具有更好的不變性，不過缺點也很明顯，速度實在太慢，很難做到實時，所以要使用的話，一般應(yīng)用在對實時性不做要求的場合。我那個代碼里有OpenCV的實現(xiàn)，你也可以試一下其效果，該OpenCV代碼實現(xiàn)來源于OPENCV ASIFT C++ IMPLEMENTATION，OpenCV自帶其Python實現(xiàn)，使用比較方便，就是速度太慢，所以自己在圖像檢索在寫的項目中，也不打算用它了。

對于怎么將上面介紹的這些匹配方法應(yīng)用到圖像檢索重排中，后面會再做整理介紹，今天就到這里了，明天阿里筆試，亞歷山大。

from:?http://yongyuan.name/blog/SIFT(ASIFT)-Matching-with-RANSAC.html

總結(jié)

以上是生活随笔為你收集整理的SIFT(ASIFT) Matching with RANSAC的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。