目錄

1、圖像模式匹配概念

2、影響圖像模式匹配的因素

3、灰度匹配

4、幾何匹配

5、黃金模板比較

---

圖像模式匹配是指通過分析模板圖像和目標圖像中灰度、邊緣、外形結(jié)構(gòu)以及對應(yīng)關(guān)系等特征的相似性和一致性，從目標圖像中尋找與模板圖像相同或相似區(qū)域的過程。圖像模式匹配是機器視覺系統(tǒng)最重要的功能之一，基于它可以實現(xiàn)目標對準、測量、檢測以及分類等應(yīng)用。?

1、圖像模式匹配概念

圖像的模式匹配過程一般包括學(xué)習(xí)（Learning）和匹配（Matching）兩個階段。在學(xué)習(xí)階段，算法會從模板圖像中提取用于進行圖像匹配的特征信息，并將它們以便于搜索的方式存放在模板圖像中以備后用。在圖像匹配階段，算法從被測目標圖像中提取同類型的特征信息，分析它們與模板圖像中特征信息的相似性和一致性，以確定目標圖像中與模板圖像相匹配的區(qū)域。圖像匹配過程一般以模板圖像和被測的目標圖像作為輸入，輸出匹配目標的數(shù)量、位置、角度相對于模板的縮放比例，以及用得分值表示的與模板圖像之間的相似程度。

根據(jù)所基于的特征模式不同，圖像模式匹配可分為灰度匹配、幾何匹配和色彩匹配幾大類，在本章中僅講解灰度匹配和幾何匹配。

• 圖像的灰度匹配（Grayscale Matching）以像素灰度或灰度梯度信息為特征，通過計算模板圖像與目標圖像區(qū)域之間的歸一化的互相關(guān)值（Normalized Cross-Correlation）來確定匹配區(qū)域。
• 幾何匹配（Geometric Matching）又可分為基于邊緣曲線（Edge Based）的幾何匹配和基于目標外形特征(Feature Based）的幾何匹配兩大類?；谶吘壡€的幾何匹配使用圖像中邊緣曲線上每個像素點的梯度角度和像素相對模板中心的位置，實現(xiàn)圖像的模式匹配過程。基于目標外形特征的幾何匹配則先從圖像中的邊緣曲線中提取角點、線段、矩形、圓形或橢圓等幾何形狀，然后再基于這些幾何形狀進行圖像匹配。

下圖對幾類圖像模式匹配過程的典型應(yīng)用、算法、優(yōu)缺點以及常見輸出進行了匯總。其中也會紹圖像的灰度匹配和幾何匹配技術(shù)，色彩匹配將在后文再進行詳細介紹。

2、影響圖像模式匹配的因素

要使機器視覺系統(tǒng)的圖像模式匹配過程具有實用性，必須設(shè)法使模式匹配過程對以下幾種環(huán)境仍能保持相對一致的計算結(jié)果。

1、平移和旋轉(zhuǎn)

機器視覺系統(tǒng)的被測目標不一定都固定在視場內(nèi)某一位置，而是可能在視場內(nèi)平移或旋轉(zhuǎn)。圖像模式匹配算法應(yīng)仍具有平移不變性（Shift-Invariant）或旋轉(zhuǎn)不變性（RotateIlnvariant）。也就是說，即使被測目標在視場內(nèi)有平移或旋轉(zhuǎn)，算法也能準確匹配圖像中的被測目標，并返回其位置和相對模板圖像的旋轉(zhuǎn)角度。

2、尺度變化

圖像模式匹配算法應(yīng)仍具有尺度不變性（Scale-Invariant）。當被測目標的尺寸在機器視覺系統(tǒng)采集到的多個圖像中不固定時，算法應(yīng)能對多個圖像具有相對一致的匹配結(jié)果，并返回匹配目標相對于模板圖像的縮放比例。

3、目標交疊

圖像模式匹配算法應(yīng)具有對交疊（Partial Occlusion）目標檢測的能力，當被測目標之間有相互覆蓋的情況時，算法應(yīng)仍能正確匹配到目標，并返回被覆蓋部分占整個目標的比例。下圖給出了一個圖像中被測目標旋轉(zhuǎn)、縮放及交疊的例子。

4、光源強度線性或非線性變化

圖像模式匹配算法應(yīng)對光源強度線性或非線性變化保持不變性。當機器視覺系統(tǒng)的光源強度整體變暗或變亮（圖像整體變暗或變亮），或視場中的光強呈非線性變化（圖像中各部分亮度不同）時，算法仍能獲得相對一致的匹配結(jié)果。下圖顯示了光源強度線性變化和非線性變化時對機器視覺系統(tǒng)所采集圖像的影響。

5、噪聲和模糊目標

圖像模式匹配過程在圖像中含有噪聲或者被測目標模糊不清時，仍能準確匹配被測目標。例如對于下圖（b）和（c）中的噪聲圖像和模糊目標，算法應(yīng)仍能正確從中匹配模板圖像所示的電路板一角。

3、灰度匹配

之前博文講到，圖像的灰度匹配過程以像素灰度或灰度梯度信息為特征，通過計算模板圖像與目標圖像區(qū)域之間的歸一化的互相關(guān)值（Normalized Cross-Correlation）來確定匹配區(qū)域。

常見的圖像灰度匹配方法包括金字塔匹配法（Pyramidal Matching）和低差異采樣匹配法（Low Discrepancy Sampling，LDS）兩大類，其中金字塔匹配法又可分為基于灰度（Grayscale Based）的金字塔匹配法和基于閾值過濾梯度（GradientsBased）的金字塔匹配法兩種。

下圖對幾種圖像灰度匹配方法的特征、匹配條件和策略以及優(yōu)缺點進行了匯總：

?Nl Vision使用位于LabVIEW的視覺與運動→Machine Vision→Searching andMatching函數(shù)選板中的IMAQ Learn Pattern 4和位于Machine Vision→Find Patterns函數(shù)選板中的IMAQ Find Pattern 4封裝了上述3種圖像灰度匹配方法。?

其中，IMAQ Learn Pattern 4用于對模板進行學(xué)習(xí)，IMAQ Match Pattern 4用于進行模板匹配，如下圖所示：

函數(shù)說明及使用可參見幫助手冊：?

4、幾何匹配

圖像灰度匹配具有平移不變性，且能將旋轉(zhuǎn)不變性和實時性提高到實際應(yīng)用可接受的范圍，但是它卻不支持尺度不變性。與圖像的灰度匹配不同，圖像的幾何匹配過程以被測目標的邊緣輪廓或其幾何外形作為特征，通過比較模板圖像與目標圖像中這些特征的差異來確定匹配區(qū)域。而被測目標的幾何外形是綜合角點、線段、矩形、圓形或橢圓等邊緣曲線對目標的抽象描述。相對于灰度匹配來說，幾何匹配具有平移/旋轉(zhuǎn)不變性、尺度不變性、重疊不變性、線性或非線性光源變化不變性、對比度反轉(zhuǎn)不變性以及抗噪性強等優(yōu)點。

圖像幾何匹配分為基于邊緣曲線的幾何匹配和基于目標外形特征的幾何匹配兩種，兩種方法均以邊緣曲線提取（Curve Extraction）為基礎(chǔ)。

基于邊緣曲線的幾何匹配對于對檢測目標的形狀沒有要求，只要從目標圖像中檢測到的邊緣能重現(xiàn)模板中的邊緣即可。但是，基于邊緣曲線的幾何匹配計算量較大，而且計算過程需要占用較大內(nèi)存，尤其在需要支持圖像縮放和旋轉(zhuǎn)時，顯得速度較慢。

基于目標外形特征的幾何匹配方法在從圖像中提取到邊緣曲線后，會先從圖像中學(xué)習(xí)各種抽象層次較高的幾何特征。學(xué)習(xí)過程對每個邊緣曲線進行多邊形近似擬合，并用可歸類到所擬合多邊形的邊緣線段構(gòu)建完整的多邊形。這就會生成各種線性或拐角特征，而基于這些特征可進一步構(gòu)建抽象層次更高的矩形目標輪廓。那些不能近似擬合為多邊形或直線的邊緣曲線或線段則用來創(chuàng)建圓形或橢圓特征。在得到各種抽象層次較高的矩形、圓形或橢圓特征后，算法會根據(jù)特征的類型、強度和明顯程度（Saliency）對特征進行排序，并選取最佳特征作為代表模板的特征。用于排序的特征類型包括矩形、圓形（或橢圓）、線段和拐角。而強度是特征對幾何形狀描述的精確程度，明顯程度則用來描述特征是否具有代表性。

特征提取和排序過程后，是模板模型（Template Model）的構(gòu)建過程。算法根據(jù)各種特征之間的空間關(guān)系，使用空間距離向量來描述它們在圖像中的分布，抽象出代表模板的模型。利用模板模型，可以在圖像匹配過程中對匹配區(qū)域進行驗證。下圖給出了一個幾何特征提取的示例及檢測到的特征分布。

在實際應(yīng)用中，若發(fā)現(xiàn)機器視覺系統(tǒng)的被測目標可由矩形、圓形、橢圓、線段或拐角等明顯幾何形狀來表示，則可以使用基于目標外形特征的幾何匹配方法來提高匹配過程的實時性。下圖對兩種圖像幾何匹配方法使用的特征、匹配過程及優(yōu)缺點進行了匯總。

NI Vision使用位于LabVIEW的視覺與運動→Machine Vision→Searching and Matching函數(shù)選板中的IMAQ Setup Learn Geometric Pattern 2、IMAQ Learn Geometric Pattern 2和IMAQ Setup Match Geometric Pattern 2、IMAQ MatchGeometric Pattern 2以及Geometric Matching Advanced (Edge Based）子選板中的IMAQ Advanced Setup Learn Geometric Pattern 2和IMAQ Advanced SetupMatch Geometric Pattern 2來實現(xiàn)基于邊緣曲線的幾何匹配過程?；谀繕送庑翁卣鞯膸缀纹ヅ溥^程由Geometric Pattern Matching（Feature Based）子選板及其Geometric Matching Advanced （Feature Based）子選板中的VI來實現(xiàn)。

這兩種匹配方法的學(xué)習(xí)和匹配過程，均先使用參數(shù)設(shè)置VI對算法進行配置，然后才使用配置參數(shù)調(diào)用VI完成學(xué)習(xí)或匹配過程，具體使用技巧各位可參見說明手冊，這里不再贅述。

5、黃金模板比較

在工業(yè)環(huán)境下，如果圖像背景可控，將圖像的減法運算和閾值化處理結(jié)合，可以快速有效地建立機器視覺系統(tǒng)。如果將同一目標在不同時間拍攝的圖像或在不同波段的圖像相減，即可獲得圖像的差影。圖像差影可用于動態(tài)監(jiān)測、運動目標的檢測和跟蹤、圖像背景的消除及目標識別等。差影技術(shù)還可以用于消除圖像中不必要的疊加圖像，將混合圖像中重要的信息分離出來。

使用圖像減法運算進行缺陷檢測的原理較為簡單，但要直接使用它進行缺陷檢測，參與運算的圖像需要具備以下條件。

• 目標圖像和模板圖像中的被測件圖像尺寸相同；
• 目標圖像和模板圖像中的被測件圖像準確對準；
• 目標圖像中的被測件相對于模板圖像不存在畸變或畸變已經(jīng)被矯正；
• 目標圖像和模板圖像中的被測件圖像不存在整體灰度差異；
• 其他噪聲的影響應(yīng)提前被消除。

這些條件使得直接減法運算很難解決現(xiàn)實世界中的實際問題。例如，在下圖所示的硬盤機械針劃傷檢測實例中，模板圖像和故障圖像中的硬盤針圖像不僅尺寸相同，可準確對準，整體上不存在灰度差異，且無畸變，因此可以直接通過圖像減法獲得缺陷圖像。但是現(xiàn)實中，任何圖像錯位、圖像畸變、圖像灰度變化或噪聲，都會影響圖像減法運算進行缺陷檢測的結(jié)果。

?由此可見，要使用圖像減法運算在實際工業(yè)環(huán)境中進行缺陷檢測，除了要確保被測件尺度不變外，還需要事先設(shè)法矯正圖像畸變，對準被測件圖像，盡量消除整體灰度差異和噪聲對圖像減法運算結(jié)果的影響。

黃金模板比較（Golden Template Comparison）正是基于圖像減法運算，綜合應(yīng)用圖像對準、投影畸變矯正、灰度差異處理以及忽略部分邊緣等措施，在實際工業(yè)環(huán)境中進行目標缺陷檢測的一種方法。下圖匯總了黃金模板比較法的原理、輸出結(jié)果以及為提高算法實用性在圖像減法運算的基礎(chǔ)上所采取的優(yōu)化措施。

?模板和目標圖像的對準對黃金模板比較法的正常執(zhí)行至關(guān)重要，未對準的圖像進行減法運算的結(jié)果會產(chǎn)生差影。例如，在下圖所示的某微光瞄準鏡缺陷檢測實例中，若采集到的瞄準鏡視場發(fā)生了偏移，則通過減法運算得到的結(jié)果中不僅包含缺陷點，還包含圖像的差影，而且差影還占了主要部分。

?Nl Vision使用位于LabVIEW的視覺與運動→Machine Vision→Inspection函數(shù)選板中的IMAQ Learn Golden Template和IMAQ Compare Golden Template來實現(xiàn)圖像的黃金模板比較過程。其中IMAQ Learn Golden Template用于在程序運行時創(chuàng)建黃金模板，IMAQ Compare Golden Template用于綜合各種措施對目標圖像和模板進行比較，如下圖所示：

?函數(shù)說明及使用可參見幫助手冊：?

總結(jié)

以上是生活随笔為你收集整理的LabVIEW图像模式匹配（基础篇—11）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。