虹膜识别论文2:An Experimental Study of Deep Convolutional Features For Iris Recognition 2016年 学习心得
翻譯:
An Experimental Study of Deep Convolutional Features For Iris Recognition
深度卷積特征用于虹膜識別的實驗研究 2016年
ABSTRACT
Iris是一種廣泛應用于身份認證的生物識別技術。虹膜識別是一種新型的識別方法。它們中的大多數都是基于生物識別專家設計的手工特征。由于深度學習在計算機視覺問題上的巨大成功,人們對將卷積神經網絡在一般圖像識別中學習到的特征應用于分割、人臉識別和目標檢測等其他任務產生了濃厚的興趣。本文研究了vgg- net中提取的深度特征在虹膜識別中的應用。該方法在兩個著名的虹膜數據庫上進行了測試,得到了良好的結果,準確率達到了99.4%,超過了之前的最佳結果。
1 INTRODUCTION
為了使應用程序更個人化或更安全,我們需要能夠將每個人與其他所有人區分開來。生物特征是一種流行的身份驗證方式,除了需要的人自己,任何人都不能模仿它。許多工作圍繞著識別和驗證生物特征數據,包括但不限于面部、指紋、虹膜模式和掌紋[1]-[4]。虹膜識別系統廣泛應用于保安應用,因為它包含豐富的特征,而且不會隨時間而發生重大變化。
虹膜識別在過去已經有很多算法。早期的算法之一是由John Daugman開發的,使用了2D Gabor小波變換[5]。在最近的一項工作中,Kumar[6]提出使用基于Haar小波、DCT和FFT的特征組合來實現高精度。在[7]中,Farouk提出了一種利用彈性圖匹配和Gabor小波的方案。每個虹膜被表示為一個標記圖,并定義一個相似度函數來比較兩個圖。在[8]中,Belcher使用了基于區域的SIFT描述子進行虹膜識別,取得了較好的效果。Pillai[9]提出了一種基于隨機投影和稀疏表示的統一框架來實現魯棒和精確的虹膜匹配。Minaee在最近的工作[10]中提出了一種基于紋理和散射變換特征的算法,與之前的算法相比,該算法獲得了較高的準確率。這種方法也從多層表示中提取特征,但使用預定義的過濾器。讀者參考[3]對虹膜識別的全面調查。
在大多數虹膜識別工作中,首先對虹膜區域進行分割,然后將其映射到極坐標下的矩形區域。然后,從該區域提取特征。大多數這些特性都是手工制作的,可以很好地用于特定類型的數據或生物識別。傳統方法的主要問題是,它們需要進行大量的預處理和參數調優,才能在給定數據集上正常工作,而且它們在其他生物特征數據集甚至是相同生物特征的不同數據集上的效率無法保證。為了克服這個問題,在過去的幾年里,我們做了很多努力來學習一些可以在許多任務中轉移的通用特性。沿著這個方向,深度神經網絡已經在各種數據集上取得了最先進的結果,最著名的是AlexNet[11],它是在ImageNet競賽(包含大約120萬手動標記圖像1000個類別)[15]上訓練的。在深度學習框架中,將圖像作為多層神經網絡的輸入,由神經網絡找出最佳的像素組合方式,以最大限度地提高識別精度。在[16]中,通過實驗研究表明,通過訓練深度網絡進行圖像識別所獲得的特征可以轉移到其他任務和數據集中,并取得了顯著的性能。從那時起,不同網絡的特征,如alexnet, ZF-Net, vggnet和resnet[11]-[14]被用于各種任務,如紋理合成,目標檢測和圖像分割。
在這項工作中,我們探索了利用vggn - net提取的深度特征在虹膜識別中的應用。我們將經過訓練的模型作為一個特征提取引擎,用于虹膜圖像的特征提取,不進行任何微調,看看一般特征是否適用于生物特征識別。然后利用主成分分析對特征進行降維,再利用多類支持向量機進行識別。我們對CASIA 1000虹膜數據集[38]和IIT虹膜數據集[39]進行了廣泛的實驗研究。CASIA-1000數據集的四張虹膜樣本圖像如圖1所示。(本文的工作重點,試探性的工作)
值得一提的是,在我們的框架中,我們跳過了分割步驟,以查看這些特性對類內部變化的健壯性,盡管在CASIA-1000數據集存在很多變化,該算法取得了很高的準確率。
有趣的是,雖然vgg- net被訓練用來對不同類別的物體進行分類,但是該網絡的CNN特征對于虹膜識別的效果還不錯,即對不同主體的虹膜圖像進行分類(即所有圖像都屬于同一個物體類別,這里是指虹膜)。
2. FEATURES
在許多計算機視覺和目標識別算法中,提取好的特征和圖像描述符是一個非常重要的步驟。在過去的幾年里,人們設計了許多特征,這些特征對許多圖像類別都提供了很好的表達,例如:尺度不變特征變換(SIFT)、梯度方向直方圖(HOG)和單詞包(BoW)[17]-[19]。這些特征大多是由計算機視覺專家設計的,通常被稱為手工制作的特征。不同的應用程序,如醫學圖像分析[20]-[21],可能使用一組非常不同的手工制作的特性。最近,特征學習算法和多層表示引起了人們的廣泛關注,其中最著名的是卷積神經網絡[22],它將圖像直接作為輸入輸入到深度神經網絡中,算法本身從圖像中找到最佳的特征集。在過去的幾年中,基于卷積神經網絡的Deep architecture在許多計算機視覺基準中取得了最先進的結果,包括AlexNet、ZF-Net、GoogLeNet、vgg.net和ResNet,在2012年和2015年ImageNet競賽中取得了很好的結果。從這些網絡的特性顯示被轉移到其他數據集和任務[16],這意味著訓練網絡ImageNet圖像用于從其他數據集,然后提取特征分類器訓練的這些特性在其他數據集進行識別,如Caltech101或Caltech256。它們還被廣泛用于其他計算機視覺任務,如分割、目標跟蹤、紋理合成、著色和超分辨率[23]-[26]。
這將是有趣的分析的應用深度訓練一個事先學習的特性,對虹膜識別的問題,這是不同于物體識別,目標是不區分不同類型的對象,但區分屬于不同的人相同的圖像。(區分這個虹膜是誰的問題,而不是判斷是不是像imagenet那樣,判斷屬于哪個物體)在本研究中,我們將從vgg- net中提取的深度特征應用于虹膜識別,這是迄今為止我們所知還沒有研究過的。在這里,我們對vgg.net做一個快速的概述。
2.1. VGG-Net Architectur
vgg.net是ILSVRC 2014 (ImageNet大型視覺識別比賽)的亞軍,由Karen Simonyan和Andrew Zisserman[13]提出。圖2顯示了vgg.net的總體架構。它表明,網絡的深度是良好性能的關鍵組成部分。他們的最終最佳網絡包含16個CONV/FC層和5個池化層。總的來說,它有大約1.38億個參數(其中大部分位于FC第一層,權重大小為102M)。VGGNet的一個優點是它的均勻架構非常好(看著堆疊的很整潔的意思),它只執行3x3卷積其中stride 為1和pad為 1,從網絡開始到結束只執行2x2池化操作(沒有填充)。
讀者可以參考[13]和[36],以獲得關于該網絡各層的架構和參數數量的更多細節。我們從該網絡的不同層次提取特征,并評估其虹膜識別性能。
我們進一步對深層特征進行PCA[27]來降低其維數,并對不同維數的特征進行性能評估。(用vgg提取特征有很多參數,所以需要pca主成分分析法,提取斜向量上最有用的前幾個向量作為主要向量,代替數據。)
2.2. Alternative Hierarchical Representation With Pre-defined Filters 預定義過濾器的可選層次結構表示
我們想要提到的是,還有其他類型的深層架構,它們不學習過濾器,而是使用預定義的權重。分散卷積網絡是將信號分解成不同尺度和不同方向的多層網絡。然后從每幅變換圖像中提取一些統計特征,并將所有變換圖像中的特征串聯起來,形成整體的特征表示。散射網絡在過去的[29]-[31]中也被用于生物特征識別。為了說明這個網絡是如何工作的,第二層散射網絡對虹膜樣本圖像的輸出如圖3所示。可以看到,每幅圖像都包含了沿某一方向、某一尺度的邊緣信息。然而,由于過濾器不是后天習得的,而且在不同的任務中是固定的,因此這種架構可能不是一些視覺應用程序的最佳架構。然而,在訓練數據量非常有限,不足以訓練和卷積神經網絡的情況下,它們可能非常有用。(就是把虹膜歸一化的圖像在某些卷積層后輸出,計算機看見的圖像就是長這樣的特征圖)
3. RECOGNITION ALGORITHM 識別算法
特征提取后,需要一個分類器為每幅測試圖像找到對應的標簽。有各種分類器可以用于這個任務,包括softmax回歸(或多項式邏輯回歸),支持向量機[32]和神經網絡[33]。在本研究中,我們使用了圖像分類中比較流行的多類支持向量機。本文簡要介紹了支持向量機的二值分類方法。有關多類設置和非線性版本的進一步細節和擴展,請讀者參閱[34]和[35]。假設我們要分離訓練數據集(x1, y1), (x2, y2),…, (xn, yn)分為兩個類,其中xi∈Rdis特征向量,yi∈{?1,+1}為類標簽。假設這兩個類是線性可分的,我們可以用超平面w將它們分離。x + b = 0。在超平面的所有可能選擇中,支持向量機找出邊際最大的超平面。最大邊緣超平面可以通過以下優化問題得到:
上述優化為凸優化,可以用凸優化技術求解。一種常用的方法是引入拉格朗日乘子- i來解決對偶問題,從而得到一個分類器f(x) = sign(Pn i=1 reiyiw)。(x + b),其中采用支持向量機學習算法計算出各點的值。支持向量機還有一個軟邊界版本,允許錯誤標記的例子。為了對一組有M個類的數據進行多類支持向量機測試,我們可以訓練M個二值分類器,這些二值分類器可以區分每一個類和所有其他類,并選擇能夠分類到最大邊際的測試樣本的類。在另一種方法中,我們可以訓練一組?二進制分類器,每個分類器從另一個分類器中分離一個類,然后選擇被大多數分類器選擇的類。支持向量機用于多類分類的方法還有很多。
4. EXPERIMENTAL RESULTS AND ANALYSIS
在本節中,我們將提供實驗結果的詳細描述。在給出結果之前,讓我們先描述一下算法的參數值。對于每一張圖像,我們從vggnet的不同層、fc6和之前的一些層中提取特征。fc6層的輸出是一個4096維的向量,但在之前的層中,我們有256/512個不同大小的濾波器輸出。我們取每個濾波器輸出的平均值,從每一層形成一個特征向量,以評估從不同層提取的特征的性能。對于SVM,我們使用LIBSVM庫[41],使用線性核函數,代價C = 1。
我們已經在兩個iris數據庫(CASIA-Iris-1000和印度理工學院德里分校)上測試了我們的算法。CASIA-Iris-1000包含了來自1000名受試者的20000張虹膜圖像,這些虹膜圖像是使用ikcam -100相機[38]采集的。CASIA-Iris-1000中階級內部變化的主要來源是眼鏡和鏡面反射。印度理工學院德里數據庫包含2240張虹膜圖像,這些圖像來自224個不同的人。這些圖像的分辨率為320x240像素[39]。我們將所有圖像的大小調整為224x224,以適合vggnet輸入。
對于每個人來說,大約一半的圖像用于訓練,剩下的用于測試。我們首先評估fc6層特征的識別精度。首先將主成分分析應用于所有特征,評估不同數量的主成分分析特征的識別精度。圖4和圖5分別顯示了使用不同數量的PCA特征對IIT德里和CASIA數據集的識別準確率。有趣的是,即使使用很少的PCA特征,我們也能得到非常高的準確率。可以看出,使用100個PCA特征,對IIT數據庫的準確率達到98%以上,而使用更多的PCA特征,準確率僅提高1%左右。
在另一個實驗中,我們評估了從vggnet不同層提取的深層特征的性能。為了進行公平的比較,我們將每一層的特征數限制為256個(如果有的層有超過256個輸出過濾器,選取前256個)。圖6顯示了在印度理工學院德里數據庫上使用vgg.net不同層次的特征所取得的識別準確率。
可以看出,在第7層之后的任意一層中提取特征,準確率都可以達到98%以上。利用第10層的特征,識別準確率達到高峰,然后下降。一個可能的原因是,通過進入深度網絡的更高層次,他們開始捕獲更抽象、更高層次的信息,這些信息對不同的虹膜模式沒有太大區別,而前一層的中層特征對同類識別有更強的區別能力。(這結論有點像我第一篇虹膜識別那個論文的結論。。)
我們還評估了該方案對用于訓練的訓練樣本數量的魯棒性。我們將每個人的訓練樣本數量從1到5(10個樣本中的一個)進行變化,并找到識別的準確性。圖7顯示了該算法對于不同訓練樣本的IIT數據庫的準確率。可以看出,10個樣本中使用3個樣本的識別準確率比使用1個或2個樣本的識別準確率有較大的提高,并且通過增加訓練樣本的數量,識別準確率保持相對不變。
表1給出了在IIT數據庫上所提出的方案和其他最近的算法的性能比較。**散射變換方案[**10]也使用了多層表示,并取得了很高的準確率。通過使用深度特征,我們能夠在該數據集上達到最高的準確率。這主要是由于深度特征的豐富性,能夠捕獲手工制作特征中丟失的許多信息,從而提供非常高的識別能力。該方法的一個主要優點是不需要將虹膜從眼部圖像中分割出來,但是對于一些困難的情況,分割可以提高結果。
實驗使用MATLAB 2015在alaptopwithCorei5CPUrunningat2.2GHz上進行。為了增強特性,MatConvNet包用于從vgg.net[40]中提取特性。
5. CONCLUSION
在這項工作中,我們評估了深度特征的應用,從vgg.net提取,然后是一個簡單的分類算法的虹膜識別問題。深層特征這些年來一直是關注的中心,并被用于許多不同的應用。雖然在本工作中使用的原始卷積網絡是針對一個非常不同的任務(對象識別)進行訓練的,但可以證明特征可以很好地轉移到生物特征識別中。該算法在兩個著名的數據集上進行了測試,取得了良好的效果,并在其中一個數據庫上取得了較好的效果。我們想指出的是,之前的大多數虹膜識別算法都涉及大量的預處理和參數調優,但在我們的框架中,沒有進行預處理和架構優化。這一結果可以通過訓練一個專門用于虹膜識別的深度網絡來進一步提高,這有待于進一步的研究。
本文總結:作者證明了 vgg可以用于提取虹膜特征,也就是說這些深度學習的網絡架構 不光可以用在imagenet上,也可以適用于虹膜識別的分類上。作者提出的新的vgg提取特征,然后pca降低維度,然后訓練svm分類。
PS:個人理解,如有錯誤,還請賜教指出來改正,大家共同進步。
(完結!!)
總結
以上是生活随笔為你收集整理的虹膜识别论文2:An Experimental Study of Deep Convolutional Features For Iris Recognition 2016年 学习心得的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 多维tensor/numpy array
- 下一篇: 需求分析挑战之旅(疯狂的订餐系统)(7)