如何降低遮挡对人脸识别的影响
劉東平
重慶工商大學，本科
謝遠倫
貴州大學，本科
言有三
畢業于中國科學院，計算機視覺方向從業者，有三工作室等創始人
作者 | 劉東平、謝遠倫、言有三
編輯 | 言有三
人臉識別技術都是基于人臉關鍵特征提取對比完成識別的，其中，特征的完整性是算法成敗的一個極為關鍵的因素，但是當受到外界干擾較多，外界的條件發生明顯變化的時候，由于傳統方法過于依賴明顯的、完整的圖像特征，一旦由于人臉發生遮擋，造成部分特征的消失，導致人臉圖像特征不完整時，這種算法就會失效，導致無法和庫中人臉信息進行對比。遮擋造成的人臉識別的困難主要體現在由遮擋所引發的特征損失、對準誤差和局部混疊等方面．
01
常見人臉遮擋方式【1】
引發面部遮擋的原因主要有三種：
1.1光線遮擋：由于不均勻的或極度強烈的外部光照所引起的遮擋。圖a
1.2實物遮擋：覆蓋在人臉上的物品，如帽子，眼鏡，圍巾等。圖b
1.3自遮擋：是由于人體姿勢導致的，如側臉。圖c
02
人臉遮擋對人臉識別的影響
下面我們看一組圖片：
通過眼睛我們很容易判斷上面一組圖片都是同一人。但是我們的人臉識別的應用能判斷出他們是同一人嗎？
接下來我們將把上面的圖片通過百度AI和騰訊AI進行對比
2.1百度AI對比結果
?
?
2.2騰訊AI對比結果
?
通過百度AI和騰訊AI我們可以看到遮擋對人臉驗證的結果影響非常大，特別是第四組圖，由于面紗的遮擋，騰訊AI判斷圖片中沒有人臉，但是同一組照片，百度AI卻給出了71.75%的相似度判定。這也說明了不同的算法，對遮擋處理的結果差別很大。
03
數據集
雖有很多的人臉數據集，但是專門用于人臉遮擋這個問題的卻很少。MAFA【3】是其中最大的，它包含30,811個無遮擋圖像和35,806個有遮擋圖像，包含各種方向和尺度的遮擋，數據集并未開源。
遮擋后的人臉，眼睛基本不會被遮擋的，需要眼睛看東西，所以還是相對穩定的特征點，下面是其中一個遮擋的例子。
04
人臉識別遮擋傳統方法【1】
主流的方法有：子空間回歸、魯棒誤差編碼與魯棒特征提取等三類。
4.1子空間回歸
?
?
子空間回歸方法將不同類別的人臉劃分為不同的子空間，遮擋是一個獨立的子空間，那么有遮擋的人臉圖像是不含遮擋的人臉與遮擋的疊加，就可以把有遮擋人臉圖像識別問題視作將無遮擋的人臉圖像和遮擋各自回歸到它們所屬的子空間的問題。
子空間回歸方法中最具代表性的方法是稀疏表示分類方法和協同表示分類方法，具體的細節，可以參考文獻【1】。子空間回歸方法的主要困難在于遮擋子空間的構建。
4.2魯棒誤差編碼
?
?
魯棒誤差編碼方法主要包括“加法模型”和“乘法模型”。 “加法模型”認為有遮擋圖像是原始的不含遮擋的人臉圖像與由遮擋引發的誤差ｅ的合成體，即y=y0+e，著重考慮如何將誤差ｅ從有y中分離出來。
“乘法模型”將有遮擋的圖像看成是無遮擋的y0與遮擋的拼接，并且只有y0可以精確重構。著重考慮如何分離其有遮擋區域和無遮擋區域，具體細節參考文獻【1】。
4.3魯棒特征提取
?
?
一幅人臉圖像所包含的特征通常極為豐富，既包括顏色、亮度、紋理、方向等低階特征，也包括姿態 、表情、年齡、人種等高階特征，魯棒的特征提取 方法就是需要對這些特征進行分解。比如Gabor特征是在多個尺度和多個方向上分解，屬性特征是分解為多個可描述的屬性。分解后，可以降低特征之間的相互干擾，從而為機器學習提供足夠精細的特征。
傳統的魯棒特征有代表性的比如梯度臉，以及將子空間學習引入深度學習的PCANet框架和將卷積神經網絡的卷積層引入經典的“特征圖－模式圖－柱狀圖”的特征提取框架FPH 框架。盡管并沒有對光照變化和遮擋做任何先驗性假設和顯式處理，甚至沒有用到大規模的訓練數據，PCANet的神經元響應卻對光照變化和遮擋等表現出了很強的魯棒性，關于更具體的細節請參考文獻【2】。
05
深度學習【3-4】
我們下面給大家介紹兩個思路。第一個，來源于【3】的思路，是嘗試對遮擋區域的特征進行修復。【4】的思路，是如何設計和使用Attention的機制去識別沒有被遮擋的人臉，這也是兩個基本的研究方向，下面分別做說明。
5.1 對遮擋區域進行恢復
上圖就是文【3】解決方案的框架。從上圖我們可以看出，包括3個模塊。
（1）Proposal Module人臉候選區域提取模塊，這就是三個卷積層加一個全連接層的基本結構，為了能夠召回更多的遮擋人臉，選擇了比較低的閾值生成了大量人臉候選區域。隨后使用VGGFace提取4096維的特征進行歸一化。我們可以知道，這個特征即含有有用信息也含有噪聲信息。
（2）Embedding Module 這個模塊主要實現對被遮擋的人臉特征恢復，抑制特征中的噪聲信息，它將Proposal?Module提取出來的描述子，采用LLE方法，轉化為相似度描述子。隨后，在一個利用了大量無遮擋人臉和遮擋人臉得到的特征池中利用knn尋找匹配。
（3）Verification Module 則可以利用被修復的人臉特征進行人臉區域驗證，對人臉位置和尺度進行微調。
5.2 基于attention的方法定位遮擋
?
通過合理的Anchor設置或者是合理的大感受野，我們可以隱式地學到遮擋區域的人臉，為了減少誤召回，可以考慮用segmentation或者是attention的機制去處理。
上面就是它的基本結構，借鑒于RetinaNet。首先通過FPN結構提出特征，然后會另開一支去學習attention，之后對attention做一個E指數的操作乘到原來的feature map上，加強可見區域信息。后面是一個類似于fast R-CNN兩支操作：一支做classification，一支做regression。 Anchor setting設置可以保證每個人臉都有足夠的感受野以及足夠的context信息。底下這個attention的subnet，它可以通過有監督的信息，學到visible的information，也就能提高對遮擋物體檢測的能力。一些該文的細節，包括以下：
Anchor setting
文章中先統計了一下Wider face數據集，發現大概80%以上的人臉其實都是集中在16 pixel到406 pixel這樣的量級上面，還有約10%的量級是在8pixel到16pixel，如下圖：
要考慮到如何讓anchor去覆蓋這么大的一個區域，他們選擇了1和1:1.5，其實是潛在地考慮了正臉和側臉情況。與傳統的每一層只有一個anchor的鋪設方式不同，采用每層3個scale，以2 ^ -1/3 步進。
attention整體框架
采用將bounding box的區域填1，直接作segmentation去學的思路。由于大量的ground truth是沒有遮擋的，當發生遮擋時，最后學出來的segmentation會對于這些未遮擋的信息更加敏感。另外在attention網絡里面，做完attention之后，不是簡單的點乘到原來的feature map上面，而是先做了一個E指數的操作，再去點乘到feature map上面。這樣做就不是只保留attention高量的部分，而是對高量的部分做一些增強，這樣能夠很好地保留它原有的context信息，同時也能夠突出它自身那個可見區域的信息。
這是一個有監督的attention結構，對不同的層賦予不同的anchor level的監督信息。
除了以上兩條思路外，還有一些其他的方案，不再一一展開。
06
解決人臉遮擋的現實意義
6.1 提升門禁系統識別準確率，方便人們的生活
受安全保護的地區可以通過人臉識別辨識試圖進入者的身份。人臉識別系統可用于企業、住宅安全和管理。如人臉識別門禁考勤系統，人臉識別防盜門等。門禁系統采用網絡信息加密傳輸，支持遠程進行控制和管理，可廣泛應用于銀行、軍隊、公檢法、智能樓宇等重點區域的門禁安全控制，但是參與這些活動的人，其面部特征并不都是標準完整的。在面部特征不完整的情況下，也能對其進行精準的識別，將會極大的提高工作效率和用戶體驗。
6.2 增強身份識別
可在機場、體育場、超級市場等公共場所對人群進行監視，例如在機場安裝監視系統以防止恐怖分子登機。在恐怖分子有偽裝的情況下，例如戴口罩、墨鏡、帽子等，如果人臉識別技術能對遮擋部分進行補全，就可以在機場或車站安裝系統以抓捕在逃案犯。
參考文獻：
[1]?李小薪、梁榮華有遮擋人臉識別綜述：從子空間回歸到深度學習
[2] Chan T H, Jia K, Gao S, et al. PCANet: A simple deep learning baseline for image classification?[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5017-5032.
[3]Ge S, Li J, Ye Q, et al. Detecting masked faces in the wild with lle-cnns[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017: 2682-2690.
[4]Wang J, Yuan Y, Yu G. Face Attention Network: An effective Face Detector for the Occluded Faces[J]. arXiv preprint arXiv:1711.07246, 2017.
[5]?https://github.com/polarisZhao/awesome-face
更多，歡迎到知乎專欄去投稿與交流，配套資料將放出在github，可掃描二維碼進入。
打一個小廣告，我的計算機視覺公開課《AI 圖像識別項目從入門到上線》上線了，將講述從零基礎到完成一個實際的項目到微信小程序上線的整個流程，歡迎交流捧場。
如果想加入我們，后臺留言吧
微信
Longlongtogo
公眾號內容
1 圖像基礎｜2 深度學習｜3 行業信息
往期綜述
【技術綜述】一文道盡softmax loss及其變種
【技術綜述】計算機審美，學的怎么樣了？
【技術綜述】深度學習自動構圖研究報告
往期開源框架
[caffe解讀] caffe從數學公式到代碼實現4-認識caffe自帶的7大loss
【開源框架】從Google百度到微博，優酷騰訊到抖音，這些爬蟲你用過了嗎？
【開源框架】一文道盡主流開源框架中的數據增強
往期學員分享
【技術綜述】人臉表情識別研究
【技術綜述】人臉臉型分類研究現狀
【技術綜述】人臉顏值研究綜述
【模型解讀】從LeNet到VGG，看卷積+池化串聯的網絡結構
【模型解讀】network in network中的1*1卷積，你懂了嗎
【模型解讀】GoogLeNet中的inception結構，你看懂了嗎
往期行業綜述
【行業進展】國內自動駕駛發展的怎么樣了？
【行業進展】AI：新藥研發的新紀元
【行業進展】哪些公司在搞“新零售”
總結
以上是生活随笔為你收集整理的如何降低遮挡对人脸识别的影响的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【行业进展】国内自动驾驶发展的怎么样了？
- 下一篇： 【行业进展】谷歌4大AI黑科技部门，你可