專訪DeepID發明者孫祎：關于深度學習與人臉算法的深層思考

發表于2015-11-18 09:51 作者周建丁

CNN卷積神經網絡DeepID人臉算法深度學習孫祎Linkface 摘要：DeepID人臉算法發明者、人臉識別創業公司Linkface研究員孫祎深度解讀DeepID的研發心得，人臉識別應用的現狀、難點與未來，深度學習的實踐經驗等問題。

人臉識別是近兩年計算機視覺領域創業熱潮中的一個熱門方向，DeepID是這股熱潮中不可忽視的一種人臉算法。針對DeepID的研發心得，人臉識別應用的現狀、難點與未來，深度學習的實踐經驗等問題，CSDN記者近日采訪了DeepID人臉算法發明者孫祎。

孫祎先后就讀于清華大學、香港中文大學，2013年在CVPR上發表了用深度學習做面部特征點檢測最早的論文。隨后陸續發表了四篇在人臉識別領域有影響力的論文（ICCV’13，CVPR’14，NIPS’14，CVPR’15），使深度學習方法的人臉識別準確率遠遠超過了人眼的準確率。

孫祎所提出的方法已被學術界和工業界廣泛采用，他本人目前也是 人臉識別創業公司Linkface的一名研究員，專注于算法創新與實際應用的結合。孫祎團隊研發的技術和產品已經在當今備受關注的互聯網金融領域被應用于“人臉在線身份認證”，讓用戶無需面簽即可通過人臉識別在手機端認證身份，繼而開戶、轉賬、借貸，這項身份認證服務已達到了百萬級/天的調用量。

DeepID人臉算法發明者、Linkface公司研究員孫祎

結緣深度學習與人臉算法

CSDN：首先請介紹一下您自己。

孫祎：我現在在人臉識別科技公司Linkface擔任研究員。我開始做研究的啟蒙導師是微軟亞洲研究院的孫劍研究員。大四在微軟亞洲研究院實習的時候開始接觸卷積神經網絡，這也是目前計算機視覺領域應用最廣的深度學習模型。但在當時了解它的人還很少。我的第一個研究工作是用卷積神經網絡進行面部特征點檢測。在微軟的實習期結束之后，我來到了香港中文大學讀博士，導師是湯曉鷗教授和王曉剛教授。在中大，我把面部特征點檢測的工作整理成了論文，發表于CVPR’13，這也是用深度學習做面部特征點檢測最早的論文。

后來我將卷積神經網絡應用于人臉識別領域。此前的積累讓我后來的研究比順利，先后發表了四篇在人臉識別領域比較有影響力的論文（ICCV’13，CVPR’14，NIPS’14，CVPR’15）。其中后三篇論文都在當時取得了LFW/YouTube Face人臉識別測試集上的最好結果，極大地提高了人臉識別的準確率，使深度學習方法遠遠超過了人眼以及非深度學習方法在人臉識別上的準確率。這些工作是使用深度學習進行人臉識別的開創性的工作。我和導師共同提出了通過大規模人臉分類以及人臉對之間的度量學習訓練用于人臉識別的深度神經網絡的方法，這種方法已經被學術界和工業界廣泛采用。

CSDN：您當初為什么會選擇人臉識別技術方向？這項技術研發的主要挑戰有哪些？

孫祎：我在做人臉識別之前是研究用卷積神經網絡做面部特征點檢測的。因此對卷積神經網絡已經比較熟悉了。當時對于LFW上的人臉比對有一個特別直接的用卷積網絡實現的想法，就是將兩張人臉圖片作為不同的通道輸入給卷積網絡，然后讓它做一個二分類問題，判斷這兩張人臉是不是同一個人。這個想法雖然簡單，但是在我初次嘗試時就達到了大約85%的人臉比對準確率。這使我看到了用深度學習的方法做人臉識別的希望。我的第一篇人臉識別的論文就是從這個最簡單的想法出發做成的。

人臉識別的困難在于人臉圖片較大的類內變化和較小的類間差異。由于人臉的角度、光照、表情、年齡、化妝、遮擋、圖片質量等等變化，同一個人的不同人臉圖片具有很大差異。同時，隨著待識別的人數的增加、出現長得比較像的人的概率增加等情況逐漸增多，如何讓計算機在較大的類內變化的干擾下依然能夠辨識到可能比較微弱的類間變化，是人臉識別的主要挑戰。

CSDN：能否介紹選擇在Linkface主要負責的工作，以及加入Linkface創業的深層原因？

孫祎：我目前在Linkface擔任研究員，主要進行基于深度學習的人臉識別算法的研究，比如改進神經網絡模型，改進訓練方法等。工作之余，會時刻關注這個領域的動態，整合現有學術成果的基礎上，尋求新的技術突破。一方面，我希望在產業界依然能夠在科技前沿上為人類探索未知做一點貢獻，另一方面，人臉識別技術有很大的應用價值，希望可以看到我的技術被廣泛使用。

在Linkface，我們的團隊在不斷改進現有算法的同時，也專注于算法研究與實際應用的結合，目前我們在互聯網金融領域研發的技術和產品已經在“人臉云平臺”上提供百萬級/天的調用服務。 ?

孫祎和Linkface聯合創始人石建萍、夏炎、馬廷姣、方芳

DeepID研發心得與未來

CSDN：在DeepID的研發和進化過程中，有哪些事情讓您印象最為深刻？

孫祎：深度學習在一開始還遠沒有非深度學習的方法性能好。當時比較知名的一些方法，例如Tom-vs-Pete classifiers、high-dim LBP、TL Joint Bayesian等極大地提高了人臉識別的性能，而這些都是非深度學習的方法。當時人們不會想到深度學習能在人臉識別上取得如目前這樣的突破。

深度學習在人臉識別應用上的兩個突破另我印象最為深刻。其一是通過非常難的大規模人臉分類任務訓練神經網絡，在網絡的隱藏層學到了富含人臉身份屬性的特征。我們稱這樣學得的人臉特征表示為DeepID。Facebook也獨立研究提出了類似的方法，稱作DeepFace。DeepID和DeepFace使得深度學習首次在人臉識別問題上超過非深度學習方法，并且識別性能首次在LFW上逼近人眼在較緊湊地框住的人臉區域上的人臉識別準確率。

之后的另一個突破是在人臉分類的同時加入另一個人臉比對的訓練信號。這一額外的比對信號的加入進一步將LFW上人臉識別的錯誤率減小了67%，人臉識別首次在LFW上突破99%的準確率。我們稱這種通過聯合人臉分類-比對學習到的人臉特征表示為DeepID2。DeepID2工作的一個重要發現是，人臉分類和比對信號的作用恰好分別對應于兩個解決人臉識別至關重要的方面，即增大類內變化和減小類間變化。這一發現完美地揭示了同時加入這兩個監督信號后識別性能獲得巨大提升的原因。

CSDN：現在基于CNN做人臉識別的團隊很多，也發了不少相關的Paper，您認為DeepID和其他模型相比，主要有哪些區別？

孫祎：我是用深度學習做人臉識別比較早的。Hybrid ConvNet-RBM model、DeepID、DeepID2等都是使用深度學習做人臉識別的開拓性的工作。這些突破使人們看到了深度學習在人臉識別上的潛力。目前雖然深度學習在人臉識別上被大量使用，但技術上沒有太多突破，主要仍然是通過分類或者測度學習的方法來學習人臉的特征表示。

CSDN：深度學習輸出的解釋性受到很多人的詬病，但DeepID很注重對輸出向量的分析，我們是如何做到的？

孫祎：當深度學習在具有挑戰性的人臉識別測試標準上逐漸接近人眼的水平，人們渴望知道這些人工神經元學到了什么以及它們是如何實現如此高的性能的。認知科學領域有很多關于視覺皮質神經元處理人臉信號機制的研究。受這些工作的啟發，我們嘗試通過對人工神經網絡中神經元行為的分析來解釋人臉識別在深度神經網絡中的處理過程，神經元學到了人臉的什么信息，以及神經元對于人臉圖像部分缺損的魯棒性。

DeepID人臉圖片的預處理方式

CSDN：在DeepID中CNN的改進方式，是否也適用于其他的應用場景？

孫祎：通過聯合分類-比對監督信號學習人臉特征表示的方法可能可以推廣到其它物體的識別，不過我沒有驗證過。另一方面，區別于一般物體，人臉的特殊性在于，它可以比較容易地通過面部特征點來對齊。人臉對齊對人臉識別是至關重要的。認知科學研究表明人腦處理人臉信號和一般物體信號使用了人腦不同區域的神經元。

CSDN：能否分析人臉識別領域的下一個技術突破點，以及DeepID未來的進化方向？

孫祎：目前DeepID使用的訓練人臉圖片只有大約30萬張。未來DeepID的進化方向應該是，改進網絡結構和網絡的監督方式，使其能夠學好更大規模（比如上千萬）的訓練數據。現在Linkface 的數據資源是非常豐富的，人臉數據上億，這些資源給DeepID算法提供了很大的提升空間。

CSDN：人臉識別技術從Paper、競賽中超越人眼的識別準確率，到產品化，走進工業應用，還有哪些重要工作需要完成？

孫祎：人眼的識別能力是有限的，超過人眼只是人臉識別技術的一小步進步。像身份認證的應用，要求準確率很高，相比于指紋，目前使用人臉進行認證還是比較困難的。人臉識別要解決的難題是，能否從很多（比如上百萬）個人中準確地找到屬于給定人臉的那個人，或者說，考慮人臉比對的場景，在很低的（比如百萬分之一）將不同的人誤認作相同的人的概率下，保持較高的將相同的人認作相同的人的概率。

高效深度學習的思考

CSDN：在深度學習領域，目前有很多開源的工具和庫，您是如何選擇最適合自己的技術的？

孫祎：目前深度學習使用的模型越來越大，實現的效率是主要考慮的問題。此外還會考慮代碼是否容易修改。

CSDN：DeepID 能夠通過模型本身的優化減少對數據和計算的需求，但很多做深度學習的公司都強調了大數據和高性能基礎架構，百度大腦最近還談到了有基于FPGA加速的版本。您認為模型本身的優化空間還有多大？GPU、FPGA、神經網絡加速芯片或者純類腦架構，哪一種才是未來？

孫祎：從深度學習的角度來講，使用更多的數據以及更大規模的網絡來學這些數據是提高性能最直接的做法。另一方面，一個好的模型或者好的訓練方法對于性能的提高是顯著的。或者說，為達到相同的性能，好的模型或者訓練方法可以極大地減少所需的訓練數據。因此模型本身的優化是人們永遠不會停止探索的課題。最后一個問題現在不會回答，未來再給出答案。

CSDN：技術路線方面，對于CV、DL的入門和進階，您有什么建議？

孫祎：我接觸計算機視覺和機器學習是從一個具體問題開始的，即使用訓練卷積神經網絡進行面部特征點檢測。剛開始做研究也摸不著門道，相關的工作讀的太少，自己的想法也很有限，遇到了不少坎。其間也經歷了幾個技術上的突破（至少對我而言是這樣）。從我開始做這個問題到把論文投出去花了整整兩年的時間，但這樣的積累讓我現在在Linkface的研究工作順利了很多，能夠很快將深度學習用到了人臉識別領域。

可以說從我投出去第一篇論文起算是入門了。所以從我的經歷來看，首先是找到一個具體問題，然后多閱讀相關文獻，多思考，多實踐，漸漸就會對一個領域有深入的了解了。

DeepID第一代結構圖

CSDN：從學習和工作習慣層面來說，能夠做出DeepID這樣的模型，您認為哪些因素是成功的關鍵？

孫祎：做研究過程中，很多想法都來源于直覺。就是在做的過程中，很多想法就自然而然地想到了。例如，我在完成了用卷積神經網絡檢測面部特征點的工作之后，對卷積神經網絡有一定的了解了。我那時在想，人臉比對這個問題是否能簡單地用卷積神經網絡進行端到端的學習，即輸入兩張人臉圖片，讓神經網絡做一個二分類，輸出這兩張人臉是否屬于同一個人。我的第一篇人臉識別論文就是從這個簡單想法出發完成的。又比如，我當時做了通過人臉圖片對的比對以及單張人臉圖片的分類訓練卷積神經網絡的工作之后，就在想，這兩個信號能否疊加起來訓練神經網絡呢。當時還沒有想清楚這兩種監督信號各自的作用，但這就是DeepID2工作的最原始思想。

（責編/周建丁 ?深度學習技術采訪、投稿，請聯系zhoujd@csdn.net或微信號jianding_zhou）

總結

以上是生活随笔為你收集整理的专访DeepID发明者孙祎：关于深度学习与人脸算法的深层思考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。