前言

　　[機器學習] 實驗筆記系列是以我在算法研究中的實驗筆記資料為基礎加以整理推出的。該系列內容涉及常見的機器學習算法理論以及常見的算法應用，每篇博客都會介紹實驗相關的數據庫，實驗方法，實驗結果，評價指標和相關技術目前的應用情況。
　　
　　本文主要整理自筆者在表情識別（emotion recognition）研究上的實驗筆記資料，給出了表情識別常用的數據庫，論文資料，識別方法，評價指標，以及筆者的實驗筆記和實驗結果。
　　
　　文章小節安排如下：
　　1）表情識別的意義
　　2）表情識別的應用
　　3）常用的數據庫及比賽
　　4）實驗-算法說明
　　5）實驗-效果展示
　　6）結語
　　
　　
　　

一、表情識別的意義

1.1 什么是表情？

　　我們天天都在展示自己的表情并且看到其他人的表情，那么表情到底是什么？
　　看看維基百科的定義：
　　
　　面部表情是面部肌肉的一個或多個動作或狀態的結果。這些運動表達了個體對觀察者的情緒狀態。面部表情是非語言交際的一種形式。它是表達人類之間的社會信息的主要手段，不過也發生在大多數其他哺乳動物和其他一些動物物種中。
　　人類的面部表情至少有21種，除了常見的高興、吃驚、悲傷、憤怒、厭惡和恐懼6種，還有驚喜（高興＋吃驚）、悲憤（悲傷＋憤怒）等15種可被區分的復合表情。
　　
　　

1.2 表情的意義？

　　表情是人類及其他動物從身體外觀投射出的情緒指標，多數指面部肌肉及五官形成的狀態，如笑容、怒目等。也包括身體整體表達出的身體語言。
　　
　　參考：
　　https://zh.wikipedia.org/wiki/%E9%9D%A2%E9%83%A8%E8%A1%A8%E6%83%85
　　
　　簡單來說，
　　面部表情是人體（形體）語言的一部分，是一種生理及心理的反應，通常用于傳遞情感。
　　
　　

1.3 表情的研究

　　面部表情的研究始于 19 世紀，
　　1872年，達爾文在他著名的論著《人類和動物的表情（The Expression of the Emotions in Animals and Man，1872）》中就闡述了人的面部表情和動物的面部表情之間的聯系和區別。
　　
　　1971年，Ekman 和 Friesen 研究了人類的 6 種基本表情 （即高興、悲傷、驚訝、恐懼、憤怒、厭惡 ） ，并系統地建立了人臉表情圖象庫，細致的描述了每一種表情所對應的面部變化，包括眉毛、眼睛、眼瞼、嘴唇等等是如何變化的。
　　

　　1978年，Suwa等人提出了在圖像序列中進行面部表情自動分析。
　　從20世紀90年代開始，由Mase和Pentland提出的光流法進行面部表情識別之后，自動面部表情識別進入了新的時期。
　　
　　

1.4 微表情

　　隨著研究的深入和應用的廣泛，人們逐漸開始研究一種更細微的表情：微表情。
　　看維基百科的定義：
　　微表情是一種人類在試圖隱藏某種情感時無意識做出的、短暫的面部表情。
　　微表情的持續時間僅為 1/25 秒至 1/5 秒，表達的是一個人試圖壓抑與隱藏的真正情感。
　　微表情的在自動謊言識別等眾多領域有巨大的潛在應用價值，比如那部著名的電視劇《Lie to Me》，卡爾·萊特曼博士就是利用“臉部動作編碼系統”（Facial Action Coding System）分析被觀察者的肢體語言和微表情，進而向他們的客戶（包括FBI等美國執法機構或聯邦機構）提供被觀測者是否撒謊等分析報告。
　　
　　隨著科技進步和心理學的不斷發展，對表情的研究越來越豐富，應用也越來越廣泛。有興趣的讀者可以Google一下人類表情的研究歷史，以及在心理學用的應用。
　　
　　

二、表情識別的應用

2.1 表情識別的應用場景

　　面部表情識別技術主要的應用領域包括人機交互、智能控制、安全、醫療、通信等領域。筆者目前接觸過的兩個領域，
　　
　　第一個是商場門店的顧客情緒分析。即通過攝像頭捕獲商場或門店的顧客畫面，分析其面部表情，再進一步解讀出客人的情緒信息，從而分析顧客在商場的體驗滿意度。
　　
　　第二個是人機交互。在筆者參與的一個教育輔助機器人項目中，負責視覺部分的研發工作，其中一項功能就是通過面部表情分析來判斷機器人眼前的用戶的情緒和心理。
　　
　　

2.2 在線應用接口

　　微軟提供了表情識別的API接口，并通過JSON返回識別結果，如下：
　　Cognitive Services APIs – Emotion Recognization
　　

　　Face++也提供了接口，并通過JSON返回識別結果，如下：
　　人臉檢測
　　

　　

　　

三、常用的數據庫及比賽

3.1 表情識別常用數據庫

　　1）The Japanese Female FacialExpression (JAFFE) Database
　　發布時間：1998
　　詳細說明：
　　The database contains 213 images of 7 facial expressions (6 basic facial expressions + 1 neutral) posed by 10 Japanese female models. Each image has been rated on 6 emotion adjectives by 60 Japanese subjects. The database was planned and assembled by Michael Lyons, Miyuki Kamachi, and Jiro Gyoba. We thank Reiko Kubota for her help as a research assistant. The photos were taken at the Psychology Department in Kyushu University.
　　表情：sad, happy, angry, disgust,surprise, fear, neutral.
　　地址：http://www.kasrl.org/jaffe.html
　　
　　2）The Extended Cohn-Kanade Dataset(CK+)
　　發布時間：2010
　　詳細說明：
　　The Cohn-Kanade AU-Coded Facial Expression Database is for research in automatic facial image analysis and synthesis and for perceptual studies. Cohn-Kanade is available in two versions and a third is in preparation.
　　Version 1, the initial release, includes 486 sequences from 97 posers. Each sequence begins with a neutral expression and proceeds to a peak expression. The peak expression for each sequence in fully FACS (Ekman, Friesen, & Hager, 2002; Ekman & Friesen, 1979) coded and given an emotion label. The emotion label refers to what expression was requested rather than what may actually have been performed. For a full description of CK, see (Kanade, Cohn, & Tian, 2000).For validated emotion labels, please use version 2, CK+, as described below.
　　
　　論文：P.Lucey, J. F. Cohn, T.Kanade, J. Saragih, Z. Ambadar, and I. Matthews, “TheExtended Cohn-KanadeDataset (CK+)_ A complete dataset for action unit andemotion-specifiedexpression,” inComputer Vision andPattern RecognitionWorkshops (CVPRW), 2010 IEEE Computer Society Conference on,2010, pp. 94-101.
　　地址：http://www.pitt.edu/~emotion/ck-spread.htm
　　

　　3）GEMEP-FERA 2011
　　發布時間：2011
　　詳細說明：
　　該庫是在 IEEE 的 Automatic Face & GestureRecognition and Workshops (FG 2011), 2011 IEEE International Conference on 上提供的一個數據庫，如果要獲取這個數據庫，需要簽署一個assignment，而且只有學術界可以免費使用。
　　論文：M.F. Valstar, M. Mehu, B.Jiang, M. Pantic, and K. Scherer, “Meta-Analysis ofthe First FacialExpression Recognition Challenge,”Systems,Man, andCybernetics, Part B: Cybernetics, IEEE Transactions on, vol. 42,pp. 966-979,2012.
　　地址：https://gemep-db.sspnet.eu/
　　
　　4）AFEW_4_0_EmotiW_2014
　　詳細說明：
　　該數據庫用作 ACM 2014 ICMI TheSecond Emotion Recognition In The Wild Challenge and Workshop。數據庫中提供原始的video clips，都截取自一些電影，這些clips 都有明顯的表情，這個數據庫與前面的數據庫的不同之處在于，這些表情圖像是 in the wild, not inthe lab。所以一個比較困難的地方在于人臉的檢測與提取。
　　論文：A.Dhall, R. Goecke, J. Joshi,M. Wagner, and T. Gedeon, “Emotion RecognitionIn The Wild Challenge2013,” inProceedings of the 15thACM on Internationalconference on multimodal interaction, 2013, pp.509-516.
　　地址：https://cs.anu.edu.au/few/emotiw2014.html
　　
　　5）GENKI-4K
　　詳細說明：
　　The MPLab GENKI Database is an expanding database of images containing faces spanning a wide range of illumination conditions, geographical locations, personal identity, and ethnicity. Each subsequent release contains all images from the previous release, and so is guaranteed to be backward compatible. The database of images is divided into overlapping subsets, each with its own labels and descriptions. For example, the GENKI-4K subset contains 4000 face images labeled as either “smiling” or “non-smiling” by human coders. The pose of the faces is approximately frontal as determined by our automatic face detector. The GENKI-SZSL subset contains 3500 images containing faces. They are labeled for the face location and size. The images are available for public use.
　　The current release of the GENKI database is GENKI-R2009a. It contains 7172 unique image files, which combine to form these subsets:
　　GENKI-4K: 4000 images, containing expression and head-pose labels.
　　GENKI-SZSL: 3500 images, containing face position and size labels.
　　論文：WhitehillJ, Littlewort G, Fasel I, et al. Toward practical smile detection[J]. PatternAnalysis and Machine Intelligence, IEEE Transactions on, 2009, 31(11):2106-2111.
　　地址：http://mplab.ucsd.edu/wordpress/?page_id=398
　　
　　6）The UNBC-McMaster shoulder painexpression archive database
　　論文：Lucy,P., Cohn, J. F., Prkachin, K. M., Solomon, P., & Matthrews, I. (2011).Painful data: The UNBC-McMaster Shoulder Pain Expression Archive Database. IEEEInternational Conference on Automatic Face and Gesture Recognition (FG2011).
　　地址：http://www.pitt.edu/~emotion/um-spread.htm
　　

3.2 表情識別比賽

　　1）The Third Emotion Recognition in the Wild Challenge
　　這是ACM International Conference on Multimodal Interaction (ICMI 2015)舉辦的一個表情識別的競賽，每年都舉辦，感興趣的可以參加一下。
　　https://cs.anu.edu.au/few/emotiw2015.html
　　https://sites.google.com/site/emotiw2016/
　　
　　其他的等我了解一下再補充上來。
　　
　　

四、實驗-算法說明

4.1 表情數據庫

　　Fer2013：Kaggle facial expression recognition challenge dataset
　　詳細說明：
　　The training set consists of 28,709 examples. The public test set used for the leaderboard consists of 3,589 examples. The final test set, which was used to determine the winner of the competition, consists of another 3,589 examples.
　　表情分類：
　　0=Angry, 1=Disgust, 2=Fear, 3=Happy, 4=Sad, 5=Surprise, 6=Neutral
　　數據分布：　　
　　~/trainImg.zip　　　　　訓練集，28709
　　~/privateTestImg.zip　　測試集，3589
　　~/publicTestImg.zip　　 測試集，3589
　　
　　數據分布（訓練集）：
　　Angry：3995
　　Disgust：436
　　Fear：4097
　　Happy：7215
　　Sad：4830
　　Surprise：3171
　　Neutral：4965
　　
　　數據分布（fer2013_privatetest.csv）：
　　Angry：3995
　　Disgust：436
　　Fear：4097
　　Happy：7215
　　Sad：4830
　　Surprise：3171
　　Neutral：4965
　　
　　關于fer2013數據文件的使用：
　　fer2013中的圖片以“標簽 圖像向量”的形式保存在.csv文件中，即每一個列向量是一張圖片，第一個數字是標簽，剩下的數字是圖片數據（將圖片矩陣按列展開存儲的），可以利用matlab的reshape函數將圖片還原出來，圖像尺寸是48×48大小。
　　

4.3 參考論文

　　論文：
　　Jeon, Jinwoo, et al. “A Real-time Facial Expression Recognizer using Deep Neural Network.” International Conference on Ubiquitous Information Management and Communication ACM, 2016:94.
　　基本方法：
　　采用深度神經網絡算法，其網絡結構是在AlexNet上修改得到，減少了3個卷積層，示意如下：
　　

　　網絡結構：

　　

　　實驗結果：
　　The average accuracy for all categories was 70.74%. Accuracy for the happy and surprise category was higherthan the others, but accuracy for the fear category was poor.
　　
　　混淆矩陣：
　　

　　

4.3 實驗環境

　　深度學習框架：caffe
　　GPU卡：GeForce GTX TITAN Black
　　

4.4 訓練配置文件（solver.prototxt）

　　net: “./train_val_rferdnn.prototxt”
　　test_iter: 1200
　　test_interval: 1000
　　base_lr: 0.001
　　lr_policy: “fixed”
　　display: 500
　　max_iter: 100000
　　momentum: 0.9
　　weight_decay: 0.0005
　　snapshot: 20000
　　snapshot_prefix: “./models/rt_exprec”
　　solver_mode: GPU
　　　　

4.5 實驗重現

　　經過不斷的調整參數和數據處理方法，筆者最后基本復現了論文中的實驗結果，達到 70.2% 的準確率。
　　
　　具體如下：
　　average accuracy:
　　70.2%
　　confusion matrix:
　　

　

4.6 數據擴展方法　

　　論文《A Real-time Facial Expression Recognizer using Deep Neural Network》中采用的是隨機crop出5個圖像，說是可以 spatial invariance is induced。但文中的配圖看起來并不像是隨機采樣的，如下：
　　

　　這里是直接按照四個角+中間進行采樣的，不過這也可以看做是隨機的一種吧。我在實驗中也是這么采樣的，然后再mirror一下，這樣就將訓練數據量擴大了10倍。

　　

4.7 預測方法　

　　1）規則擴展測試圖像，即crop測試圖像四個corner區域+一個center區域，再做鏡像（mirror），也就是每個原始樣本擴展出10個crop_image；
　　2）得分融合：averaging method，即計算原始圖像的10個擴展的預測結果的均值作為最終得分。
　　
　　測試集：fer2013_privatetest.csv（我記得應該是這個，還有一個，還有一個fer2013_publictest.csv我忘記測試了沒有了(⊙﹏⊙)）
　　

4.8 模型下載　

　　http://pan.baidu.com/s/1jI1kwya，這是私有鏈接，需要下載的朋友請私信我。我希望各位同學能夠自己琢磨算法、訓練模型，這樣才能有進步，而不是直接拿來用。
　　
　　

4.9 訓練過程　

　　為了更好的展示實驗，這里給出我當時的訓練輸出。不過我的硬盤里只找到了一部分輸出和最終訓練結果，非常抱歉！

Iteration 0
I0421 08:09:17.860702 27484 solver.cpp:341] Iteration 0, Testing net (#0)
I0421 08:10:26.924216 27484 solver.cpp:409] Test net output #0: accuracy = 0.142594
I0421 08:10:26.924386 27484 solver.cpp:409] Test net output #1: loss = 1.94273 (* 1 = 1.94273 loss)
I0421 08:10:27.081188 27484 solver.cpp:237] Iteration 0, loss = 1.94555
I0421 08:10:27.081243 27484 solver.cpp:253] Train net output #0: loss = 1.94555 (* 1 = 1.94555 loss)
I0421 08:10:27.081269 27484 sgd_solver.cpp:106] Iteration 0, lr = 0.001

I0421 08:11:52.943675 27484 solver.cpp:237] Iteration 500, loss = 1.81799
I0421 08:11:52.943876 27484 solver.cpp:253] Train net output #0: loss = 1.81799 (* 1 = 1.81799 loss)
I0421 08:11:52.943889 27484 sgd_solver.cpp:106] Iteration 500, lr = 0.001
I0421 08:13:20.381688 27484 solver.cpp:237] Iteration 1000, loss = 1.73778
I0421 08:13:20.381914 27484 solver.cpp:253] Train net output #0: loss = 1.73778 (* 1 = 1.73778 loss)
I0421 08:13:20.381924 27484 sgd_solver.cpp:106] Iteration 1000, lr = 0.001

Iteration 5000
I0421 08:24:59.778053 27484 solver.cpp:341] Iteration 5000, Testing net (#0)
I0421 08:26:16.136390 27484 solver.cpp:409] Test net output #0: accuracy = 0.562633
I0421 08:26:16.136633 27484 solver.cpp:409] Test net output #1: loss = 1.15914 (* 1 = 1.15914 loss)
I0421 08:26:16.282253 27484 solver.cpp:237] Iteration 5000, loss = 1.20592
I0421 08:26:16.282282 27484 solver.cpp:253] Train net output #0: loss = 1.20592 (* 1 = 1.20592 loss)
I0421 08:26:16.282294 27484 sgd_solver.cpp:106] Iteration 5000, lr = 0.001
I0421 08:27:43.646217 27484 solver.cpp:237] Iteration 5500, loss = 1.18084
I0421 08:27:43.646412 27484 solver.cpp:253] Train net output #0: loss = 1.18084 (* 1 = 1.18084 loss)
I0421 08:27:43.646425 27484 sgd_solver.cpp:106] Iteration 5500, lr = 0.001

Iteration 10000
0421 08:40:47.484722 27484 solver.cpp:341] Iteration 10000, Testing net (#0)
I0421 08:42:00.271831 27484 solver.cpp:409] Test net output #0: accuracy = 0.665208
I0421 08:42:00.272018 27484 solver.cpp:409] Test net output #1: loss = 0.891976 (* 1 = 0.891976 loss)
I0421 08:42:00.417796 27484 solver.cpp:237] Iteration 10000, loss = 0.875526
I0421 08:42:00.417830 27484 solver.cpp:253] Train net output #0: loss = 0.875526 (* 1 = 0.875526 loss)
I0421 08:42:00.417840 27484 sgd_solver.cpp:106] Iteration 10000, lr = 0.001

Iteration 15000
I0421 08:56:28.140434 27484 solver.cpp:341] Iteration 15000, Testing net (#0)
I0421 08:57:43.430665 27484 solver.cpp:409] Test net output #0: accuracy = 0.780628
I0421 08:57:43.430855 27484 solver.cpp:409] Test net output #1: loss = 0.612954 (* 1 = 0.612954 loss)
I0421 08:57:43.581197 27484 solver.cpp:237] Iteration 15000, loss = 0.656312
I0421 08:57:43.581219 27484 solver.cpp:253] Train net output #0: loss = 0.656312 (* 1 = 0.656312 loss)
I0421 08:57:43.581230 27484 sgd_solver.cpp:106] Iteration 15000, lr = 0.001

Iteration 20000
I0421 09:12:06.863005 27484 solver.cpp:341] Iteration 20000, Testing net (#0)
I0421 09:13:22.342000 27484 solver.cpp:409] Test net output #0: accuracy = 0.865189
I0421 09:13:22.342190 27484 solver.cpp:409] Test net output #1: loss = 0.389436 (* 1 = 0.389436 loss)
I0421 09:13:22.488214 27484 solver.cpp:237] Iteration 20000, loss = 0.539341
I0421 09:13:22.488237 27484 solver.cpp:253] Train net output #0: loss = 0.539341 (* 1 = 0.539341 loss)
I0421 09:13:22.488248 27484 sgd_solver.cpp:106] Iteration 20000, lr = 0.001

Iteration 25000
I0421 09:27:55.352700 27484 solver.cpp:341] Iteration 25000, Testing net (#0)
I0421 09:29:10.297168 27484 solver.cpp:409] Test net output #0: accuracy = 0.914303
I0421 09:29:10.297345 27484 solver.cpp:409] Test net output #1: loss = 0.256905 (* 1 = 0.256905 loss)
I0421 09:29:10.442956 27484 solver.cpp:237] Iteration 25000, loss = 0.365221
I0421 09:29:10.442978 27484 solver.cpp:253] Train net output #0: loss = 0.365221 (* 1 = 0.365221 loss)
I0421 09:29:10.442988 27484 sgd_solver.cpp:106] Iteration 25000, lr = 0.001

Iteration 100000
accuracy = 0.996794
loss = 0.010607 (* 1 = 0.010607 loss)
　　
　　

五、實驗-效果展示

　　基于訓練好的模型做了一些測試，效果如下：
　　

　　　　　

　　

　　

　　　　　

　　

　　

　　　　　

　　

　　

　　

　　

　　

　　

六、結語

　　現在人臉分析技術火遍大江南北，Microsoft，Face++，Linkface等都提供了表情識別技術，但從該技術的難度和現階段的準確度來看，表情識別還只能用于那些對準確率要求不高的場景下，做一些輔助分析的工作。
　　
　　那么表情識別技術是否就不那么重要了呢？？？不是！如同筆者在文章開頭所說，表情是人內心的直觀反應，因此表情識別技術是人機交互技術的重要組件。未來機器人想要更懂人類更好的跟人類交互，那么表情識別技術是必不可少的。
　　
　　

參考

維基百科-表情
人臉表情識別常用的幾個數據庫
Emotient 的表情識別技術的門檻是什么，有哪些應用場景？
微軟研究院大咖為你科普人臉表情識別技術　　

　　
參考論文：
Jeon, Jinwoo, et al. “A Real-time Facial Expression Recognizer using Deep Neural Network.” International Conference on Ubiquitous Information Management and Communication ACM, 2016:94.

總結

以上是生活随笔為你收集整理的[机器学习] 实验笔记 – 表情识别（emotion recognition）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。