冠軍分享：多人種人臉識(shí)別

天才兒童隊(duì)伍由三名隊(duì)員組成，成員由在讀研究生和博士生組成，主要的研究方向是圖像特征提取，目標(biāo)識(shí)別與檢測(cè)。團(tuán)隊(duì)有著豐富的項(xiàng)目經(jīng)驗(yàn)和比賽經(jīng)驗(yàn)。

文本是他們本次參賽的分享，比賽代碼已經(jīng)開(kāi)源。

這次比賽圖像領(lǐng)域的一些大佬并沒(méi)有參加，給了我們一次咸魚翻身的機(jī)會(huì)。

一般這種圖像賽最少2張卡，4張卡以上最佳，實(shí)驗(yàn)室或者公司應(yīng)該有這種硬件條件，這也是相對(duì)于表格結(jié)構(gòu)數(shù)據(jù)比賽的門檻（順便吐槽下，獎(jiǎng)金較少還要扣掉租服務(wù)器，但是去鄭州玩得很開(kāi)心，主辦方非常用心在此表示感謝）。

拿到特等獎(jiǎng)完全是意料之外的事情，八分運(yùn)氣在里面。要知道優(yōu)秀的隊(duì)伍很多，比我們強(qiáng)的也不少。技術(shù)之外的秘籍這種事情你認(rèn)為有就有，認(rèn)為沒(méi)有就沒(méi)有，只要相信自己的本心努力就好。

by 天才兒童

01 方案摘要

隨著人臉識(shí)別技術(shù)不斷成熟，市場(chǎng)需求將加速釋放，應(yīng)用場(chǎng)景不斷被挖掘。從社保領(lǐng)取到校園門禁，從遠(yuǎn)程授權(quán)到安檢閘機(jī)檢查，人臉識(shí)別正在不斷打開(kāi)市場(chǎng)。人臉識(shí)別應(yīng)用在加速普及，行業(yè)也呈現(xiàn)出新的發(fā)展趨勢(shì)。

本文應(yīng)用深度學(xué)習(xí)技術(shù)對(duì)人臉數(shù)據(jù)集進(jìn)行建模，進(jìn)行了數(shù)據(jù)與模型方面的探索，搭建了一套面向?qū)嶋H場(chǎng)景的人臉識(shí)別方案。我們首先提出了適合人臉圖像的數(shù)據(jù)增強(qiáng)方法，構(gòu)建了有監(jiān)督與無(wú)監(jiān)督結(jié)合的人臉識(shí)別模型，并搭建了一種推理模型，以此對(duì)人臉圖片進(jìn)行相似度判斷。

團(tuán)隊(duì)本次復(fù)賽A榜得分0.6582，B榜得分0.6583，均為線上第一。

02?比賽背景&數(shù)據(jù)集

我們可以看到訓(xùn)練集中白種人數(shù)量遠(yuǎn)超過(guò)其他人種，而測(cè)試集中各人種數(shù)量均衡。

從數(shù)據(jù)集統(tǒng)計(jì)可以看到數(shù)據(jù)集具有多樣性。

第4種是我們發(fā)現(xiàn)的主辦方創(chuàng)造數(shù)據(jù)集的方法，如果有時(shí)間的話，可以根據(jù)這個(gè)思路繼續(xù)做圖像增強(qiáng)，訓(xùn)練一個(gè)使用主辦方方法增強(qiáng)的模型，效果應(yīng)該會(huì)更好。

圖像增強(qiáng)的方法非常多，大概包括這些方法：水平翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放、直方圖、平滑、濾波、色度抖動(dòng)、銳度抖動(dòng)。而且這些方法相互組合效果也不一樣。除了線上提交以外，可以先建立幾種指標(biāo)線下判斷。

現(xiàn)有的人臉識(shí)別測(cè)試過(guò)程，通常是提取人臉的特征向量，再通過(guò)向量距離比如余弦相似度進(jìn)行對(duì)比，而非直接通過(guò)網(wǎng)絡(luò)推理得到標(biāo)簽。特征提取作為人臉識(shí)別最關(guān)鍵的步驟，已經(jīng)有了很多成熟的網(wǎng)絡(luò)模型。接下來(lái)我們主要從神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，骨干網(wǎng)絡(luò)2個(gè)角度進(jìn)行分析。

03 有監(jiān)督模型

在ResNet2015年被提出后，越來(lái)越多優(yōu)秀的網(wǎng)絡(luò)基于ResNet進(jìn)行優(yōu)化更新也取得卓越成就，而在網(wǎng)絡(luò)結(jié)構(gòu)與進(jìn)一步升級(jí)優(yōu)化有困難的情況下，研究者逐步將目光轉(zhuǎn)向損失函數(shù)上。2018年提出的arcface的主要?jiǎng)?chuàng)新點(diǎn)就是優(yōu)化損失函數(shù)。在傳統(tǒng)的Softmax基礎(chǔ)上提出了Center Losas，最終arcface損失函數(shù)包含Softmax loss 和 Center Loss。

模型使用arcface效果最好，人臉識(shí)別方面就是arcface一枝獨(dú)秀了，其他模型在比賽中效果有差距但可以用于模型融合。

損失函數(shù)采用Focal Loss最佳。

模型的骨干網(wǎng)絡(luò)使用Resnet系列，當(dāng)然還融合了其他的網(wǎng)絡(luò)包括IResnet,Resnext,Densenet。

04 無(wú)監(jiān)督模型

然后我們還使用了無(wú)監(jiān)督的模型進(jìn)行后處理。
ECCV2018的論文《基于模型共識(shí)的大規(guī)模無(wú)標(biāo)注數(shù)據(jù)標(biāo)簽傳播》。其假設(shè)已經(jīng)有了少量的標(biāo)注圖像，對(duì)于大量的未標(biāo)注圖像，生成其樣本標(biāo)簽對(duì)，可以稱其為半監(jiān)督算法。

我們對(duì)其進(jìn)行了改進(jìn)，最終效果是一種無(wú)監(jiān)督的人臉聚類模型。人臉聚類的方法不少，第二名也使用了類似聚類的方法。我們選擇這個(gè)模型的主要原因是因?yàn)榭?#xff0c;當(dāng)然第二名的方法也許精度更高。

人種后驗(yàn)概率修正，利用人種的信息對(duì)預(yù)測(cè)概率進(jìn)行修正。

當(dāng)獲得了聚類ID后：
（1）對(duì)同一類ID判斷為同一個(gè)人，
（2）不同類ID判斷為不同人，
（3）對(duì)于沒(méi)有劃分的人，取原概率。

05 模型融合

這里再介紹一些模型：
這個(gè)模型分?jǐn)?shù)并不高，但融合效果較好。

這個(gè)是我們搭建的模型，實(shí)際方案沒(méi)有采用，這里提供給大家思路。

融合方案如下：

圖中是15種模型，低分模型的權(quán)重已經(jīng)是1%左右了，提升只是萬(wàn)分位的，如果不刷分只需要效果最好的5種模型就可以了。

得到最終方案：

（1）提出了一種人臉圖像優(yōu)化算法，建立了優(yōu)化指標(biāo)，可以較為準(zhǔn)確地選出有效的圖像增強(qiáng)方法。

（2）對(duì)最新的人臉識(shí)別模型進(jìn)行了分析與歸納，并進(jìn)行了實(shí)驗(yàn)優(yōu)化。

（3）無(wú)監(jiān)督模型在保證精度的情況下，線下的理論復(fù)雜度與增量迭代，使得其可以用于大規(guī)模數(shù)據(jù)集中。并且可以有更多的業(yè)務(wù)拓展，比如人臉標(biāo)注、數(shù)據(jù)清洗和多賬號(hào)檢測(cè)等。

（4）方案可移植性好，可復(fù)用性強(qiáng)。

比賽鏈接：

https://www.datafountain.cn/competitions/348

冠軍代碼：

https://github.com/themostnewone/2019ccf

下面的代碼給出了所有圖像增強(qiáng)方法與分?jǐn)?shù)最高的3種12個(gè)有監(jiān)督模型。

代碼參考指北的小暇米的框架，在此表示感謝。

https://discussion.datafountain.cn/questions/1904/answers/22795

備注：公眾號(hào)菜單包含了整理了一本AI小抄，非常適合在通勤路上用學(xué)習(xí)。

往期精彩回顧2019年公眾號(hào)文章精選適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)在線手冊(cè)AI基礎(chǔ)下載（第一部分）備注：加入本站微信群或者qq群，請(qǐng)回復(fù)“加群”加入知識(shí)星球（4500+用戶，ID：92416895），請(qǐng)回復(fù)“知識(shí)星球”

喜歡文章，點(diǎn)個(gè)在看

總結(jié)

以上是生活随笔為你收集整理的CCF BDCI 多人种人脸识别冠军分享的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。