1 摘要

?現(xiàn)有的人臉識別系統(tǒng)的對抗樣本缺乏針對黑盒模型攻擊的可移植性，無法在實(shí)踐中高效的攻擊成功。該論文提出了一種統(tǒng)一的對抗人臉識別系統(tǒng)的方法——Adv-Makeup，該方法能夠在黑盒環(huán)境下實(shí)現(xiàn)可感知和可轉(zhuǎn)移的攻擊,該方法使用混合模塊在面部眼眶區(qū)域合成不易察覺的眼影。為了實(shí)現(xiàn)可移植性，Adv-Make實(shí)現(xiàn)了一種細(xì)粒度的元學(xué)習(xí)對抗攻擊策略，以從各種模型中學(xué)習(xí)更多的一般攻擊特征。與現(xiàn)有技術(shù)相比，Adv-Make能夠在數(shù)字和物理場景下產(chǎn)生更多不易察覺的攻擊，甚至可以攻擊商業(yè)系統(tǒng)。

2 貢獻(xiàn)

?該論文的貢獻(xiàn)可以總結(jié)為如下四條：

• 該論文提出的黑盒攻擊方法Adv-Make可以在數(shù)字和物理場景下實(shí)現(xiàn)對人臉識別模型進(jìn)行不可察覺和可遷移的攻擊。
• 為了增強(qiáng)黑盒對抗攻擊的不可感知性，作者引入了makeup生成模塊，可以在眼眶區(qū)域添加自然眼影。
• 作者提出了一種化妝混合策略，以確保原圖像和生成圖像之間的風(fēng)格和內(nèi)容的具有一致性，從而進(jìn)一步提高合成人臉的逼真度。
• 作者提出了一種任務(wù)驅(qū)動(dòng)的細(xì)粒度元學(xué)習(xí)對抗攻擊策略，以保證生成的組合的攻擊能力，特別是提高了對抗樣本在黑盒受害者模型上的可遷移性。

3 模型方法

? Adv-Makeup框架包括三個(gè)組成部分如下圖所示，即Makeup生成模塊、Makeup混合模塊和Makeup攻擊模塊。以沒有化妝源面部圖像和隨機(jī)帶有化妝品的人臉為輸入，Makeup生成模塊可以合成出具有逼真眼影的人臉。Makeup混合模塊是為了進(jìn)一步提高生成的對抗樣本在視覺上不可區(qū)分的質(zhì)量。Makeup攻擊模型引入細(xì)粒度的元學(xué)習(xí)方法，使得生成的人臉具有對抗能力，進(jìn)一步提高了黑盒條件下攻擊的可遷移性。

3.1 Makeup生成模塊

?給定源圖像${\mathbf{I}}_s\in {\mathbf{D}}_s$和化妝圖像${\mathbf{I}}_m\in {\mathbf{D}}_m$，使用人臉對齊方法去生成不同人臉的圍繞雙眼的Bounding-Box分別為${\mathbf{O}}_s$和${\mathbf{O}}_m$。將${\mathbf{O}}_s$作為生成器$G$的輸入，并生成人臉眼影${\hat{\mathbf{O}}}_s=G({\mathbf{O}}_s)$。接下計(jì)算區(qū)域${\mathbf{O}}_s\odot (1?\mathbf{M})+{\hat{\mathbf{O}}}_s\odot \mathbf{M}$，將該區(qū)域添加到源面部圖像${\mathbf{I}}_s$中得到合成的人臉圖像${\hat{\mathbf{I}}}_s$。為了提高生成的質(zhì)量，作者引入了一個(gè)判別器去鼓勵(lì)生成器生成的圖像更加真實(shí)逼真。相應(yīng)的生成器的損失函數(shù)和判別器的損失函數(shù)如下所示：$${\mathcal{L}}_{gen}={\mathbb{E}}_{{\mathbf{O}}_s}[\log (1?D(G({\mathbf{O}}_s))]$$$${\mathcal{L}}_{dis}=?[{\mathbb{E}}_{{\mathbf{O}}_m}[\log (D({\mathbf{O}}_m))]+{\mathbb{E}}_{{\mathbf{O}}_s}[\log (1?D(G({\mathbf{O}}_s))]]$$

3.2 Makeup混合模塊

? 為了消除邊界處明顯的偽影和眼影塊導(dǎo)致的風(fēng)格，作者提出了一種Makeup混合模塊來實(shí)現(xiàn)不易察覺性的生成。作者利用梯度約束目的是將損失函數(shù)轉(zhuǎn)化為一個(gè)可微函數(shù)，以減輕生成邊界上的變化。通過最小化損失函數(shù)，生成的面的圖像細(xì)節(jié)能夠被保留，同時(shí)改變顏色以匹配原始圖像。梯度約束損失${\mathcal{L}}_{grad}$定義為:$${\mathcal{L}}_{grad}=\Vert [?{\mathbf{I}}_s\odot (1?{\mathbf{M}}^{?})+?h({\hat{\mathbf{O}}}_{\mathbf{s}})\odot {\mathbf{M}}^{?}]??{\hat{\mathbf{I}}}_s{\Vert }_2^2$$其中${\mathbf{M}}^{?}$表示的是由$\mathbf{M}$擴(kuò)展與原圖像${\mathbf{I}}_s$尺寸相同的$0?1$掩模。為了增強(qiáng)風(fēng)格和內(nèi)容的整合，以更好地提高合成眼影的自然度，作者利用預(yù)先訓(xùn)練的VGG16模型來計(jì)算風(fēng)格損失${\mathcal{L}}_{style}$和內(nèi)容損失${\mathcal{L}}_{cont}$，其損失函數(shù)為
$${\mathcal{L}}_{cont}=\sum _{p=1}^P\frac{{\alpha }_p}{2N_p{M}_p}\sum _{j=1}^{N_p}\sum _{k=1}^{M_p}[(A_p[{\hat{\mathbf{I}}}_{\mathbf{s}}]?A_p[{\mathbf{I}}_s])\odot {\mathbf{M}}^{?}{]}_{jk}^2$$$${\mathcal{L}}_{style}=\sum _{p=1}^P\frac{{\beta }_p}{2N_p^2}\sum _{j=1}^{N_p}\sum _{k=1}^{N_p}(B_p[{\hat{\mathbf{I}}}_{\mathbf{s}}]?B_p[{\mathbf{I}}_s]{)}_{jk}^2$$其中$P$為卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)，$N_p$是激活的通道數(shù)，$M_p$是每個(gè)通道中激活值的數(shù)量。$A_p[?]\in {\mathbb{R}}^{N_p\times M_p}$是第$p$層神經(jīng)網(wǎng)絡(luò)的激活矩陣。$B_p[?]=A_p[?]A_p[?{]}^{?}\in {\mathbb{R}}^{N_p\times M_p}$是一個(gè)特征提取的Gram矩陣。

3.3 Makeup攻擊模塊

?為了使生成的Makeup具有對抗性，作者引入了一個(gè)針對人臉識別模型的攻擊損失函數(shù)，并利用預(yù)先訓(xùn)練的人臉特征提取器。模擬攻擊的損失可以表示為$$\mathcal{T}=1?\cos [F({\mathbf{I}}_t),F({\hat{\mathbf{I}}}_s)]$$其中${\mathbf{I}}_t\in D_t$表示的是目標(biāo)圖像。該損失函數(shù)目的是使得對抗樣本與目標(biāo)圖像相近。作者提出了細(xì)粒度的元學(xué)習(xí)對抗攻擊來提高黑盒的可遷移性。假定有$L$個(gè)預(yù)訓(xùn)練人臉識別模型即$\mathcal{F}=F_1,F_2,?,F_L$，然后選擇$L?1$模型作為元訓(xùn)練模型$$T_{tr}^i({\theta }_G)=1?\cos [F_i({\mathbf{I}}_t),F_i(G({\mathbf{I}}_s))]$$其中$i\in \{1,?,L?1\}$，${\theta }_G$是生成器的參數(shù)，$G({\mathbf{I}}_s)$表示Makeup生成的眼影伴隨著Makeup混合生成的臉的圖像。${\mathcal{T}}_{tr}^i(\theta )$表示的是不同模型分享同一個(gè)生成器，并從$L?1$個(gè)模型中收集到的梯度信息作為先驗(yàn)。當(dāng)更新參數(shù)${\theta }_G$為了獲得$i_{th}$個(gè)副本則有$${{\theta }^{\prime }}_G^i\leftarrow {\theta }_G?{\alpha }_1{?}_{{\theta }_G}{\mathcal{T}}_{tr}^i({\theta }_G).$$另外一個(gè)人臉識別模型$F_L$作為測試模型則有$${\mathcal{T}}_{te}^i({{\theta }^{\prime }}_G^i)=1?\cos [F_L({\mathbf{I}}_t),F_L(G({\mathbf{I}}_s))]$$為了在兩個(gè)階段收集所有信息，作者提出了一個(gè)聯(lián)合優(yōu)化策略。$$\begin{array}{rl}{\theta }_G^{\prime \prime }\leftarrow {\theta }_G& ?{\alpha }_1\sum _{i=1}^{L?1}{?}_{{\theta }_G}\left({\mathcal{T}}_{tr}^i\left({\theta }_G\right)+{\mathcal{T}}_{te}^i\left({\theta }_G^{\prime }\right)\right)\\ & ?{\alpha }_2?{\theta }_G{\mathcal{L}}_{gen}\left({\theta }_G\right)?{\beta }_1{?}_{{\theta }_G}{\mathcal{L}}_{grad}\left({\theta }_G\right)\\ & ?{\beta }_2{?}_{{\theta }_G}{\mathcal{L}}_{\text{cont?}}\left({\theta }_G\right)?{\beta }_3{?}_{{\theta }_G}{\mathcal{L}}_{\text{style?}}\left({\theta }_G\right)\end{array}$$

4 實(shí)驗(yàn)結(jié)果

?為了證明所提出的Adv-Makeup在數(shù)字圖像上的有效性，作者設(shè)計(jì)了多模型攻擊實(shí)驗(yàn)來展示性能的改進(jìn)，超越了其他攻擊所應(yīng)用的傳統(tǒng)集成對抗訓(xùn)練。作者選擇了七種不同的攻擊方法進(jìn)行比較，其中訓(xùn)練和測試范式嚴(yán)格遵循原始設(shè)置。如下表所示，每一列代表可遷移測試的剩余黑盒受害者模型的ASR結(jié)果。與其他攻擊相比，Adv-Makeup在所有受害者模型上實(shí)現(xiàn)了最佳的可遷移結(jié)果，并顯著優(yōu)于競爭對手。

?下圖展示了Adv-Makeup的人眼不可察覺性，由Adv-Makeup生成的六張對抗人臉圖像，每張臉圖像下面的兩個(gè)數(shù)字是由商業(yè)在線人臉識別系統(tǒng)給出的。對抗人臉和相應(yīng)的匹配結(jié)果表明，該方法對光照、姿態(tài)、性別和眼妝強(qiáng)度等多種干擾因素具有魯棒性。
?下圖展示了Adv-Makeup生成的攻擊區(qū)域具有視覺上最難區(qū)分的外觀，而其他形式需要更大的攻擊區(qū)域，比較的量化結(jié)果再次凸顯了Adv-Makeup在可遷移黑盒攻擊中的優(yōu)勢。

?如下圖所示，與當(dāng)前的物理攻擊相比，Adv-Makeup的攻擊強(qiáng)度明顯高于其他攻擊，這表明本文提出的方法可以在實(shí)際應(yīng)用中生成更好可遷移性的對抗樣本。

總結(jié)

以上是生活随笔為你收集整理的Adv-Makeup:一种新颖不易察觉且可迁移的人脸识别攻击方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。