類激活圖CAM(class activate map)

關(guān)于類激活圖的前世今生

---

前言

從最古早的CAM開(kāi)始講起，以及它這些年的發(fā)展

---

文章鏈接：https://arxiv.org/pdf/1512.04150.pdf

開(kāi)源代碼：文章中有
發(fā)表年份：2016年 CVPR
作者：周博磊

CAM原文解讀

Learning Deep Features for Discriminative Localization

在這項(xiàng)工作中，我們重新討論了之前提出的平均全局池化層，并闡明了它如何在使用神經(jīng)網(wǎng)絡(luò)做圖像級(jí)標(biāo)簽上訓(xùn)練后任然具有顯著的定位能力。雖然平均池化（Global Average Pooling）這種技術(shù)以前就被使用過(guò)，但人民并沒(méi)有認(rèn)真思考它在特征表示上的作用。

1.介紹

盡管卷積層有很好的定位效果，但是它的定位能力在分類的全連接層中喪失了。（network in network）NIN中提出了在保持高性能的同時(shí)如何能避免使用全連接層–用GAP代替。只要稍微調(diào)整，整個(gè)卷積網(wǎng)絡(luò)就能保持很好的定位能力直到最后一層。

上圖展示了神經(jīng)網(wǎng)絡(luò)分類為刷牙和砍樹(shù)的類激活圖

2.Class Activation Mapping

選用與NIN或Google net類似的網(wǎng)絡(luò)結(jié)構(gòu)，僅僅在最后輸出層采用一個(gè)GAP操作。
令fk(x,y)表示最后一個(gè)卷積層的第k個(gè)特征圖在（x,y)處的值。然后對(duì)第k個(gè)特征圖用GAP。

因此，對(duì)于一個(gè)給定的類別C，softmax之前的概率Sc為:
將Fk公式帶入Sc中，有：

用Mc(x,y)表示類c在像素點(diǎn)（x,y)處的響應(yīng)值，

好吧，上面的公式都是論文里面的，證明該方法的理論？
下面純屬個(gè)人理解：
CAM的主要特點(diǎn)就是利用最后一個(gè)卷積層的特征圖，利用反向傳播找出每個(gè)通道對(duì)應(yīng)的權(quán)重，這個(gè)權(quán)重就表示該特征圖對(duì)分為當(dāng)前類別的重要性，權(quán)重越大說(shuō)明對(duì)應(yīng)的特征圖越重要。然后，將對(duì)應(yīng)的權(quán)重和特征圖相乘就得到最終的類激活圖。

文章的末尾放了很多實(shí)驗(yàn)結(jié)果，CAM這個(gè)方法在不降低分類性能的情況下還可以用作定位、分割等任務(wù)。有興趣的可以仔細(xì)閱讀全文。

CAM方法雖然可以定位，給出網(wǎng)絡(luò)判定為某一類的依據(jù)。理論推導(dǎo)也很充分，但是也存在很大的缺點(diǎn)：它需要對(duì)網(wǎng)絡(luò)進(jìn)行二次訓(xùn)練才能得到每張?zhí)卣鲌D對(duì)應(yīng)的權(quán)重，這是其在后期研究中一大缺點(diǎn)。

后面將繼續(xù)關(guān)注CAM的相關(guān)改進(jìn)–Grad-CAM!

總結(jié)

以上是生活随笔為你收集整理的类激活图CAM的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。