一個神經元能夠催生多少故事？香港中文大學信息工程系助理教授周博磊近日撰文介紹了他自 2015 年開始至今對神經元的研究經歷。最近，他與 David Bau、朱俊彥等人合作的神經元研究論文發表在了 PNAS 雜志上。

>>>>

以下是周博磊的原帖內容：

憋了好久的一個工作，終于發表在九月份的 PNAS 雜志上。David 大叔還專門做了一個課題網站，數據和代碼也一并公布了。感謝 MIT 團隊的合作，算是終于達到圓滿狀態。論文目的，是為了理解一個神經元的價值。

論文：Understanding the Role of Individual Units in a Deep Network

• 論文地址：https://www.pnas.org/content/pnas/early/2020/08/31/1907375117.full.pdf
  

• 網站地址：http://dissect.csail.mit.edu/

論文本身并不是重點，我只是想寫一個簡單的總結，來講講這個持續了 5 年的關于探索一個神經元的價值以及一個神經病的堅持之旅。

我死磕在卷積網絡中單個神經元語義的研究上有很長一段時間了。最早是 2015 年讀博期間發表的那篇 ICLR'15 論文《Object Detectors Emerge in Deep Scene CNNs》，它至今是我最喜歡的幾篇論文之一。

這篇論文可視化了場景分類網絡內部的神經元，我們發現有一部分神經元演化出了對特定語義檢測的功能，比如下圖所示的各種物體檢測器。這里有意思的點是，在訓練這個場景分類卷積網絡的時候，我們給予的標簽都是場景標簽，并沒有任何物體標定，所以說這些神經元是自然而然地演變成物體檢測器，有些弱監督以及非監督的思想，但又不完全一樣。幾年前我為此專門寫過一個回答：現在的深度學習的模型越來越大，有個結論是說，大腦的激活是非常稀疏的，對模型參數有什么好的辦法壓縮嗎？

后來 2016 年的時候，為了建立神經網絡分類結果與內部神經元的激活的聯系，我開發了一個簡單的方法，叫 Class Activation Mapping (CAM)。CAM 可以疊加神經元的激活相應，從而生成一張熱力圖來高亮圖片里跟預測最有關聯的區域。于是我就誤打誤撞有了我自己引用數量最高的一篇論文 ^,^。

其實這篇工作的初衷只是分析神經元與下游任務的關聯，當時這篇論文因為方法太簡單被 ICCV'15 拒過一次，差點就發表不出來了，方法本身也不被當時的導師 Antonio 看好，誰又知道它后來會成為如此高引的工作呢……

這個方法后來被用到弱監督定位上面，在給定圖片標簽的情況下做物體定位，被一堆方法吊打。不過今年 CVPR'20 上韓國的 clovaai 團隊把幾個常用的弱監督定位的方法做了個客觀的比較 (Benchmarking)。有意思的結果是，5 個基于 CAM 開發的發表在頂會的弱監督定位算法最后都沒能跑過當年的這個 CAM。同學們，多審視下自己的工作，出來混總是要還的。

再后面 2017 年，50 幾歲財務自由后回 MIT 讀博士的 David Bau 大叔加入了實驗室，我跟他一起合作了一個叫 Network Disp 的方法。NetDissect 可以通過標定好的數據庫來給神經元打上語義標簽以及置信度，從而我們可以通過比較具有語義的神經元的多少來量化不同網絡的可解釋性。

再后來 2018 年臨近畢業，DeepMind 出了篇打臉論文《On the importance of single directions for generalization》，大致意思是說研究 single unit 的語義并沒有多少意義，反而在某些情況下會損害網絡的泛化能力。他們的一個核心實驗結果是，不管是去掉高語義或者去掉低語義的神經元，對網絡的整體分類準確度的損害 (overall accuracy drop) 都是無差異的，所以神經元的語義沒有意義。

這怎么能忍，我當時在畢業前夕還一周狂做實驗折騰出了一篇反打臉文章《Revisting the Importance of Single Units》，指出 DeepMind 那篇論文只是分析了神經元對整體分類準確度的影響，而忽略了對不同類別的分類結果的影響 (class accuracy drop)。一個重要結果是，去掉高語義的神經元，會對某些特定類別的分類有毀滅性影響。

比如說下圖結果所示，是去掉某個檢測水流的神經元后所有類別分類準確度下降程度 (class accuracy drop) 的排序，排在前面損害最大的類別是 waterfall, fountain, hot_spring 等等，其中對 waterfall 的準確度有接近 - 50% 的損害。另一方面，如右下角所示，去掉這個神經元對整體的分類準確度影響卻很微弱，原因是有些類別（最右邊）會受益于去掉這個神經元，這也是比較有意思的一個現象，難道是 antifragle？另外，該文章還分析了一些網絡訓練的 regularizer 對表征的影響，比如說 dropout 會降低神經元的語義特性等等。后來因為諸多原因這篇論文也沒有再繼續投稿，一直留在 arXiv 上了。

2018 年我從 MIT 畢業之后，David 接手了探索單個神經元價值的擔子，把 netdissect 進一步擴展到生成網絡，一年產出了一系列交互性很強的優秀工作，如 GAN disp、GAN Paint，通過打開和關閉某個語義的神經元來給圖片里增加和刪除某些內容。

?

再后來 2020 年的現在，有了這篇 PNAS 雜志論文。這份論文把之前的一系列解析一個神經元價值的工作整合起來，通過打開和關閉神經元的簡單操作，量化分析了場景分類網絡和生成網絡里面一個神經元的價值，并且在解釋對抗樣本和圖片編輯上面做了應用。這篇論文的 editor 是 David Donoho 大神，感覺檔次就很不一樣，PNAS 應該是僅次于 CNS 級別的雜志了吧 :-)。審稿前后弄了快一年，好在隊友 David 和俊彥的實驗, 作圖、寫作都是超一流。感謝隊友的 carry。

洋洋灑灑寫了這么多，這篇論文的具體內容還是大家自己去看吧。我這里只是想把這個斷斷續續持續了 5 年的「一個神經元的價值」之旅，以及讓自己廢寢忘食如神經病一樣堅持的研究課題記錄下來。

一個神經元的價值，都快熬成了神經病一般的堅持。在現在這個 AI 論文泛濫和內卷的大形勢下，又還有多少課題可以再讓人像神經病一樣堅持 5 年之久呢，但愿人人都能找到自己的價值和堅持所在。

原文鏈接：https://zhuanlan.zhihu.com/p/237430657

—THE END—

編輯?∑Gemini

來源：機器之心

文章推薦

?最全數學各個分支簡介

?十大中國數學之最

?數學和編程

?機器學習中需要了解的 5 種采樣方法

?北大讀博手記：怎樣完成自己的博士生涯？非常具有指導性！

?施一公：為什么要獨立思考、為什么要尊重科學？

總結

以上是生活随笔為你收集整理的周博磊自述5年研究经历：一个神经元的价值和一个神经病的坚持的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。