來自｜知乎 ?整理｜深度學(xué)習(xí)技術(shù)前沿? 深度學(xué)習(xí)這件小事

【導(dǎo)讀】本文結(jié)合總結(jié)梳理了知乎上“引用次數(shù)在15000次以上的都是什么論文？”這一問題的經(jīng)典回答，希望能幫助到各位進(jìn)一步了解領(lǐng)域內(nèi)的相關(guān)進(jìn)展。并且通過閱讀這些經(jīng)典論文或許也會給您帶來不少啟發(fā)。

作者：小牧牧

https://www.zhihu.com/question/433702668/answer/1617092684

1. 機(jī)器學(xué)習(xí)領(lǐng)域

我來列舉一些機(jī)器學(xué)習(xí)(Machine Learning)領(lǐng)域的高被引文章。

機(jī)器學(xué)習(xí)領(lǐng)域泰斗級學(xué)者Geoffrey Hinton的文章引用:

引用次數(shù)超過15000次文章有6篇。

ImageNet Classification with Deep Convolutional Neural Networks，引用75231次（AlexNet，點燃了深度學(xué)習(xí)的熱潮，因此2012年被認(rèn)為是深度學(xué)習(xí)元年，當(dāng)然要十分感謝ImageNet和GPU的加持）；

Learning internal representations by error-propagation?&?Learning representations by back-propagating errors，引用50716次（BP算法，殿堂級別的成果，幾乎所有關(guān)于神經(jīng)網(wǎng)絡(luò)的文章都會用到BP算法）；

Deep learning，引用33222次（“三巨頭”關(guān)于深度學(xué)習(xí)的綜述文章）；

Dropout: a simple way to prevent neural networks from overfitting，引用24452次（Dropout是一種防止深度學(xué)習(xí)模型過擬合的正則化方法，目前已被Google申請專利，面對封鎖，華為諾亞實驗室開源了Disout算法，直接對標(biāo)Google的Dropout）；

Visualizing data using t-SNE，引用16957次（t-SNE是一種流形學(xué)習(xí)方法，用于數(shù)據(jù)降維和可視化）。

Geoffrey Hinton谷歌學(xué)術(shù)引用次數(shù)

---

在機(jī)器學(xué)習(xí)領(lǐng)域還有一個泰斗級的人物Jürgen Schmidhuber，他的一篇文章Long short-term memory目前的引用量是40934次，是深度學(xué)習(xí)-循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y，Bengio Y和Hinton G在2015年發(fā)表在Nature上的文章Deep learning作者中沒有Jürgen Schmidhuber，不過Schmidhuber在2015也發(fā)表了一篇關(guān)于深度學(xué)習(xí)的綜述文章Deep learning in neural networks: An overview，目前的引用量是10917。后來，“三巨頭“獲得了2018年的“圖靈獎”，Schmidhuber和“三巨頭“在網(wǎng)絡(luò)上因為“成果引用”和“成果認(rèn)定”發(fā)生了大量的口水戰(zhàn)，這些都是后話了。

---

機(jī)器學(xué)習(xí)領(lǐng)域還有一些重要的成果，對應(yīng)的文章也有不俗的引用量。比如：

• 一直被對比，從未被超越的Adam，目前的引用量是60604次；

• 使神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快、更穩(wěn)定的Batch normalization，目前的引用量是22986次；

• 避免深層網(wǎng)絡(luò)訓(xùn)練時梯度消失或梯度爆炸的激活函數(shù)—線性整流函數(shù)ReLU（Rectified linear units improve restricted boltzmann machines），目前的引用量是11548次。

• Zisserman在2014年發(fā)表的關(guān)于VGGNet的文章Very deep convolutional networks for large-scale image recognition，目前的引用量是48691次。Google在2015年發(fā)表的關(guān)于GoogLeNet的文章Going deeper with convolutions，目前的引用量是26353次。何凱明2016年的文章Deep residual learning for image recognition，提出的多達(dá)152層ResNet，目前的引用量是63253次。2016年提出的用于目標(biāo)檢測的Faster R-CNN，目前的引用量是24215次。

女神李飛飛構(gòu)建的ImageNet是計算機(jī)視覺(Computer vision)領(lǐng)域非常著名的大型數(shù)據(jù)集，關(guān)于ImageNet的論文ImageNet: A large-scale hierarchical image database發(fā)表時間是2009年，目前的引用量是23395次，AlexNet就是在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC)上一舉成名，自此點燃了深度學(xué)習(xí)的熱潮，可見大規(guī)模數(shù)據(jù)對于深度學(xué)習(xí)的重要性。

經(jīng)常被調(diào)侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次，這篇文章提出的Transformer是自然語言處理(NLP)領(lǐng)域的重要成果，它的出現(xiàn)迅速取代了LSTM在NLP領(lǐng)域的霸主地位，像BERT、GPT這樣的SOTA模型均采用Transformer。NLP領(lǐng)域的另一個重量級成果是word2vec，作者是來自Google的Tomas Mikolov，關(guān)于word2vec的兩篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分別是24323次和19220次（感謝@ccking的提醒），其實我一直覺得NLP比圖像處理問題復(fù)雜的多，最讓人頭疼的莫過于如何將語言數(shù)字化，我對此的了解僅限于One-hot encoding，實在是太難了。

谷歌大神Ian Goodfellow的關(guān)于GAN的文章Generative adversarial nets目前的引用量是25592次，關(guān)于GAN究竟是誰提出來的我就不得而知了，但是Schmidhuber在這個問題上肯定有很多話要說，至于Schmidhuber究竟說了些啥，參見：鄭華濱：從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念（文字版）。

Hinton老爺子在2006年提出的深度置信網(wǎng)絡(luò)(DBN)被普遍認(rèn)為是深度學(xué)習(xí)的前夕，關(guān)于DBN的兩篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分別是14370次和13659次，DBN是Hinton老爺子最引以為傲的成果，它是一種由多個限制玻爾茲曼機(jī)(RBM)堆棧而成的概率生成模型，是最初訓(xùn)練深度網(wǎng)絡(luò)的一種方法，盡管目前深度學(xué)習(xí)模型不再需要這種預(yù)訓(xùn)練，但它的思想仍然影響著當(dāng)前的研究工作。

2.?計算機(jī)視覺領(lǐng)域

這里重點盤點一下AI領(lǐng)域，特別是CV方向的論文。

值得說一下，自從2012年，特別是2014年后，AI領(lǐng)域再度火爆，延續(xù)至今，很多優(yōu)秀論文（特別是基于深度學(xué)習(xí)）也是發(fā)表在這個期間，引用量也迅速爆炸。

• 注：下面會邊介紹作者，邊介紹論文，側(cè)重點有點不同。

計算機(jī)視覺領(lǐng)域引用量1.5萬+的論文

Andrew Zisserman（傳聞歐洲計算機(jī)視覺第一人）

第一篇引用量近5萬的是：深度學(xué)習(xí)時代的經(jīng)典backbone模型VGG：Very deep convolutional networks for large-scale image recognition

第二篇引用量近3萬，這其實是一本書《Multiple view geometry in computer vision》，可稱為深度學(xué)習(xí)時代前的CV必讀之作（現(xiàn)在其實也強(qiáng)推，但不少新入坑CV的人，直接跳過這些基礎(chǔ)知識，去玩CNN了）

Jitendra Malik

加州大學(xué)伯克利分校的電子工程與計算機(jī)科學(xué)系(EECS)教授 Jitendra Malik獲頒 2019 年 IEEE 計算機(jī)先驅(qū)獎。

第一篇引用量近4萬，算是12年之前人工智能最經(jīng)典的書籍，內(nèi)容覆蓋范圍相當(dāng)之廣。不過Jitendra Malik并非一二作，所以搜索該書的時候，不容易看到他的名字。

第二篇引用量近1.7萬，基于傳統(tǒng)方法的圖像分割代表作！

下面說說深度學(xué)習(xí)三巨頭（Hinton、Bengio和LeCun）

Geoffrey Hinton

Hinton老爺子的代表作太多了，1.5萬+引用量的論文見下圖（6篇）。比如

第一篇引用量7.5萬+，發(fā)表于2012年的AlexNet！永遠(yuǎn)滴神！

第二篇引用量3.3萬+，是為了紀(jì)念人工智能60周年，深度學(xué)習(xí)三巨頭合作在Nature上發(fā)表深度學(xué)習(xí)的綜述性文章：Deep Learning

還有4篇破1.5萬引用量的論文，這里不贅述，膜拜即可！

Yoshua Bengio

Bengio教授的代表作也太多了，1.5萬+引用量的論文見下圖（5篇）。比如：

第一篇上面說過了，是深度學(xué)習(xí)三巨頭合著的。

第二篇引用量3萬+，這是和LeCun提出了當(dāng)時風(fēng)靡一時的字符識別器（當(dāng)時就是典型落地應(yīng)用）

第三篇引用量2.5萬+，這是和Goodfellow提出了鼎鼎大名的GAN！

第四篇引用量2萬+，這是和Goodfellow發(fā)布了深度學(xué)習(xí)時代的"圣經(jīng)"書籍：Deep Learning，國內(nèi)不少人又稱為花書。

Yann LeCun

LeCun大佬的兩篇破1.5萬的工作，上面已經(jīng)介紹了。

Luc Van Gool

Luc Van Gool 蘇黎世聯(lián)邦理工學(xué)院教授，據(jù)了解，有若干中國學(xué)生曾師從于他。

這篇近3萬引用量就是非常著名的SURF算法

上面提到SURF算法，就不得不提SIFT算法。

David Lowe

SIFT算法引用量近6萬！其是手工特征時代的最具代表性工作！SURF、ORB在它面前都是弟弟，截止目前SIFT仍被廣泛應(yīng)用，相當(dāng)能打！

Trevor Darrell

第一篇引用量近2萬，鼎鼎大名的基于FCN的語義分割網(wǎng)絡(luò)！

第二篇引用量1.5萬+，鼎鼎大名的R-CNN目標(biāo)檢測網(wǎng)絡(luò)。

李飛飛（Li Fei-Fei）

李飛飛女神，創(chuàng)建了ImageNet數(shù)據(jù)集和相關(guān)賽事~ 影響力巨大

上述主要是AI、CV領(lǐng)域的大前輩（年齡基本40+），這里重點介紹幾位"新秀"：

何愷明（Kaiming He）

做CV的應(yīng)該都聽過何愷明，有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。

第一篇是目前CV主流使用的backbone：ResNet，永遠(yuǎn)滴神！

第二篇是目標(biāo)檢測領(lǐng)域代表性網(wǎng)絡(luò)：Faster R-CNN

估計17年發(fā)表的Mask R-CNN 也快破1.5萬引用量了

Ross Girshick

他與何愷明算是合作搭檔，都在FAIR工作，有不少合作的工作。

有鼎鼎大名的R-CNN系列工作，合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。

Ian Goodfellow

GAN 之父！下面三個工作都是目前頂級活躍的，比如GAN、Deep Learning書籍和TensorFlow框架

任少卿（Shaoqing Ren）

Faster R-CNN一作！貌似現(xiàn)在不做研究了，主要在企業(yè)（目前在蔚來）擔(dān)任技術(shù)主管/副總裁。

其實CV領(lǐng)域還有很多超1.5萬的論文，限于篇幅這里就不一一盤點：

作者：BeyondSelf

https://www.zhihu.com/question/433702668/answer/1624083551

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。

我梳理一下通信和圖像處理方面，讀過的一些經(jīng)典的，超過15000引用的論文.

1. A Mathematical theory of communication

引用次數(shù)：78680

評價：開創(chuàng)了信息論，直接奠定了通信的發(fā)展，大名鼎鼎的香農(nóng)三定理和熵的概念就是在這篇文章中提出的。沒有它，就沒有WiFi和5G，也沒有我們刷著知乎聽著歌

2.?A combined coerner and edge detector

引用次數(shù)：18167

評價：提出了角點特征，能夠檢測圖片中的角點、邊緣和圖片。是圖像特征提取的代表作，是圖像分割、匹配等的基礎(chǔ)。

3.?Distinctive image features from scale-invariant keypoints

引用次數(shù)：59561

評價：大名鼎鼎的SIFT特征，具有尺度、方向、仿射不變性，和上一篇論文的Haris特征一起，成為圖像特征提取的兩個最重要技術(shù)。

4.?Object recognition from local scale-invariant features

引用次數(shù)：20100

評價：David Lowe的另一篇文章，說的是利用尺度不變特征來進(jìn)行目標(biāo)識別

5.?Compressed Sensing

引用次數(shù)：27557

評價：壓縮感知的代表作之一，將采樣和壓縮過程結(jié)合起來同時進(jìn)行，直接對信號的稀疏性進(jìn)行感知。

6.?Robust Uncertainty Principles: Exact Signal Reconstruction From Highly Incomplete Frequency Information

引用次數(shù)：16700

評價：壓縮感知的另一篇代表作

7. ?A new approach to linear filtering and prediction problems

引用次數(shù)：35070

評價：提出了著名的卡爾曼濾波。如果你沒聽說過卡爾曼濾波不要僅，但你一定點過外賣，打過滴滴，甚至美國阿波羅號上天也用過它，根據(jù)測量值和狀態(tài)方程修正真實值，就是它干的事情，

8. A computational approach to edge detection

引用次數(shù)：35942

評價：邊緣檢測的另一篇代表作

9. Gradient-based learning applied to document recognition

引用次數(shù)：32192

評價：LeCun的經(jīng)典論文，做過機(jī)器學(xué)習(xí)的都知道，沒做過機(jī)器學(xué)習(xí)的也一般聽說過MNIST數(shù)據(jù)集

作者：遠(yuǎn)處群山

https://www.zhihu.com/question/433702668/answer/1622573162

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。

引用一萬五千次以上的論文相當(dāng)罕見，基本上都屬于開山之作，開創(chuàng)了某個中等或者大領(lǐng)域的作品。也可以說是養(yǎng)活了很多人的作品...

現(xiàn)在深度學(xué)習(xí)的論文里15000次引用的挺多的，看到也有其他答主總結(jié)了，我就重點說下信號處理和圖像處理的經(jīng)典論文，

壓縮感知的兩篇開山之作：

• Donoho D L. Compressed sensing[J]. IEEE Transactions on information theory, 2006, 52(4): 1289-1306. 27000次引用

• Candès E J, Romberg J, Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on information theory, 2006, 52(2): 489-509. 16000次引用

統(tǒng)計學(xué)習(xí)里大名鼎鼎的LASSO：

• Tibshirani R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288. 引用35000次

統(tǒng)計學(xué)習(xí)的圣典：

• Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273-297.

圖像分割的開山之作normalized cut：

• Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. 引用16000次

同樣來自Malik老師的圖像去噪神作——擴(kuò)散濾波，威名赫赫的Perona-Malik模型，多少PDE-based image processing methods就是源自這里：

• Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on pattern analysis and machine intelligence, 1990, 12(7): 629-639. 引用15000次

圖像去噪的又一神作，超級經(jīng)典的全變差模型：

• Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: nonlinear phenomena, 1992, 60(1-4): 259-268. 引用15000次

無比經(jīng)典的SIFT圖像特征檢測以及方向梯度直方圖（HOG）模型，做圖像處理的應(yīng)該沒有不知道這兩個的：

• Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110. 58000次引用

• Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). IEEE, 2005, 1: 886-893. 32000次引用

做圖像恢復(fù)的人肯定都知道SSIM這個指標(biāo)，出自這篇文章：

• Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612. 引用27000

大家還知道哪些引用率超高的重量級文章呢？歡迎在留言區(qū)討論！

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請掃碼： 與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【深度学习】引用次数在15000次以上的都是什么神仙论文？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。