曉查栗子安妮發(fā)自凹非寺
　　量子位出品公眾號(hào) QbitAI

　　ICML 2019 最佳論文來(lái)了！

　　今年，共有 3424 篇論文提交到這場(chǎng)一年一度的機(jī)器學(xué)習(xí)國(guó)際頂會(huì)上，大會(huì)共接收了 774 篇。有兩篇論文，從千軍萬(wàn)馬中脫穎而出，成為 ICML 2019 最佳論文。

　　這份大獎(jiǎng)花落誰(shuí)家？谷歌等一篇名為《挑戰(zhàn)無(wú)監(jiān)督分離式表征的常見(jiàn)假設(shè)》的論文，表明 (沒(méi)有歸納偏置的) 無(wú)監(jiān)督方法學(xué)不到可靠的分離式表征 (Disentangled Representations) 。

　　這項(xiàng)極富智慧和勇氣的研究，幾乎全面否定了現(xiàn)有的同行成果，也證明 Hinton 曾經(jīng)的觀點(diǎn)有問(wèn)題：

　　另一篇為《稀疏變分高斯過(guò)程回歸的收斂速率》，作者為劍橋大學(xué)的 3 位研究人員。

　　詳細(xì)看今年的最佳研究：

　　最佳論文1：分離式表征，沒(méi)法無(wú)監(jiān)督學(xué)習(xí)

　　先用一句話概括一下：谷歌大腦、ETH 蘇黎世、馬普所組成的團(tuán)隊(duì)測(cè)試了 12,000 個(gè)模型，對(duì)現(xiàn)有的無(wú)監(jiān)督分離式表征學(xué)習(xí)研究，發(fā)出了嚴(yán)重的質(zhì)疑。

　　理解高維數(shù)據(jù)，用無(wú)監(jiān)督的方式，把知識(shí)蒸餾成有用的表征，是深度學(xué)習(xí)的一個(gè)重要挑戰(zhàn)。

　　一種方法是利用分離式表征(disentangled representation) ：

　　模型可以捕捉到各種相互獨(dú)立的特征，如果其中一個(gè)特征改變了，其他特征不會(huì)受到影響。

　　這樣的方法一旦成功，就可以做出真實(shí)世界里也能用的機(jī)器學(xué)習(xí)系統(tǒng)，不論是給機(jī)器人，還是給自動(dòng)駕駛車，以便應(yīng)對(duì)訓(xùn)練中沒(méi)見(jiàn)過(guò)的場(chǎng)景。

　　不過(guò)，在無(wú)監(jiān)督的分離式表征學(xué)習(xí)上，新近的研究都很難看出這些方法到底有多好，局限又有多大。

　　谷歌 AI 團(tuán)隊(duì)給各種新近的成果，做了一個(gè)大規(guī)模的評(píng)估。評(píng)估結(jié)果對(duì)現(xiàn)有研究提出了嚴(yán)肅的挑戰(zhàn)。并且給分離式學(xué)習(xí)日后的研究，提供了一些建議。

　　什么叫大規(guī)模的評(píng)估？谷歌團(tuán)隊(duì)訓(xùn)練了12,000 個(gè)模型，覆蓋了目前最重要的方法，以及評(píng)估指標(biāo)。

　　重要的是，評(píng)估過(guò)程中用到的代碼，以及 10,000 個(gè)預(yù)訓(xùn)練模型，都已經(jīng)放出了。

　　它們共同組成了一個(gè)巨大的庫(kù)，叫做disentanglement_lib。讓后來(lái)的研究人員，可以輕松站到前人的肩膀上。

　　大規(guī)模測(cè)試過(guò)后，谷歌發(fā)現(xiàn)了兩個(gè)重大的問(wèn)題：

　　1、并沒(méi)有發(fā)現(xiàn)任何經(jīng)驗(yàn)證據(jù)，顯示無(wú)監(jiān)督方法可以學(xué)到可靠的分離式表征，因?yàn)殡S機(jī)種子和超參數(shù)似乎比模型的選擇 (Model Choice) 更重要。

　　也就是說(shuō)，就算訓(xùn)練了大量的模型，一部分得出了分離式表征，也很難在不看 ground truth 標(biāo)簽的情況下把這些表征找出來(lái)。

　　除此之外，好用的超參數(shù)值，也并沒(méi)有在多個(gè)數(shù)據(jù)集里都好用。

　　谷歌團(tuán)隊(duì)說(shuō)，這些結(jié)果吻合了他們提出的定理：

　　在數(shù)據(jù)集和模型沒(méi)有歸納偏置 (Inductive Biases) 的情況下，用無(wú)監(jiān)督的方法學(xué)習(xí)分離式表征是不可能的。

　　換句話說(shuō)，必須要在數(shù)據(jù)集和模型上，加個(gè)前提。

　　2、在參加評(píng)估的模型和數(shù)據(jù)集上，并沒(méi)有證實(shí)分離式表征對(duì)下游任務(wù)有幫助，比如：沒(méi)有證據(jù)表明用了分離式表征，AI 就可以用更少的標(biāo)注來(lái)學(xué)習(xí)。

　　給后來(lái)者的建議是：

• 鑒于理論結(jié)果證實(shí)，不帶歸納偏置 (Inductive Biases) 的、無(wú)監(jiān)督學(xué)習(xí)的分離式表征是不可能實(shí)現(xiàn)的，未來(lái)的研究應(yīng)該清楚地描述出歸納偏置，以及隱式和顯式的監(jiān)督方式。
• 為跨數(shù)據(jù)集的無(wú)監(jiān)督模型選擇，找到好用的歸納偏置，是一個(gè)非常關(guān)鍵的問(wèn)題。
• 用了分離式表征學(xué)習(xí)之后的產(chǎn)生的具體優(yōu)勢(shì)，應(yīng)該要證明出來(lái)。
• 實(shí)驗(yàn)，應(yīng)該有可以復(fù)現(xiàn)的實(shí)驗(yàn)設(shè)定，在多種多樣的數(shù)據(jù)集里適用。

　　順便提一句，這是一項(xiàng)中選了 ICLR 2019 workshop 的研究，卻最終成了 ICML 的最佳論文。

　　最佳論文2：稀疏變分高斯過(guò)程回歸的收斂速率

　　今年 ICML 的第二篇最佳論文是來(lái)自英國(guó)劍橋大學(xué)和機(jī)器學(xué)習(xí)平臺(tái) Prowler.io 的研究。

　　之前已經(jīng)有人開發(fā)出了一種高斯過(guò)程后驗(yàn)的極好變分近似。避免出現(xiàn)數(shù)據(jù)集大小為N，計(jì)算時(shí)間復(fù)雜度為O(N³)的情況，將計(jì)算成本降低到O(NM²)，其中M是一個(gè)遠(yuǎn)小于N的數(shù)。

　　雖然計(jì)算成本對(duì)于N是線性的，但算法的真正復(fù)雜度取決于如何增加M以確保一定的近似質(zhì)量。

　　本文通過(guò)描述向后 KL 散度（相對(duì)熵）上界的行為來(lái)解決這個(gè)問(wèn)題。研究者證明，若M比N增長(zhǎng)得更慢，KL 散度很有可能會(huì)變得任意小。一個(gè)特例是，對(duì)于在具有常見(jiàn)的平方指數(shù)核的D維正態(tài)分布輸入的回歸，只要 M = O (log_DN)就足夠保證收斂了。

　　結(jié)果表明，隨著數(shù)據(jù)集的增長(zhǎng)，高斯過(guò)程后驗(yàn)概率可以被非常容易地近似，并為如何在連續(xù)學(xué)習(xí)場(chǎng)景中增加M提供了一種具體的規(guī)則。

　　研究者證明了，從稀疏廣義回歸變分近似到后驗(yàn)廣義回歸的 KL 散度的邊界，它只依賴于之前核的協(xié)方差算子特征值的衰減。

　　這個(gè)邊界證明訓(xùn)練數(shù)據(jù)集中在一個(gè)小區(qū)域的光滑核允許高質(zhì)量、非常稀疏的近似。當(dāng)M?N時(shí)，真正稀疏的非參數(shù)推斷仍然可以提供對(duì)邊界似然性和逐點(diǎn)后驗(yàn)的可靠估計(jì)。

　　本文作者在最后指出，具有非共軛可能性的模型的擴(kuò)展，尤其是在 Hensman 等人的框架中由稀疏性引入的附加誤差，為未來(lái)的研究提供了一個(gè)有前景的方向。

　　這篇文章的第一作者是來(lái)自劍橋大學(xué)信息工程系的博士研究生 David Burt，他的主要研究領(lǐng)域是貝葉斯非參數(shù)和近似推理。

　　作者之一 Mark van der Wilk 是 Prowler.io 的研究者，他也是劍橋大學(xué)機(jī)器學(xué)習(xí)專業(yè)的在讀博士研究生，主要的研究領(lǐng)域是貝葉斯推理、強(qiáng)化學(xué)習(xí)、高斯過(guò)程模型等。

　　7 篇最佳論文提名

　　除了 2 篇最佳論文外，還有 7 篇論文獲得最佳論文提名，分別為：

　　1、Analogies Explained: Towards Understanding Word Embeddings（愛(ài)丁堡大學(xué)）

　　論文地址：https://arxiv.org/abs/1901.09813

　　2、SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver（CMU、南加州大學(xué)等）

　　論文地址：https://arxiv.org/abs/1905.12149

　　3、A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks（巴黎薩克雷大學(xué)等）

　　論文地址：https://arxiv.org/abs/1901.06053

　　4、Towards A Unified Analysis of Random Fourier Features（牛津大學(xué)、倫敦過(guò)國(guó)王學(xué)院）

　　論文地址：https://arxiv.org/abs/1806.09178

　　5、Amortized Monte Carlo Integration（牛津大學(xué)等）

　　論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

　　6、Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning（MIT、DeepMind、普林斯頓）

　　論文地址：https://arxiv.org/abs/1810.08647

　　7、Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement（荷蘭阿姆斯特丹大學(xué)等）

　　論文地址：https://arxiv.org/abs/1903.06059

　　國(guó)內(nèi)多所高校上榜

　　和往常相比，今年的 ICML 格外熱鬧。

　　德國(guó)博世公司抓取了 ICML 19 官網(wǎng)上的接收數(shù)據(jù)，將論文的接受比例、貢獻(xiàn)最多的機(jī)構(gòu)以及貢獻(xiàn)最大的個(gè)人作者統(tǒng)計(jì)了出來(lái)。不少國(guó)內(nèi)高校和學(xué)者榜上有名。

　　原統(tǒng)計(jì)地址：https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

　　今年，共提交了 3424 篇論文，接收了 774 篇，接收率為 22.6%。2018 年，ICML 的論文提交量為 2473 篇，接收 621 篇，接收率為 25%。

　　和去年相比，今年論文提交論文數(shù)量增長(zhǎng)不少，但錄取率降低。

　　那么，在這么多投稿機(jī)構(gòu)中，誰(shuí)是其中貢獻(xiàn)度最高的那一個(gè)？

　　博世統(tǒng)計(jì)了接收論文的機(jī)構(gòu)，排名標(biāo)準(zhǔn)是衡量一個(gè)機(jī)構(gòu)貢獻(xiàn)的論文總量，最終統(tǒng)計(jì)結(jié)果如下：

　　上圖紅色表示每個(gè)機(jī)構(gòu)包含的第一作者，綠色為最后包含的排名最后的作者

　　結(jié)果顯示，科技巨頭 Google 貢獻(xiàn)最多，MIT 第二，加州大學(xué)伯克利分校奪得季軍。

　　其中，清華大學(xué)、北京大學(xué)、南京大學(xué)、香港中文大學(xué)、上海交通大學(xué)、阿里巴巴等多個(gè)中國(guó)高校和公司榜上有名。

　　在這些接收論文中，來(lái)自學(xué)術(shù)界的論文數(shù)量遠(yuǎn)多于工業(yè)界，論文來(lái)源構(gòu)成如下：

• 452 篇論文（58.4％）為純學(xué)術(shù)研究
• 60 篇論文（7.8％）來(lái)自純產(chǎn)業(yè)界研究機(jī)構(gòu)
• 262 篇論文（33.9％）的作者同時(shí)隸屬于學(xué)術(shù)界和工業(yè)界

　　總體來(lái)看，學(xué)術(shù)界貢獻(xiàn)了 77% 的論文，產(chǎn)業(yè)界貢獻(xiàn)了 23%。

　　在這么多投稿的作者中，哪些作者的貢獻(xiàn)度最高？博世同樣對(duì)此進(jìn)行了統(tǒng)計(jì)。

　　結(jié)果顯示，加州大學(xué)伯克利分校的機(jī)器學(xué)習(xí)大牛 Michael Jordan 參與論文數(shù)量最多，EPFL（洛桑聯(lián)邦理工學(xué)院）教授 Volkan Cevher 位列第二，加州大學(xué)伯克利分校的 Sergey Levine 排名第三。

　　也有不少中國(guó)學(xué)者戰(zhàn)績(jī)頗佳，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系的教授朱軍、微軟亞洲研究院的劉鐵巖、清華大學(xué)軟件學(xué)院的龍明盛等都在 ICML 2019 發(fā)表了 4 篇論文。

　　傳送門

　　最后，附上今年的 ICML 2019 大會(huì)官網(wǎng)：

　　https://icml.cc/

總結(jié)

以上是生活随笔為你收集整理的否定现有同行，谷歌这篇烧脑研究最终拿下ICML2019最佳论文的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。