無(wú)導(dǎo)師、無(wú)同伴、無(wú)資金援助，在這樣的條件下「為發(fā)頂會(huì) Paper 而戰(zhàn)」是一種怎樣的體驗(yàn)？

機(jī)器學(xué)習(xí)領(lǐng)域的獨(dú)立研究者 Andreas Madsen 用7個(gè)月的時(shí)間成就一篇 ICLR Spotlight 論文，為黑暗中默默探索的獨(dú)立研究者們帶來(lái)希望！當(dāng)然，他本身也是一名技術(shù)達(dá)人，機(jī)會(huì)從來(lái)只留給有準(zhǔn)備的人！

而值得一提的是，驅(qū)動(dòng)Andreas Madsen 嘗試發(fā)頂會(huì)論文的原因，則是他在申請(qǐng)博士入學(xué)資格過(guò)程中四處碰壁的經(jīng)歷。

一個(gè)擁有機(jī)器學(xué)習(xí)碩士學(xué)位、豐富的機(jī)器學(xué)習(xí)開(kāi)發(fā)經(jīng)驗(yàn)，同時(shí)也發(fā)表過(guò)一些重要論文的研究者竟然只因沒(méi)有發(fā)過(guò)頂會(huì)論文，而被一眾教授拒之門(mén)外？

這一現(xiàn)象在他看來(lái)，其實(shí)更像是學(xué)術(shù)界的一種「新精英主義」，最終會(huì)放大已經(jīng)對(duì)這一行業(yè)產(chǎn)生了挑戰(zhàn)的固有偏見(jiàn)。

對(duì)此，他最后呼吁：學(xué)術(shù)應(yīng)該有清流，不應(yīng)唯論文論！

以下為他親自撰寫(xiě)的經(jīng)驗(yàn)分享：

2019年4 月，為了在重要的學(xué)術(shù)會(huì)議上發(fā)表論文，我下定決心成為了一名獨(dú)立研究者。終于，在 2019 年 12 月，經(jīng)歷了漫長(zhǎng)的七八個(gè)月沒(méi)有資助的研究工作，我成功了！我的論文被 ICLR 接收了，更令人欣慰的是：這篇論文被接收為Spotlight論文！

在我將這篇論文發(fā)布在 Twitter 平臺(tái)上后，它迅速地傳播開(kāi)來(lái)，為像我一樣的研究者帶來(lái)了希望。因此，我迄今為止收到了近 100 條私信，他們都在征詢我的意見(jiàn)，想知道如何作為一名獨(dú)立研究者發(fā)表論文。

在本文中，我會(huì)向大家提出一些這方面的建議。但是，更重要的是，我想談?wù)劄槭裁次疫x擇成為一名獨(dú)立研究者。要知道，在沒(méi)有任何資金支持的情況下工作 7 個(gè)月并非兒戲，這種做法值得大家慎重考慮！

圖 1：是的！我的第一篇頂會(huì)論文本ICLR接收為spotlight了！我們將DeepMind的論文「NALU」中的性能提升了 3-20倍。我在沒(méi)有任何資助的情況下，作為獨(dú)立研究者，花了 7-8個(gè)月完成了這份工作。

• 論文地址：https://openreview.net/forum?id=H1gNOeHKPS。

• 代碼地址：https://github.com/AndreasMadsen/stable-nalu

我為什么選擇成為一名獨(dú)立研究者

2018 年 3 月，我在「distill.pub」平臺(tái)上作為唯一作者發(fā)表了論文「Visualizing memorization in RNNs」，說(shuō)明了針對(duì)自然語(yǔ)言處理任務(wù)，如何通過(guò)一種交互式的顯著性可視化技術(shù)，證明兩個(gè)準(zhǔn)確率幾乎一樣的模型具有差異極大的表現(xiàn)。

• 論文地址：https://distill.pub/2019/memorization-in-rnns

圖 2：在Distill上發(fā)表的第一篇論文「Visualizing memorization in RNNs」

曾經(jīng)，我認(rèn)為憑借上面提到的這篇論文和我的機(jī)器學(xué)習(xí)碩士學(xué)位，就足以申請(qǐng)到博士入學(xué)資格，或者是研究型軟件工程師、實(shí)習(xí)項(xiàng)目或者機(jī)器學(xué)習(xí)工程師的職位了。所以我就開(kāi)始向許多教授發(fā)博士申請(qǐng)信，同時(shí)向谷歌、微軟、Rakuten、ElementAI、英偉達(dá)、Hypefactors、英特爾、京東、亞馬遜、三星、Shift Technology、Corti 等公司求職。

然而最終，我竟然連一個(gè)面試機(jī)會(huì)都沒(méi)得到！

在應(yīng)聘谷歌的研究型軟件工程師時(shí)，甚至有一名谷歌的高級(jí)研究員找到我，他鼓勵(lì)我申請(qǐng)他們部門(mén)的職位，并正式推薦了我。為保險(xiǎn)起見(jiàn)，我還請(qǐng)求了另一名谷歌的高級(jí)軟件工程師內(nèi)推我，他曾經(jīng)與我在開(kāi)源的Node.js 項(xiàng)目上有過(guò)很多合作。

盡管如此，我還是沒(méi)有得到面試機(jī)會(huì)，也沒(méi)有 HR 聯(lián)系我，了無(wú)音訊！

現(xiàn)實(shí)情況是：「一兩篇機(jī)器學(xué)習(xí)頂會(huì)頂刊論文是十分重要的」

在申請(qǐng)期間，我收到了一位教授的回信：

非常感謝你的郵件，內(nèi)容非常有趣。一般來(lái)說(shuō)，現(xiàn)在想要申博士學(xué)位，沒(méi)有一兩篇頂會(huì)頂刊上的機(jī)器學(xué)習(xí)/NLP 論文是相當(dāng)困難的。你在 Distill上發(fā)表的論文和你在工業(yè)領(lǐng)域的經(jīng)驗(yàn)在一定程度上彌補(bǔ)了這一點(diǎn)。不幸的是，我現(xiàn)在沒(méi)有可供申請(qǐng)的空缺名額?！獊?lái)自 QS 全球排名 Top 100 的大學(xué)的一名教授。

我的一位朋友（認(rèn)識(shí)另一所大學(xué)的前委員會(huì)成員），則收到了下面的回信：

最好的人工智能博士項(xiàng)目要求申請(qǐng)者已經(jīng)在頂會(huì)上發(fā)表過(guò)論文。如果你并沒(méi)有在ACL/EMNLP/CVPR/ICCV/NeurIPS或 ICML 上發(fā)表過(guò)論文，你被錄取的幾率就非常小了?！?QS 全球排名 Top 5 大學(xué)的前委員會(huì)成員。

當(dāng)然，我也收到了一些其它的郵件（大多數(shù)人并沒(méi)有回復(fù)我），那些教授說(shuō)得沒(méi)有這么直白，但是對(duì)我的申請(qǐng)也完全不感興趣。

我想，他們實(shí)際上也要求申請(qǐng)者擁有一兩篇頂會(huì)論文，但并不想直接承認(rèn)這一點(diǎn)，因?yàn)檫@種糟糕的標(biāo)準(zhǔn)只對(duì)那些非常幸運(yùn)的學(xué)生們有利?！掖T士期間就讀的大學(xué)并沒(méi)有鼓勵(lì)我們?nèi)グl(fā)表論文。但是丹麥同樣也是一個(gè)讀碩士的好地方。

所以，想要在沒(méi)有內(nèi)推的情況下申請(qǐng)到博士學(xué)位，你本身就需要擁有可以拿到半個(gè)博士學(xué)位的成果。

這就是事實(shí)！為了實(shí)現(xiàn)我自 2011 年以來(lái)的夢(mèng)想，我需要發(fā)表 1-2 篇頂會(huì)論文。于是，在 2019 年 4 月，我決定全身心投入到科研工作直到 2020 年 1月，力爭(zhēng)在 NeurIPS 或者 ICLR 上發(fā)表論文。如果最終還是沒(méi)有成功，那我就會(huì)去做一名 JavaScript 程序員。

如何為自己提供資金支持？

我如何才能找到自己的研究思路？怎樣才能為我自己提供資金支持？這是我到目前為止被問(wèn)最多的問(wèn)題。然而，雖然這些問(wèn)題確實(shí)有待解決，但我覺(jué)得它們其實(shí)沒(méi)有那么重要。

實(shí)際上，有很多方法可以發(fā)掘研究思路；如果你不用負(fù)擔(dān)別人的開(kāi)支，有很多辦法可以自己省錢(qián)。你可以進(jìn)入一種「孤獨(dú)地生活，但不放棄理智和希望」的狀態(tài)，這并不會(huì)讓你感到十分難受。

在 2017 年 9 月至 2018 年 10 月期間，我一直都是一名自由職業(yè)者。在我剛開(kāi)始成為獨(dú)立研究者時(shí)，我的朋友 Emil Bay 向NearForm 推薦了我，他們想做一個(gè)名為「clinic.js」的新項(xiàng)目。該項(xiàng)目不僅需要工程師對(duì)Node.js 的內(nèi)部實(shí)現(xiàn)有詳細(xì)的了解，還要求具備統(tǒng)計(jì)學(xué)背景和網(wǎng)頁(yè)可視化技術(shù)。

這個(gè)項(xiàng)目簡(jiǎn)直就是為我量身定制的！此前，我做過(guò)大量的可視化工作，參與了與Node.js 內(nèi)部實(shí)現(xiàn)相關(guān)的工作長(zhǎng)達(dá) 6 年的時(shí)間，并且剛剛?cè)〉昧藱C(jī)器學(xué)習(xí)碩士學(xué)位。所以，我在這個(gè)項(xiàng)目中獲得了豐厚的報(bào)酬。如果我能將自己的開(kāi)支消費(fèi)控制在非常低水平，這份報(bào)酬足以支持我進(jìn)行 3 到 4 年的研究。

可以說(shuō)在資金方面，我非常幸運(yùn)。但是，丹麥?zhǔn)且粋€(gè)消費(fèi)水平很高的國(guó)家，或許在另外的國(guó)家資助自己完成研究會(huì)更加容易。

2019 年，他們也曾邀請(qǐng)我為其在 NodeConf EU 2019 上推出的物聯(lián)網(wǎng)智能手表/胸牌開(kāi)發(fā) TensorFlow 組件。雖然這筆收入不足以支撐我全年的所有開(kāi)支，但也對(duì)我?guī)椭艽蟆?/p>

圖 3：本文作者開(kāi)發(fā)的智能手表設(shè)備

好的研究思路從何而來(lái)？

正如我所說(shuō)，可以有很多種方法發(fā)掘研究思路，所以不要太在意我的說(shuō)法，要充分發(fā)揮你自己的創(chuàng)造性。

2019 年 2 月，我回到母校參加了一個(gè)人工智能學(xué)生社團(tuán)的開(kāi)幕式活動(dòng)，希望與之前的導(dǎo)師談?wù)勆暾?qǐng)博士的事情。但遺憾的是，他也無(wú)法為我提供任何的入學(xué)機(jī)會(huì)。

然而，我卻遇到了 Alexander R Johansen，他是一位助理研究員，想要尋找合作伙伴。2019 年 3 月下旬，我寫(xiě)信給他，他告訴我他的幾名學(xué)生嘗試復(fù)現(xiàn) DeepMind 的論文「NALU」，但都以失敗告終。所以，他問(wèn)我是否愿意對(duì)此進(jìn)行研究，也許我們可以由此寫(xiě)出一篇 NeurIPS 論文。

我的碩士學(xué)位論文和在 Distill 上發(fā)表的論文都是對(duì)其他人夸大或具有誤導(dǎo)性的作品進(jìn)行批判性思考，然后改進(jìn)這些工作。而且這項(xiàng)研究的難點(diǎn)在于優(yōu)化，而我對(duì)此卻很擅長(zhǎng)。所以，我覺(jué)得自己可以勝任這項(xiàng)任務(wù)。

幾乎所有發(fā)表的論文都會(huì)對(duì)其性能進(jìn)行夸大，所以改進(jìn)他人的工作是一種可行的研究策略。

我的建議就是如此。這并不是一種非常具有啟發(fā)意義的尋找研究思路的策略，在這個(gè)過(guò)程中你也會(huì)遇到一些重大的挑戰(zhàn)，但的確是一種可行的策略。

下面，我們來(lái)看看什么是最重要的！

研究之路再孤獨(dú)，也不要失去理智和希望

作為一名獨(dú)立研究者，你可能很難獲得來(lái)自任何人的鼓勵(lì)。當(dāng)然，我也知道，許多博士生導(dǎo)師也不會(huì)鼓勵(lì)他們自己的學(xué)生，但這些學(xué)生可以從處于類(lèi)似困境中的同門(mén)那里尋求鼓勵(lì)。而一名獨(dú)立研究者想要得到這樣的鼓勵(lì)幾乎是不可能的，這也是我建議大家不要成為獨(dú)立研究者的首要原因。

作為論文的第一作者，在寫(xiě)論文的過(guò)程中，背后沒(méi)有與你感同身受的人支持你是很難熬的。這是我建議大家不要成為獨(dú)立研究者的首要原因。

每個(gè)人都多多少少需要一些鼓勵(lì)。不要以為在沒(méi)有任何鼓勵(lì)的情況下，你自己也能撐過(guò) 7 個(gè)月。我一直在擔(dān)心出現(xiàn)下面的情況：找不到解決方案、遭遇不公正的同行評(píng)審、得不出有用的實(shí)驗(yàn)結(jié)果、發(fā)現(xiàn)工作中存在某些重要缺陷、甚至擔(dān)心即便論文發(fā)表了也會(huì)因?yàn)檎n題過(guò)于小眾而沒(méi)有影響力。

同時(shí)，自籌 7 個(gè)月的研究經(jīng)費(fèi)也是有很大風(fēng)險(xiǎn)的。如果最終論文沒(méi)有發(fā)表，我的損失就會(huì)很大。作為一名獨(dú)立研究者，我被錄取的機(jī)會(huì)是低于平均水平的，這是因?yàn)槲业玫降姆答伕佟?/p>

圖 4：作為一名獨(dú)立研究者發(fā)表論文，很可能是我做不到的事，我也想過(guò)會(huì)失敗，但無(wú)論如何，我都會(huì)盡力做到最好。

然而，盡管可能沒(méi)有與你感同身受的人支持你，但你也可以通過(guò)其它方法解決這個(gè)問(wèn)題。我是這么做的：

1.我通常每周會(huì)與 Alexander 就研究思路進(jìn)行討論。雖然 Alexander 本人并沒(méi)有獲得博士學(xué)位，但他具有非常棒的批判性思維。我并不認(rèn)為必須和那些有很多一作論文、或者有多年論文指導(dǎo)經(jīng)驗(yàn)的人交流。重要的是，我們需要和那些能針對(duì)我們的研究工作提出問(wèn)題的人交流。不然的話，我們可能會(huì)變得懶惰，對(duì)自己論文中存在的錯(cuò)誤視而不見(jiàn)。請(qǐng)盡量與別人討論你的論文，這會(huì)給你增加很大的壓力，讓你不會(huì)寄希望于投機(jī)取巧。

2.在主要的研究之外，我也進(jìn)行了一些附帶的項(xiàng)目。把所有時(shí)間都分配給同一份工作的風(fēng)險(xiǎn)太大。不妨花時(shí)間做一些你認(rèn)為有用的小項(xiàng)目。寫(xiě)個(gè)開(kāi)源工具、復(fù)現(xiàn)一篇知名論文都可以。從研究中抽身出來(lái)，放松一下也是非常有必要的。這樣一來(lái)，即使研究項(xiàng)目失敗了，但至少完成了某些小項(xiàng)目。對(duì)我來(lái)說(shuō)，能夠讓這些附帶的項(xiàng)目被知名研究者們認(rèn)可也是一種莫大的鼓勵(lì)。

圖 5：三天完成的附帶項(xiàng)目示例，用到這個(gè)項(xiàng)目的研究者會(huì)十分感謝你，從中你可以感受到鼓勵(lì)。（推特大意：很高興在此發(fā)布「pip install Ircurve」。它可以被用于繪制實(shí)時(shí)的學(xué)習(xí)曲線，而不像TensorBoard那樣繁瑣。它包含一個(gè)Keras幫助文件和模型無(wú)關(guān)的接口。

如何寫(xiě)一篇好論文？

在所有提交的論文中，大約只有 20% 會(huì)被接收，你的同行審稿人會(huì)尋找各種理由拒掉你的文章。你認(rèn)為文章已經(jīng)「足夠好」是遠(yuǎn)遠(yuǎn)不夠的，你需要讓自己的論文被人贊嘆道「great」！

然而，（對(duì)于獨(dú)立研究者來(lái)說(shuō)）你并沒(méi)有任何導(dǎo)師能幫你，此前你也沒(méi)有發(fā)表過(guò)論文，那么怎樣才能寫(xiě)一篇令人嘆為觀止的論文呢？

就我而言，我的第一份論文放到了 distill.pub 期刊上?；叵肫饋?lái)，我那時(shí)太幸運(yùn)了——Distill 特別關(guān)心論文的寫(xiě)作質(zhì)量。因?yàn)榕c通過(guò)同行審稿人（他們自己可能并不精通寫(xiě)作）的評(píng)審相比，Distill 更加強(qiáng)調(diào)論文能解釋清楚并教育他人。對(duì)于我來(lái)說(shuō)，寫(xiě)一篇用于解釋和教育的文章，要比寫(xiě)一篇取悅同行評(píng)審的文章容易得多。

然而，我第一次向 Distill 投稿的時(shí)候遭到了編輯的拒稿！他們不清楚我的工作有何貢獻(xiàn)。它到底是對(duì) Nested LSTM 的批判，還是提出了一項(xiàng)新的 NLP 任務(wù)「自動(dòng)補(bǔ)全」，或者它是一種交互式的可視化技術(shù)？

一篇論文中可能有一到兩條重要的信息，如果它們被誤解了，那么就會(huì)讓讀者感到非常困惑，從而被拒稿。所以，不要害怕反復(fù)強(qiáng)調(diào)某些重要信息，從而避免這些問(wèn)題。

在我的 Distill 論文中，上面提到的這樣的信息是：「可視化可以幫助人們理解模型，而準(zhǔn)確率卻并不能。然而，你需要使用一個(gè)任何人都能有直觀感受的問(wèn)題來(lái)體現(xiàn)這一點(diǎn)，顯然，中文詩(shī)歌生成并不是這樣的問(wèn)題」。

在我的ICLR 的論文中，這樣的信息是：「異構(gòu)單元之間的門(mén)控比它看上去要困難得多，但在解決門(mén)控的問(wèn)題之前還有其他問(wèn)題需要解決，所以我們會(huì)在未來(lái)的研究里解決門(mén)控的問(wèn)題」。

僅僅這樣寫(xiě)還不夠，你還需要在整篇文章中反復(fù)表達(dá)這個(gè)觀點(diǎn)，讓即使最懶的審稿人也能看到它。

我對(duì)論文進(jìn)行了重大修改，將修改稿再一次提交給了 Distill。這次，他們更加開(kāi)放一些。Distill 上的 Chris Olah 和 Ludwig Schubert 在論文進(jìn)入同行評(píng)審環(huán)節(jié)之前為我給出了非常有用的反饋。

如果沒(méi)有從他們那里得到的經(jīng)驗(yàn)，我不確定我是否還能被ICLR接收。大家可以讀一下小說(shuō)家 McCarthy 關(guān)于如何寫(xiě)科學(xué)類(lèi)文章的技巧，里面涵蓋了我學(xué)到的大部分經(jīng)驗(yàn)。

• 文章閱讀地址：https://www.nature.com/articles/d41586-019-02918-5

最后，我想告訴大家，我和 Alexander 一起花了很長(zhǎng)時(shí)間對(duì)這篇論文進(jìn)行潤(rùn)色，尤其是在摘要和引言部分，他的幫助非常有價(jià)值。

慘遭 NeurIPS 拒稿

我們將論文提交給了 NeurIPS 2019，但慘遭拒稿。當(dāng)時(shí)我內(nèi)心十分煎熬。畢竟，我付出了那么多的時(shí)間卻一無(wú)所獲。我感覺(jué)自己的夢(mèng)碎了，我再也沒(méi)有機(jī)會(huì)追求自己的夢(mèng)想，不能從事我熱愛(ài)的機(jī)器學(xué)習(xí)研究了。

讓自己的命運(yùn)掌握在匿名的同行審稿人手中是一件很奇怪的事。

圖 6：我收到 NeurIPS 2019 審稿意見(jiàn)的感想。

那么為什么我們會(huì)被拒稿呢？我總結(jié)的經(jīng)驗(yàn)教訓(xùn)是：

• 一些審稿人不相信我們成功地復(fù)現(xiàn)了 NALU 的結(jié)果（那篇我們進(jìn)行了改進(jìn)的論文）。很多審稿人都會(huì)問(wèn)：「為什么原始論文中的結(jié)果比你們給出的結(jié)果要好很多」？

• 一些審稿人要求我們?cè)谔峤坏恼撐闹凶龅?NALU 論文聲稱(chēng)可以做到的所有事情（即使我們已經(jīng)提供了明確的證據(jù)來(lái)說(shuō)明 NALU 模型并沒(méi)有將這些事情做到令人滿意的程度）。如果你看過(guò)這篇論文，我們沒(méi)有解決的是除法，以及加法和乘法之間的門(mén)控。盡管如此，我們也對(duì)其它方面進(jìn)行了改進(jìn)。

其實(shí)，第二點(diǎn)也可以歸結(jié)為一些審稿人不相信我們的實(shí)驗(yàn)結(jié)果和復(fù)現(xiàn)。這就是我們?cè)诟倪M(jìn)別人夸大的實(shí)驗(yàn)結(jié)果時(shí)可能遇到的難題。

審稿人更偏向支持已經(jīng)發(fā)布的研究成果。與批判之前發(fā)表過(guò)的論文相比（尤其是當(dāng)這些論文出自 DeepMind 之手），他們更容易對(duì)你新提交的論文持批判性態(tài)度。

我想澄清的是，DeepMind 在論文「NALU」最后給出的結(jié)果并不是假的，它們是可以復(fù)現(xiàn)的。但這樣的結(jié)果對(duì)于「外推任務(wù)」來(lái)說(shuō)，卻并非以最合適的方式去構(gòu)建的，該任務(wù)是主要的目標(biāo)，它使模型能夠比第一次和第二次通讀的時(shí)候看起來(lái)更好（你需要更加仔細(xì)地閱讀實(shí)驗(yàn)結(jié)果）。而且，NALU 這篇論文只展示了具有單個(gè)種子（seed）的結(jié)果，而我們的論文展示的是具有100 個(gè)種子時(shí)的結(jié)果。關(guān)于個(gè)話題我們發(fā)表了一篇 workshop 論文「Measuring Arithmetic Extrapolation Performance」（論文地址：https://arxiv.org/abs/1910.01888）。

這次提交給 ICLR 的論文有什么不同的地方？

在對(duì)NeurIPS 2019 的審稿意見(jiàn)進(jìn)行反駁之前，我們已經(jīng)對(duì)論文進(jìn)行了一些改進(jìn)。在提交給ICLR 的版本中，我們補(bǔ)充了更多的證據(jù)和實(shí)驗(yàn)去支持我們的觀點(diǎn)。

我們做了一件非常明智的事！我們把自己完成的NALU 的實(shí)驗(yàn)設(shè)置和復(fù)現(xiàn)結(jié)果發(fā)表在NeurlIPS 2019 的 SEDL 研討會(huì)上。我們還將這項(xiàng)工作寫(xiě)在了推特上，發(fā)布了 NALU 一作的標(biāo)簽，他回復(fù)道：「很棒的工作！有了好的對(duì)比基準(zhǔn)，我們才能繼續(xù)改進(jìn)模型」。這對(duì)我們來(lái)說(shuō)很有幫助，我們不必再為實(shí)驗(yàn)設(shè)置和我們的新模型而爭(zhēng)論了。相反，我們可以專(zhuān)注于我們提出的模型。

圖 7：要在神經(jīng)網(wǎng)絡(luò)上實(shí)現(xiàn)數(shù)學(xué)上的外推十分困難。我們提出了一種新的對(duì)比基準(zhǔn)，并發(fā)現(xiàn)NALU十分脆弱。那么我們?nèi)绾螛?gòu)建可以學(xué)習(xí)算術(shù)方法的神經(jīng)網(wǎng)絡(luò)呢？?jī)H僅使用更多的數(shù)據(jù)并不能做到這一點(diǎn)。

我其實(shí)很希望我能告訴你，我們的改進(jìn)起了很大作用，但事實(shí)是，我覺(jué)得我們只是比較走運(yùn)，遇到了一位超棒的審稿人。由于評(píng)論是公開(kāi)的，他在 OpenReview 上對(duì)我們工作的評(píng)論引起了更廣泛的討論、更深入的批判性思考以及更少的謾罵性評(píng)論。

值得一提的是，我們收到了四份審稿意見(jiàn)，我認(rèn)為，這意味著我們的領(lǐng)域主席對(duì)此非常感興趣。其中一位評(píng)審在 NeurIPS 上也審閱過(guò)我們的論文（可能是那時(shí)的reviewer #3），同時(shí)他在 NeurIPS 上給出的審稿意見(jiàn)也是最具建設(shè)性的。

在我們做出這一系列的修改后，這位審稿人的意見(jiàn)從 NeurIPS 的弱拒改為了 ICLR 的弱接收，在 ICLR 的終審意見(jiàn)中又改成了接收，他甚至還對(duì)其他審稿人的意見(jiàn)評(píng)論道，「這篇文章中體現(xiàn)的貢獻(xiàn)進(jìn)步巨大」。

這審稿人的意見(jiàn)如下：

我理解其它審稿人所關(guān)心的問(wèn)題，本文給出的模型是在其它模型上進(jìn)行增量式修改得到的。但我并不認(rèn)為本文的優(yōu)點(diǎn)僅僅在于模型本身，而是在于全文中體現(xiàn)的而理論和實(shí)驗(yàn)分析，從而提升了模型的性能，而且本文的代碼也公開(kāi)了。

這篇文章可讀性很強(qiáng)，它嘗試針對(duì)最近提出的模型做一些工作，它指出了他人提出的模型的缺陷，并給出了詳細(xì)的分析過(guò)程，然后改進(jìn)了該模型以及對(duì)比基準(zhǔn)。本文直面了原模型的復(fù)現(xiàn)問(wèn)題，并對(duì)其進(jìn)行了大幅度的改進(jìn)。這就是為什么我認(rèn)為這篇論文一定要被接受的原因。

我不確定這里提出的模型是否會(huì)在該領(lǐng)域引起巨大的改變，但是這種方法可能會(huì)影響并啟發(fā)其他研究者做出更加透徹的分析。

因此，我將對(duì)這篇論文的評(píng)分提升到「接收」。

這條審稿意見(jiàn)讓我十分開(kāi)心。那時(shí)，我們的論文還有兩個(gè)弱拒，所以仍然存在被拒稿的可能性。但即使被拒絕，我至少也會(huì)覺(jué)得我并沒(méi)有失敗，而是審稿程序有缺陷。

這一切努力值得嗎？

最終，我們的論文被ICLR 接收。我希望我能肯定地說(shuō)，這篇文章能幫助我找到一份研究工作，但說(shuō)實(shí)話，我并不知道未來(lái)會(huì)如何。我剛剛看到一封郵件，上面說(shuō)我需要「2 篇頂會(huì)論文（最好是和著名研究者合作），才能被頂級(jí)的博士項(xiàng)目錄取」，但作為一名獨(dú)立研究者，這一點(diǎn)我是做不到的。希望只是這所大學(xué)有這種要求。

圖 9：機(jī)器學(xué)習(xí)研究之路是漫長(zhǎng)的。然而，如果你不敢邁出第一步，一切都會(huì)看起來(lái)不可能。如果你真的想去做，那就付諸努力去尋找其他方法。

Q&A

前文并沒(méi)有回答我收到的所有問(wèn)題，我認(rèn)為現(xiàn)在的內(nèi)容還不足夠吸引人。所以我在下面針對(duì)其它重要問(wèn)題一一作出解答：

Q：你這些漂亮的圖是怎么繪制的？

A：我所有的圖都是用 R 語(yǔ)言的ggplot2 庫(kù)繪制的，這個(gè)代碼庫(kù)給了我很大幫助。我并沒(méi)有用 R 語(yǔ)言做其它事情，我只是將 CSV 文件從 Python 中導(dǎo)出，將其導(dǎo)入到 R 中，然后使用 R 計(jì)算置信區(qū)間并畫(huà)圖。

Q：你的工作沒(méi)有什么用，你就是個(gè)笑話。

A：謝謝你，你有想過(guò)成為一名審稿人嗎？

Q：你花了多長(zhǎng)時(shí)間？

A：我每周在這篇論文上大約花 48 個(gè)小時(shí)，有時(shí)候達(dá)到 100 個(gè)小時(shí)。但請(qǐng)記住，我也在做一些附帶的項(xiàng)目和自由工作。

Q：你的計(jì)算資源是從哪里得到的？

A：Alexander 可以為我們提供計(jì)算資源，因?yàn)樗且幻硌芯繂T。

Q：我的導(dǎo)師要給我一個(gè)讀博的機(jī)會(huì)，我是否應(yīng)該接受？

A：如果你真的想做研究，也許你應(yīng)該接受。現(xiàn)在競(jìng)爭(zhēng)很激烈，我認(rèn)為你應(yīng)該抓住你能得到的機(jī)會(huì)。

Q：我現(xiàn)在正在實(shí)習(xí)，但我感覺(jué)什么都學(xué)不到，因?yàn)槲业膶?dǎo)師不太負(fù)責(zé)。

A：你要為自己的信念負(fù)責(zé)，不要指望你的導(dǎo)師主動(dòng)來(lái)找你。你要慶幸你能得到實(shí)習(xí)機(jī)會(huì)，我之前沒(méi)有得到?？梢蚤_(kāi)始安排與導(dǎo)師的交流，但也要記住，除了導(dǎo)師，你還可以向別人請(qǐng)教。

Q：我是正在讀碩士，要怎么為發(fā)論文做準(zhǔn)備？

A：如果你能找到一位對(duì)此持開(kāi)放態(tài)度的導(dǎo)師，那么你可以嘗試發(fā)表論文。同時(shí)，要嘗試在學(xué)習(xí)期間尋找實(shí)習(xí)工作。大多數(shù)實(shí)習(xí)工作只對(duì)學(xué)生開(kāi)放。我曾經(jīng)得到過(guò)實(shí)習(xí)機(jī)會(huì)但卻去不了，因?yàn)槲乙呀?jīng)畢業(yè)了。

Q：我要如何提升自己的編程能力？

A：我多年來(lái)堅(jiān)持寫(xiě)開(kāi)源代碼，這讓我有機(jī)會(huì)受到一些卓越的程序員的指導(dǎo)。

Q：要發(fā)一篇 Spotlight 還需要什么？

A：說(shuō)實(shí)話，我想最需要的還是運(yùn)氣。

Q：我看到一些人拿到碩士學(xué)位就成為了谷歌的研究員，他們是怎么做到的？

A：確實(shí)是這樣，這種現(xiàn)象的黃金時(shí)期是 2013 年到 2015 年。如果當(dāng)時(shí)你拿到了碩士學(xué)位并且足夠幸運(yùn)，你就可以走得很遠(yuǎn)。

結(jié)語(yǔ)

最后，我想再重申一下給其他獨(dú)立研究者的主要建議。

1.與他人合作。這個(gè)人不一定必須是論文寫(xiě)作方面的專(zhuān)家，只要是能對(duì)你的工作提出建設(shè)性評(píng)論的人就行。因此，在大學(xué)里找到一個(gè)擁有計(jì)算資源的人幫助你，可能是很有必要的。

2.做最壞的打算，盡最大的努力。只有 20% 的論文會(huì)被接收。作為一名獨(dú)立研究者，你被接收的概率可能還要低于平均水平。不要在被拒絕一次后就氣餒！你也可以進(jìn)行一些附帶的項(xiàng)目，這樣的話，即使你失敗了，也不會(huì)覺(jué)得自己完全是在浪費(fèi)時(shí)間。

3.避免成為獨(dú)立研究者。如果有更好的選擇，你就不應(yīng)該有什么理由成為獨(dú)立研究者。也許你的碩士生導(dǎo)師對(duì)你不上心，但至少你可以和其他博士生交流。如果你成為獨(dú)立研究者，就失去了非常重要的支持你的人際網(wǎng)絡(luò)。

圖 10：成為一個(gè)獨(dú)立研究者是極其艱難、孤獨(dú)的。然而，如果你足夠幸運(yùn)，也可能在轉(zhuǎn)角處發(fā)現(xiàn)希望。

學(xué)術(shù)應(yīng)該有清流，不應(yīng)唯論文論！

最后，由于我們有一篇論文被相關(guān)研討會(huì)接收了，我確實(shí)也參加了 NeurIPS 2019。在會(huì)上，我有幸與幾位招聘人員、教授、研究者交談。我感到極為震驚：招聘者的需求、研究人員的意愿和教授所能提供的條件之間存在著巨大的差距。

我想讓研究者們知道的是，在過(guò)去的兩年里，這個(gè)學(xué)術(shù)領(lǐng)域中的供需關(guān)系發(fā)生了翻天覆地的變化。如今，得到一個(gè)讀博機(jī)會(huì)似乎比完成博士學(xué)業(yè)還要難。

如果你在 2017 年或更早之前拿到了碩士學(xué)位，那么被好的博士項(xiàng)目錄取還是可以實(shí)現(xiàn)的目標(biāo)。

但如今，你需要在（NeurIPS/ICLR/ICML）等頂會(huì)上發(fā)表 1-2 篇論文（而且最好是與著名研究者合作）才能夠滿足入學(xué)要求。

我希望研究者、教授、委員會(huì)成員以及會(huì)議組織者都能夠幫助遏制這種迅速蔓延的新精英主義。它只會(huì)放大已經(jīng)對(duì)這一行業(yè)產(chǎn)生挑戰(zhàn)的固有偏見(jiàn)。

Viahttps://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b

總結(jié)

以上是生活随笔為你收集整理的顶会论文，怎么就成了申博的必要条件？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。