編 | iven

感謝提供本期內(nèi)容的 ZenMoore、 jxyxiangyu、付瑤

大家好～ 11月的新聞速報(bào)來(lái)啦！上個(gè)月不知道大家有沒(méi)有忙著寫文章，反正小編是這樣的：

好啦，讓我們快來(lái)回顧上個(gè)月的 AI 大新聞吧！

學(xué)術(shù)進(jìn)展

何愷明 Masked Autoencoders：自監(jiān)督恢復(fù)原圖就行

像 MLM 一樣直接重構(gòu)圖片里的像素，竟然也能 work。這篇文章構(gòu)建了不對(duì)稱的自編碼器，用來(lái)恢復(fù)圖片中 mask 掉的像素。這樣樸素的想法，在 ViT 盛行的今天，顯得格格不入😂

Yoshua Bengio 一作，長(zhǎng)達(dá) 70 頁(yè)：為主動(dòng)學(xué)習(xí)拓展理論

在 NeurIPS 提出生成流網(wǎng)絡(luò)（GFlowNets）之后，Yoshua Bengio 又為我們?cè)敿?xì)闡述了它的數(shù)學(xué)框架和數(shù)學(xué)性質(zhì)。同時(shí)，對(duì)原始 GFlowNet 的理論進(jìn)行了擴(kuò)展。

https://arxiv.org/abs/2111.09266

Gradients are Not All You Need

梯度反傳，可以說(shuō)是過(guò)去幾十年中機(jī)器學(xué)習(xí)復(fù)興的主角。也正是 PyTorch TensorFlow 等自動(dòng)微分庫(kù)的出現(xiàn)，讓越來(lái)越多的人進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域。這篇工作討論了在使用迭代可微系統(tǒng)時(shí)出現(xiàn)的一個(gè)潛在問(wèn)題。

當(dāng)通過(guò)迭代可微系統(tǒng)計(jì)算梯度時(shí)，我們需要計(jì)算由狀態(tài)轉(zhuǎn)換雅可比行列式的乘積組成的項(xiàng)。如果 Jacobian 的特征值大于 1，則梯度會(huì)爆炸。小于 1, 梯度則會(huì)消失。針對(duì)這個(gè)問(wèn)題，文章給出了分析和解決方法。

https://arxiv.org/abs/2111.05803

ICLR 最高分文章

11 月 12 號(hào)，ICLR 出分，最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家關(guān)注：對(duì)比學(xué)習(xí)的方法在部分標(biāo)簽數(shù)據(jù)上學(xué)習(xí)（比如 n 類標(biāo)簽，只使用其中的 m 類數(shù)據(jù)訓(xùn)練）竟能超過(guò)全監(jiān)督學(xué)習(xí)。

https://openreview.net/forum?id=EhYjZy6e1gJ

ViT 綜述：引發(fā)原作者感慨

來(lái)自聯(lián)想、中科院的團(tuán)隊(duì)發(fā)表了 A Survey of Visual Transformers。針對(duì) CV 的分類、目標(biāo)檢測(cè)、語(yǔ)義分割三個(gè)任務(wù)，回顧了 100+ ViT 模型。引發(fā) ViT 作者本人感慨：這一年的進(jìn)展我都沒(méi)想到呢 :P

arxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625

女媧：通用視覺(jué)生成模型

MSRA 北大團(tuán)隊(duì)發(fā)表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。這個(gè)工作設(shè)計(jì)了一個(gè) 3D Transformer Encoder-Decoder，可以同時(shí)處理 3D(video)，2D(image)，1D(text) 的數(shù)據(jù)用于視覺(jué)生成任務(wù)。在文字生成圖片任務(wù)上超過(guò)了 DALL-E。

arxiv.org/abs/2111.12417

業(yè)界新聞

OpenAI 取消 GPT-3 的等待名單

去年五月發(fā)布的 GPT-3 一直需要申請(qǐng)?jiān)S可才能訪問(wèn)。11月18日，OpenAI 終于取消了等待名單機(jī)制，所有開發(fā)者都可以直接郵箱登錄，使用 API。

Deepmind 登上 Nature 封面：給數(shù)學(xué)家提供啟發(fā)

這篇文章探索了機(jī)器學(xué)習(xí)在識(shí)別數(shù)學(xué)結(jié)構(gòu)和模式方面的潛力，并幫助數(shù)學(xué)家找到他們可能從未發(fā)現(xiàn)的發(fā)現(xiàn)——這是第一次證明人工智能可以在純數(shù)學(xué)的前沿提供幫助。這個(gè)框架可以快速驗(yàn)證，兩個(gè)量之間的關(guān)系是否值得研究。

https://www.nature.com/articles/d41586-021-03593-1
https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways

資源工具

Sebastian Ruder 最新 QA 教程

Sebastian Ruder 在 EMNLP 2021 的最新 tutorial，主題是 Multi-Domain Multilingual Question Answering。這可能是第一個(gè)包含“特定領(lǐng)域內(nèi)”和“跨語(yǔ)言” QA 的教程。

教程主頁(yè)：
https://github.com/sebastianruder/emnlp2021-multiqa-tutorial

幻燈片地址：
https://tinyurl.com/multi-qa-tutorial

讀論文神器登頂 B 站熱搜：沈向洋博士帶大家讀論文

在線論文閱讀神器 ReadPaper 由沈向洋博士創(chuàng)辦的 IDEA 旗下團(tuán)隊(duì)研發(fā)，其收錄了近 2 億篇論文，提供了提取圖表、在線檢索、翻譯、做筆記等功能。頁(yè)面中的論文速讀功能中，很有可能會(huì)出現(xiàn)一位大佬，通過(guò)十個(gè)問(wèn)題帶你速讀論文。

▲readpaper.com

https://www.bilibili.com/video/BV1dg411P7De

八卦趣事

完善的同行評(píng)議還有多遠(yuǎn)？

視頻博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多輪打分結(jié)果之間的一致性，發(fā)現(xiàn)除了最優(yōu)秀的很小一部分文章，其他文章在不同審稿人之間的評(píng)價(jià)幾乎是完全隨機(jī)的。

https://youtu.be/DEh1GR0t29k

原創(chuàng)推薦

• 6 年大廠面試官，談?wù)勎覍?duì)算法崗面試的一些看法正在求職的小伙伴一定要認(rèn)真學(xué)習(xí)這篇文章！市面上的面經(jīng)只教人怎樣表現(xiàn)，這篇文章告訴我們，面試到底在考察什么能力，面試官是怎么考慮怎么設(shè)計(jì)面試的。

• 11 個(gè)好用的科研工具推薦！工作效率提升 max！好多給大家節(jié)省時(shí)間的科研小工具！好多痛點(diǎn)能被這篇文章解決：調(diào)整引用格式、公式表格轉(zhuǎn)成 latex、給模型起名字、定制化 arXiv 閱讀工具……

• 吐血整理：論文寫作中注意這些細(xì)節(jié)，能顯著提升成稿質(zhì)量非常具體又實(shí)用的論文寫作建議。評(píng)論區(qū)網(wǎng)友表示“每天看一遍可以大幅減少被導(dǎo)師罵的概率”。

• Facebook 推出 8 比特優(yōu)化器，兩行代碼拯救你的顯存！也不必研究這個(gè)優(yōu)化器是啥原理，點(diǎn)開文章，復(fù)制兩行代碼——顯存立減 75%。咱直接 base 變 large，其他啥都不變，不香嘛～

• 圖靈獎(jiǎng)大佬 Lecun 發(fā)表對(duì)比學(xué)習(xí)新作，比 SimCLR 更好用！這篇文章為大家分享了 Yann Lecun 等人發(fā)表的《Decouple Contrastive Learning》。這篇文章僅僅對(duì) InfoNCE 的表達(dá)式進(jìn)行了一處修改，就大大緩解了 InfoNCE 對(duì)于大 Batch Size 的需求問(wèn)題，并在不同規(guī)模的評(píng)測(cè)數(shù)據(jù)集上取得了更好的結(jié)果。

好啦！這個(gè)月的總結(jié)就到這里！如果有漏下的，我們?cè)u(píng)論區(qū)見～

萌屋作者：𝕚𝕧𝕖𝕟

在北大讀研，目前做信息抽取，對(duì)低資源、圖網(wǎng)絡(luò)都非常感興趣。希望大家在賣萌屋玩得開心 ヾ(=･ω･=)o

作品推薦

老板讓我用少量樣本 finetune 模型，我還有救嗎？急急急，在線等！

谷歌：CNN 擊敗 Transformer，有望成為預(yù)訓(xùn)練界新霸主！LeCun 卻沉默了...

中文 BERT 上分新技巧，多粒度信息來(lái)幫忙

恕我直言，很多小樣本學(xué)習(xí)的工作就是不切實(shí)際的

你的 GNN，可能 99% 的參數(shù)都是冗余的

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺(tái)回復(fù)關(guān)鍵詞【頂會(huì)】

獲取ACL、CIKM等各大頂會(huì)論文集！

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的11月AI大事件回顾：GPT3开放使用/女娲视觉大模型/AE文艺复兴/...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。