大家都知道，傳統的機器學習模型需要較大的訓練數據才能達到好的效果。然而我們人類從小時候起，就有看少量例子學會新事物的能力。少次學習（Few-Shot Learning）正是致力于探索模型如何能快速適應新任務的一種方式。?

有一類經典的少次學習設定叫做 N-Way K-Shot：給定 N 個模型從未見過的類型，每個類型給定 K 個訓練樣本，要求模型能夠將測試樣例進行 N 分類。形象地說，這種設定要求模型“現學現賣”，先看幾個例子，然后在測試集上做“選擇題”，判斷它們到底屬于新類型中的哪一類。

在 CV 領域，常用的少次學習數據集有 miniImageNet 和 Omniglot。而在 NLP 領域，清華大學的劉知遠老師組去年發布了 FewRel——一個大規模的少次學習關系抽取數據集。該數據集僅發布一年便獲得了多次引用，也有許多研究者以此為基礎展開相關研究。?

而在今年的 EMNLP 上，該團隊又發布了數據集的升級版：FewRel 2.0。相關論文已經放出（https://arxiv.org/abs/1910.07124）。和 1.0 相比，FewRel 2.0 又有哪些區別呢？

兩大新挑戰

在 FewRel 2.0 中，作者提出了兩大少次學習新挑戰：跨領域和“以上都不是”（無答案問題）。作者表示，以往的少次學習模型都不能很好的解決這兩大問題，雖然他們提出了兩個新模型，效果得到了一定的改善，但在這兩個挑戰上，仍有巨大的上升空間。

▲?一圖看FewRel兩大新挑戰

跨領域（Cross Domain）目前的少次學習模型，走的大多是遷移學習（Transfer Learning）路線，即先在大規模數據集上進行訓練，這樣在面對沒有見過的新任務時，便可以利用之前訓練得到的魯棒和通用的特征，進行快速學習。因此，一個模型的遷移能力強不強，將直接決定其在少次學習任務上的表現。然而，目前的少次學習數據集，訓練集和測試集大多來自同一個領域（如 FewRel 都是來自 Wikipedia），遷移難度較低；從另一方面講，少次學習的實際應用場景，應該是在數據容易獲取的通用領域語料上訓練，在標注難度較高的專業領域語料（如金融、醫療等）進行部署。因此，FewRel 2.0 提供了一個醫療領域的測試集，并評測了目前 state-of-the-art 的少次學習模型。由下圖可以看出，跨領域的挑戰的確嚴峻，模型效果大幅下降，提升空間巨大。

▲?FewRel 1.0和FewRel 2.0測試結果對比，可看出跨領域任務十分具有挑戰性

以上都不是（None-of-the-above）
正如前文所述，經典的少次學習設定中，模型做的是“選擇題”，而我們知道做選擇題是相對簡單的，只需要衡量哪個選項更靠譜就可以了。但如果選擇題中加入一個新選項“以上都不是”（None of the above），整道題目就會變的難很多。同理，在少次學習中，模型只需要比較測試集和給定新類型的訓練集，哪個比較像選哪個，就能獲得較高的表現，這其實不符合我們對少次學習任務的要求和預期。因此在 FewRel 2.0 中，作者新加入了“以上都不是”這一設定，測試集中的樣本有一定概率不屬于任何一個給定的新類別。?
由下圖可以看出，隨著 NOTA Rate（即“以上都不是”的概率）的升高，舊模型的表現會越來越差，而作者提出的新模型 BERT-PAIR，在經過針對性的訓練后，可以一直保持較高的水平。

更多信息

總結來說，FewRel 2.0 相比 1.0 版本增加了兩個挑戰：跨領域和“以上都不是”。經典模型在這兩個挑戰面前的表現都不盡人意。盡管作者在論文中提出了可能的解決方案和模型，但表現仍然有較大的提升空間。

▲?FewRel 1.0/2.0最好結果對比，可以看出面對兩大新挑戰，模型上升空間還很大

最后，數據集的論文（https://arxiv.org/abs/1910.07124）和Github項目（https://github.com/thunlp/fewrel）均已放出，論文中提到的模型也都包括在內，感興趣的同學可以到他們的 Github 主頁和論文中了解更多信息。

關于作者

數據集的三位主要作者——高天宇（https://gaotianyu.xyz/about/）、韓旭（https://thucsthanxu13.github.io/）和朱昊（http://www.zhuhao.me/）均來自孫茂松教授領導的清華大學自然語言處理實驗室，由劉知遠老師具體指導。
其中，高天宇是大四的本科生，韓旭是三年級的博士生，朱昊目前已前往 CMU 就讀博士學位，師從 Graham Neubig 和 Yonatan Bisk。三人均在 NLP/ML 相關領域國際會議上發表多篇論文，在開源社區也都十分活躍。想要了解更多信息，可以查看他們的個人主頁和項目 Github 頁面。

?

PaperWeekly攜手圖靈教育

送出5本PyTorch入門寶典

從零到一，真正實現 PyTorch 深度學習入門。本書淺顯易懂，圖文并貌地講解了深度學習的基礎知識，從如何挑選硬件到神經網絡的初步搭建，再到實現圖片識別、文本翻譯、強化學習、生成對抗網絡等多個目前最流行的深度學習應用。書中基于目前流行的 PyTorch 框架，運用 Python 語言實現了各種深度學習的應用程序，讓理論和實踐緊密結合。

?如何參與?

長按識別下方小程序碼

即可參與本次抽獎

開獎時間：11月8日 14:00

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 訪問項目主頁

總結

以上是生活随笔為你收集整理的FewRel 2.0数据集：以近知远，以一知万，少次学习新挑战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。