論文筆記整理：葉群，浙江大學計算機學院，知識圖譜、NLP方向。

---

會議：EMNLP 2019

鏈接：https://arxiv.org/abs/1909.04176

Abstract

這篇論文首次在多標簽分類問題中提出了 meta-learning 的方法，學習weight policy 和 decision policy，分別指代訓練時損失函數中不同標簽的權重和預測時不同標簽的閾值，從而更好地建模不同標簽之間的依賴和復雜性。在實驗表明在 entity typing 和 text classification 兩個任務中都取得了更好的實驗結果。

Introduction

???? 傳統的多標簽分類模型，在訓練時采用標準的交叉熵損失函數，即每個類別的權重一致；在測試時，每個類別的閾值一般都取0.5。這種簡單的設定忽略了標簽之間的依賴關系，忽略了不同標簽的重要性。實際中很多標簽之間存在著關系，比如/organization和/company, /urban和/economics。本文利用meta learning的方法學習weight policy和decision policy，分別指代訓練時損失函數中不同標簽的權重和預測時不同標簽的閾值。實際上權重和閾值可以被看做兩個超參數，meta-learning學習到這兩個超參數之后，傳遞給下游模型進行訓練，所以本文的meta-learning方法是模型無關的。

Method

模型圖如圖1所示，基本結構分為兩部分：meta-learner 和 classification model。Meta-learner的任務是學習 weight policy 和 decision policy，即權重和閾值兩個超參；Classification model 根據學習到的兩個超參，訓練一個 Batch，并進行測試得到測試結果，并以測試結果作為 reward 去更新 meta-learner 和 classification model的參數。

圖1 模型結構示意圖

Meta-learner

??? Meta-learner 的結構采用了 GRU，采用了強化學習的方法去進行weight policy和decision policy的學習。其中，強化學習的state是GRU的隱層表示：

Weight policy和decision policy的定義：

Reward的定義：

Classification Model

分類模型可以是任何形式的，只要損失函數是交叉熵形式即可，這里采用的損失函數為：

其中類別數為N，w為不同類別的權重。只訓練一個Batch就進行測試，這樣可以減輕訓練的開銷。

Experiments

????? 實驗在entity typing和text classification兩個任務上進行了評測。在entity typing上選取的數據集為FIGER、OntoNotes、BBN，分類模型采用了entity typing中的SOTA模型，其結構如下：

圖2 entity typing模型結構示意圖

實驗結果如表1所示，加入weight policy和decision policy，模型的結果可以有2~3個百分點的提升。

表1 entity typing實驗結果

????? 由于本文中 meta-learning 的方法是基于強化學習的框架，而強化學習通常缺乏魯棒性和對初始化敏感。實驗采用不同的初始化方法進行多次實驗，結果如表2所示。

表2 模型魯棒性實驗

??? 文本分類任務模型選取了經典的 text CNN 模型，數據集有 Reuters-21578、RCV1-V2，實驗結果如表3所示。

表3 文本分類實驗結果

????????? 模型的魯棒性分析如表4所示。

表4 模型魯棒性實驗

?

Conclusion

?????? 本文在多標簽分類任務中，利用 meta-learning 的方法學習 weight policy和 decision policy，從而為不同標簽學習到不同的權重和閾值，在entity typing 和文本分類兩個任務上效果有所提升。但是針對作者所說的，可以建模不同標簽之間的 dependency，我覺得這一點上模型并沒有顯式地體現這一點。

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 多标签分类中的元学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。