原文鏈接：
https://zhuanlan.zhihu.com/p/362351969
A Survey on Curriculum Learning TPAMI 2021

文章目錄

• 問題定義
• 有效性分析
• • 1. 模型優(yōu)化角度
  • 數(shù)據(jù)分布角度
• 方法總結(jié)
• • Predefined CL
  • Automatic CL
• 未來研究方向

全文內(nèi)容導(dǎo)圖匯總：

導(dǎo)圖： https://note.youdao.com/s/HLNvypPq

Bengio [1] 首先提出了課程學(xué)習(xí)（Curriculum learning，CL）的概念，它是一種訓(xùn)練策略，模仿人類的學(xué)習(xí)過程，主張讓模型先從容易的樣本開始學(xué)習(xí)，并逐漸進(jìn)階到復(fù)雜的樣本和知識(shí)。

問題定義

有效性分析

1. 模型優(yōu)化角度

CL可以看成是一種特殊的 continuation 方法。這種方法首先優(yōu)化比較smooth的問題，然后逐漸優(yōu)化到不夠smooth的問題。

continuation 方法提供了一個(gè)優(yōu)化目標(biāo)序列，從一個(gè)比較平滑的目標(biāo)開始，很容易找到全局最小值，并在整個(gè)訓(xùn)練過程中跟蹤局部最小值。另外，從更容易的目標(biāo)中學(xué)習(xí)到的局部最小值具有更好的泛化能力，更有可能近似于全局最小值。

數(shù)據(jù)分布角度

沒有理解。

方法總結(jié)

課程學(xué)習(xí)的核心問題是得到一個(gè)ranking function，該函數(shù)能夠?qū)γ織l數(shù)據(jù)/每個(gè)任務(wù)給出其learning priority (學(xué)習(xí)優(yōu)先程度)。 這個(gè)則由**難度測(cè)量器（Difficulty Measurer）**實(shí)現(xiàn)。

基于"難度測(cè)量器+訓(xùn)練調(diào)度器 "的框架設(shè)計(jì)：

• 難度測(cè)量器（Difficulty Measurer）：給出其**learning priority (學(xué)習(xí)優(yōu)先程度)。
• 訓(xùn)練調(diào)度器 （Training Scheduler）：什么時(shí)候把 Hard data 輸入訓(xùn)練 以及 每次放多少

根據(jù)這兩個(gè)是否自動(dòng)設(shè)計(jì)可以將CL分成兩個(gè)大類即 Predefined CL 和 Automatic CL。

Predefined CL

• 難度測(cè)量器和訓(xùn)練調(diào)度器都是利用人類先驗(yàn)先驗(yàn)知識(shí)由人類專家去設(shè)計(jì)

訓(xùn)練調(diào)度器可以分為離散調(diào)度器和連續(xù)調(diào)度器。
兩者的區(qū)別在于：離散型調(diào)度器是在每一個(gè)固定的次數(shù)（>1）后調(diào)整訓(xùn)練數(shù)據(jù)子集，或者在當(dāng)前數(shù)據(jù)子集上收斂，而連續(xù)型調(diào)度器則是在每一個(gè)epoch調(diào)整訓(xùn)練數(shù)據(jù)子集。

存在的問題

(1) 很難預(yù)定義CL的方法找到測(cè)量器和調(diào)度器兩者最優(yōu)的組合。

(2) 不夠靈活，沒有考慮模型自身的反饋在訓(xùn)練過程中。

(3) 需要專家知識(shí)，代價(jià)較高。

(4) 人類認(rèn)為容易的樣本對(duì)模型來說就不一定容易。（人和機(jī)器模型的決策邊界不一定一致）

Automatic CL

至少其中一個(gè)是以數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)設(shè)計(jì)

自動(dòng)CL的方法論分為四類，即

• Self-paced Learning： Self-paced Learning 讓學(xué)生自己充當(dāng)老師，根據(jù)其對(duì)實(shí)例的損失來衡量訓(xùn)練實(shí)例的難度。這種策略類似于學(xué)生自學(xué)：根據(jù)自己的現(xiàn)狀決定自己的學(xué)習(xí)進(jìn)度。
• Transfer Teacher: Transfer Teacher 則通過1個(gè)強(qiáng)勢(shì)的教師模型來充當(dāng)教師，根據(jù)教師對(duì)實(shí)例的表現(xiàn)來衡量訓(xùn)練實(shí)例的難度。教師模型經(jīng)過預(yù)訓(xùn)練，并將其知識(shí)轉(zhuǎn)移到測(cè)量學(xué)生模型訓(xùn)練的例子難度上。
• RL Teacher : RL Teacher 采用強(qiáng)化學(xué)習(xí)（RL）模式，教師根據(jù)學(xué)生的反饋，實(shí)現(xiàn)數(shù)據(jù)動(dòng)態(tài)選擇。學(xué)生根據(jù)教師選擇的量身定做的學(xué)習(xí)材料取得最大的進(jìn)步，而教師也有效地調(diào)整自己的教學(xué)策略，更好地進(jìn)行教學(xué)。
• 其他自動(dòng)CL。如采取不同的優(yōu)化技術(shù)來自動(dòng)尋找模型訓(xùn)練的最佳課程，包括貝葉斯優(yōu)化、元學(xué)習(xí)、hypernetworks等。
  

未來研究方向

評(píng)價(jià)數(shù)據(jù)集和指標(biāo)
雖然各種CL方法已經(jīng)被提出并被證明是有效的，但很少有工作用通用基準(zhǔn)來評(píng)估它們。在現(xiàn)有的文獻(xiàn)中，數(shù)據(jù)集和指標(biāo)在不同的應(yīng)用中是多樣化的。

更完善的理論分析
現(xiàn)有的理論分析為理解CL提供了不同的角度。盡管如此，我們還需要更多的理論來幫助我們揭示為什么典型的CL是有效的。

更多的CL算法以及應(yīng)用
自動(dòng)CL為CL在更廣泛的研究領(lǐng)域提供了潛在的應(yīng)用價(jià)值，已經(jīng)成為一個(gè)前沿方向。因此，一個(gè)很有前途的方向是設(shè)計(jì)更多的自動(dòng)CL方法，這些方法可具有不同的優(yōu)化方式(如：bandit 算法、元學(xué)習(xí)、超參數(shù)優(yōu)化等)和不同的目標(biāo)(如：數(shù)據(jù)選擇/加權(quán)、尋找最佳損失函數(shù)或假設(shè)空間等)。除了方法之外，還應(yīng)該探索CL在更多領(lǐng)域中的應(yīng)用。

精選參考文獻(xiàn)：

[1] Bengio, Yoshua, et al. “Curriculum learning.”Proceedings of the 26th annual international conference on machine learning. ACM, 2009.

總結(jié)

以上是生活随笔為你收集整理的课程学习(Curriculum Learning, CL)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。