轉(zhuǎn)自：https://zhuanlan.zhihu.com/p/108906502

1. 什么是自監(jiān)督學(xué)習？

自監(jiān)督學(xué)習主要是利用輔助任務(wù)（pretext）從大規(guī)模的無監(jiān)督數(shù)據(jù)中挖掘自身的監(jiān)督信息，通過這種構(gòu)造的監(jiān)督信息對網(wǎng)絡(luò)進行訓(xùn)練，從而可以學(xué)習到對下游任務(wù)有價值的表征。

2.如何評測自監(jiān)督學(xué)習的效果？

評測自監(jiān)督學(xué)習的能力，主要是通過 Pretrain-Fintune 的模式：首先從大量的無標簽數(shù)據(jù)中通過 pretext 來訓(xùn)練網(wǎng)絡(luò)，得到預(yù)訓(xùn)練的模型，然后對于新的下游任務(wù)，和監(jiān)督學(xué)習一樣，遷移學(xué)習到的參數(shù)后微調(diào)即可。所以自監(jiān)督學(xué)習的能力主要由下游任務(wù)的性能來體現(xiàn)。

2. 自監(jiān)督學(xué)習的主要方法

自監(jiān)督學(xué)習的方法主要可以分為 3 類：基于上下文（Context based）、基于時序（Temporal Based）、基于對比（Contrastive Based）。

2.1 基于上下文（Context based）
基于數(shù)據(jù)自身的上下文信息可以構(gòu)造很多任務(wù)。

NLP領(lǐng)域，最重要的算法Word2vec其中的一種，可以基于上下文構(gòu)造pretext；另外BERT的MASK LM,隨機扣掉一些詞，然后預(yù)測扣掉的詞，讓模型讀懂句子；
圖像領(lǐng)域，以拼圖的方式構(gòu)造pretext，比如將一張圖分成9個部分，然后通過預(yù)測這幾個部分的相對位置來產(chǎn)生損失；以摳圖的方式構(gòu)造pretext，隨機將圖片的一部分刪掉，用剩余的部分預(yù)測扣掉的部分，類似BERT的MASK LM；預(yù)測圖片的顏色，比如輸入圖像的灰度圖，預(yù)測圖片的色彩，只有模型讀懂圖片的語義信息才能知道各部分對應(yīng)的顏色，比如天空是藍色的，草地是綠色的；
數(shù)據(jù)增廣Data Augmentation，以數(shù)據(jù)增廣的方式尋找自監(jiān)督上下文。ICLR 2018的工作是給定一張輸入的圖片，我們對其進行不同角度的旋轉(zhuǎn)，模型的目的是預(yù)測該圖片的旋轉(zhuǎn)角度，這種樸素的想法卻能帶來巨大的增益；
自監(jiān)督學(xué)習也可以與下游的具體任務(wù)集合一起訓(xùn)練，已成為一個新的趨勢。

2.2 基于時序（Temporal Based）
在某些場景，不同樣本間也有約束關(guān)系，比如基于時序約束。

視頻領(lǐng)域，最能體現(xiàn)時序約束的就是視頻，在視頻中，相鄰的幀特征是相似的，非相鄰的幀的特征通常不相似，利用該思想可以構(gòu)造pretext；另外，同一個物體的拍攝是可能存在多個視角（multi-view），對于多個視角中的同一幀，可以認為特征是相似的，不同幀認為是不相似的。
NLP，BERT訓(xùn)練的其中一個任務(wù)Next Sentence Prediction 也可以看作是基于順序的約束；

2.3 基于對比（Contrastive Based）
第三類自監(jiān)督學(xué)習的方法是基于對比約束，它通過學(xué)習對兩個事物的相似或不相似進行編碼來構(gòu)建表征，即通過構(gòu)建正樣本（positive）和負樣本（negative），然后度量正負樣本的距離來實現(xiàn)自監(jiān)督學(xué)習。核心思想樣本和正樣本之間的相似度遠遠大于樣本和負樣本之間的相似度，類似triplet模式。對比的思路構(gòu)建比較多樣，是目前自監(jiān)督學(xué)習的一個熱點。比如上面提到的基于時序的方法就有涉及對比約束。

ICLR 2019 的 DIM：具體思想是對于隱層的表達，可以通過構(gòu)造全局特征（編碼器最終的輸出）和局部特征（編碼器中間層的特征）的對比約束來設(shè)計pretext，模型需要分類全局特征和局部特征是否來自同一圖像；

所以基于對比約束的自監(jiān)督方法主要圍繞如何選取正負樣本， 比如利用多模態(tài)（多視角）的信息來構(gòu)造樣本，一個樣本的多個模態(tài)為正樣本，其他樣本的模態(tài)為負樣本。

總結(jié)

以上是生活随笔為你收集整理的自监督学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。