1.ELMO微調2.微調階段下游任務：用訓練好的模型繼續之后的任務E=r(S1*E1(詞特征)+S2*E2(句特征)+S3*E3(語義特征))注意：ELMO并不是把文本編碼成向量之后，直接作為下游任務模型輸入，而是將ELMO編碼的向量作為新的單詞特征補充到下游任務。ELMO是基于特征的微調。2.Bert微調：bert通過bert模型,可以編碼得到一個句子的句子向量,那么我們不會像ELMO一樣把這個向量作為新特征補充到下游任務，而是直接將該向量作為下游任務的輸入。當最終代價產生的時候，反向傳播，就會將梯度傳到句子向量cls上，那么就會更新到bert里邊的參數。因此叫做基于微調的模型。 3.GPT微調：GPT通過GPT模型,可以編碼得到一個句子的句子向量,那么我們不會像ELMO一樣把這個向量作為新特征補充到下游任務，而是直接將該向量作為下游任務的輸入。當最終代價產生的時候，反向傳播，就會將梯度傳到句子向量cls上，那么就會更新到GPT里邊的參數。因此叫做基于微調的模型。

總結

以上是生活随笔為你收集整理的预训练+微调任务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。