??與CV不同的是，NLP的微調(diào)是建立在大量無標(biāo)記的數(shù)據(jù)當(dāng)中的，比如維基百科。因此NLP上的預(yù)訓(xùn)練語言模型大多采用的是自監(jiān)督的方式完成訓(xùn)練，具體方式有LM（language mode，即預(yù)測下一個(gè)單詞）和MLM（Masked language model）隨機(jī)遮蓋一個(gè)詞，通過周圍的單詞完成對(duì)中性詞的預(yù)測，其中，GPT采用的是LM，因此更適用于預(yù)測下一句的任務(wù)，而BERT則采用后者，11個(gè)NLP任務(wù)的SOTA。
??原始的文章中對(duì)于BERT的微調(diào)的描述是有一些誤區(qū)的。

原始的BERT是在大量的數(shù)據(jù)（>3B）上進(jìn)行訓(xùn)練的，顯然我們的數(shù)據(jù)集沒有那么多，所以訓(xùn)練師的學(xué)習(xí)率（lr）不可調(diào)的太大比如e-5的量級(jí)，其次優(yōu)化器最好選擇完整版的Adam（原始BERT用的不是完整版的Adam，去除了對(duì)參數(shù)的偏差校正）

3輪的話其實(shí)可能對(duì)于參數(shù)的收斂是不夠的，5輪較為適宜。 當(dāng)然更多的技巧還可以看How to fine-tune Bert for text classification這篇文章詳細(xì)介紹了文本分類任務(wù)領(lǐng)域中BERT的使用。

參考連接：11.2NLP中的微調(diào)【斯坦福21秋季：實(shí)用機(jī)器學(xué)習(xí)中文版】
https://www.bilibili.com/video/BV1bq4y1y7tg?spm_id_from=333.999.0.0
文章How to Fine-Tune BERT for Text Classification?

總結(jié)

以上是生活随笔為你收集整理的BERT微调误区的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。