超详细中文预训练模型ERNIE使用指南-源码
作者 | 高開(kāi)遠(yuǎn)，上海交通大學(xué)，自然語(yǔ)言處理研究方向
最近在工作上處理的都是中文語(yǔ)料，也嘗試了一些最近放出來(lái)的預(yù)訓(xùn)練模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比對(duì)之后還是覺(jué)得百度的ERNIE效果會(huì)比較好，而且使用十分方便，所以今天就詳細(xì)地記錄一下。希望大家也都能在自己的項(xiàng)目上取得進(jìn)展~
1、A Glance at ERNIE
關(guān)于ERNIE模型本身的話這篇不會(huì)做過(guò)多介紹，網(wǎng)上的介紹文檔也很多了，相信從事NLP的同學(xué)們肯定都非常熟悉啦。
2、ERNIE源碼淺嘗
Okay，當(dāng)我們了解了ERNIE模型的大體框架及原理之后，接下來(lái)就可以深入理解一下具體的實(shí)現(xiàn)啦。ERNIE是基于百度自己的深度學(xué)習(xí)框架飛槳（PaddlePaddle）搭建的，（百度推這個(gè)飛槳的力度還是蠻大的，還開(kāi)放了免費(fèi)算力），大家平時(shí)煉丹用的更多的可能是TensorFlow和Pytorch，這里關(guān)于運(yùn)行ERNIE的飛槳環(huán)境安裝可以參考快速安裝指南：
https://www.paddlepaddle.org.cn/#quick-start
2.1 關(guān)于輸入
模型預(yù)訓(xùn)練的輸入是基于百科類、資訊類、論壇對(duì)話類數(shù)據(jù)構(gòu)造具有上下文關(guān)系的句子對(duì)數(shù)據(jù)，利用百度內(nèi)部詞法分析工具對(duì)句對(duì)數(shù)據(jù)進(jìn)行字、詞、實(shí)體等不同粒度的切分，然后基于 tokenization.py 中的 CharTokenizer 對(duì)切分后的數(shù)據(jù)進(jìn)行 token 化處理，得到明文的 token 序列及切分邊界，然后將明文數(shù)據(jù)根據(jù)詞典config/vocab.txt 映射為 id 數(shù)據(jù)，在訓(xùn)練過(guò)程中，根據(jù)切分邊界對(duì)連續(xù)的 token 進(jìn)行隨機(jī) mask 操作。經(jīng)過(guò)上述預(yù)處理之后的輸入樣例為：
11048 492 1333 1361 1051 326 2508 5 1803 1827 98 164 133 2777 2696 983 121 4 199 634 551 844 85 14 2476 1895 33 13 983 121 23 7 1093 24 46 660 12043 2 1263 6328 33 121 126 398 276 315 5 63 44 35 25 12043 2;0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11;0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 2829 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 5455;-1 0 0 0 0 1 0 1 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 0 00 -1 0 0 0 1 0 0 1 0 1 0 0 1 0 1 0 -1;0
一共有五個(gè)部分組成，每個(gè)部分之間用分號(hào);隔開(kāi)：
- token_ids：輸入句子對(duì)的表示；
- sentence_type_ids：0或者1表示token屬于哪一個(gè)句子；
- position_ids：絕對(duì)位置編碼
- seg_labels：表示分詞邊界信息，0表示詞首、1表示非詞首、-1為占位符
- next_sentence_label：表示該句子對(duì)是否存在上下句的關(guān)系（0為無(wú)1為有）
reader.pretraining.py中的parse_line函數(shù).
2.2 關(guān)于mask策略 batching.py
我們知道，相較于BERT，ERNIE最大的改進(jìn)就是中文 + 短語(yǔ)/實(shí)體掩碼（這個(gè)短語(yǔ)掩碼的操作后來(lái)也被BERT采用訓(xùn)練出了WWM-BERT），所以我們首先來(lái)看看ERNIE的掩碼機(jī)制是怎么樣實(shí)現(xiàn)的。
2.3 關(guān)于infer過(guò)程代碼改寫(xiě)
ERNIE代碼很方便使用，但是有一個(gè)不足的地方就是目前官方還沒(méi)有給出infer.py文件，也就是模型訓(xùn)練之后給出快速推理結(jié)果的文件。Github上簡(jiǎn)直萬(wàn)人血書(shū)求接口呀。
所以我們的目的就是需要改寫(xiě)源碼，完成這樣一個(gè)接口：輸入為我們需要預(yù)測(cè)的文件predict.tsv，調(diào)用接口后輸出為相應(yīng)任務(wù)的結(jié)果pred_result。下面我們以分類任務(wù)為例，改寫(xiě)一個(gè)infer接口。
Step 1. finetune下的classifier.py
在文件中完成predict函數(shù)
Step 2. run_classifier.py
修改predict_only=True時(shí)的邏輯
Step 3. finetune_args.py
在該文件中添加一個(gè)參數(shù)do_predict
OK, 篇幅有限后面還要介紹具體ERNIE實(shí)戰(zhàn)，源碼閱讀部分就先這樣，其實(shí)剩下的很多都跟BERT代碼比較相似，感興趣的同學(xué)也可以參考之前的 BERT源碼分析系：https://blog.csdn.net/Kaiyuan_sjtu/article/details/90265473
3、ERNIE實(shí)戰(zhàn)指南
上面扯的都是務(wù)虛的，接下來(lái)我們務(wù)實(shí)地來(lái)看看ERNIE這個(gè)預(yù)訓(xùn)練模型的具體應(yīng)用。和BERT相比，ERNIE的使用更加簡(jiǎn)單，在之前介紹過(guò)的BERT模型實(shí)戰(zhàn)之多文本分類（https://blog.csdn.net/Kaiyuan_sjtu/article/details/88709580）中，我們需要手動(dòng)改寫(xiě)一個(gè)適應(yīng)自己任務(wù)的Processor，而對(duì)于ERNIE來(lái)說(shuō)，簡(jiǎn)單到只需要三步：
- 把數(shù)據(jù)準(zhǔn)備成要求的格式（源碼中使用tsv格式，不過(guò)在bert中我們也說(shuō)過(guò)了，可以修改成各種格式的）
- 寫(xiě)一下訓(xùn)練腳本 run_script.sh
- 跑腳本得到結(jié)果 bashrun_script.sh
3.1 準(zhǔn)備工作
對(duì)于最近大火的預(yù)訓(xùn)練模型來(lái)說(shuō)，絕大多數(shù)我們是不太可能自己從頭開(kāi)始訓(xùn)練的，最多使用的是官方開(kāi)源的模型進(jìn)行特定任務(wù)的Finetune。所以第一步就是下載模型代碼（https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE
）以及相應(yīng)的參數(shù)（https://baidu-nlp.bj.bcebos.com/ERNIE_stable-1.0.1.tar.gz）。
接下去就是準(zhǔn)備我們?nèi)蝿?wù)的數(shù)據(jù)，使其符合ERNIE模型輸入要求。一般來(lái)說(shuō)字段之間都是label和text_a用制表符分割，對(duì)于句對(duì)任務(wù)還需要額外的text_b字段。在后面我們會(huì)具體介紹每種任務(wù)的示例輸入。
ok，前面我們一直強(qiáng)調(diào)ERNIE是超友好上手超快的模型，下面我們結(jié)合實(shí)際任務(wù)來(lái)看一看到底有多簡(jiǎn)單~
3.2 情感分類
情感分類是屬于非常典型的NLP基礎(chǔ)任務(wù)之一，因?yàn)橹癇ERT寫(xiě)過(guò)文本分類，所以這里我們就稍微換一換口味~這里我們只考慮最簡(jiǎn)單情況的情感分類任務(wù)，即給定一個(gè)輸入句子，要求模型給出一個(gè)情感標(biāo)簽，可以是只有正負(fù)的二分類，也可以是包括中性情感的三分類。ok，我們來(lái)看看數(shù)據(jù)，網(wǎng)上隨便找了一個(gè)財(cái)經(jīng)新聞數(shù)據(jù)集，數(shù)據(jù)來(lái)源于雪球網(wǎng)上萬(wàn)得資訊發(fā)布的正負(fù)面新聞標(biāo)題，數(shù)據(jù)集中包含17149條新聞數(shù)據(jù)，包括日期、公司、代碼、正/負(fù)面、標(biāo)題、正文6個(gè)字段，其中正面新聞12514條，負(fù)面新聞4635條。大概長(zhǎng)這樣：
處理成ERNIE分類任務(wù)所需要的輸入，大概長(zhǎng)這樣：
將處理完成的數(shù)據(jù)和前面下載好的預(yù)訓(xùn)練模型參數(shù)放置到合適的位置，就可以開(kāi)始寫(xiě)我們跑模型的腳本文件了：
嗯，這樣一個(gè)任務(wù)就結(jié)束了…運(yùn)行腳本后等待輸出結(jié)果即可，是不是很簡(jiǎn)單~
當(dāng)然如果你還想玩點(diǎn)花樣的話，就可以多看看論文。比如復(fù)旦之前有一篇文章是在BERT的基礎(chǔ)上，將ABSA情感分類的單句分類任務(wù)轉(zhuǎn)變成了句子對(duì)的相似度匹配任務(wù)。簡(jiǎn)單來(lái)說(shuō)就是通過(guò)構(gòu)建輔助句子，把輸入這家餐館的鍋包肉超好吃變成了這家餐館的鍋包肉超好吃 + 菜品口感的情感是正的，論文表明這一trick是會(huì)比單句分類的效果更好。更具體的細(xì)節(jié)可以參考論文：《UtilizingBERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》（https://www.aclweb.org/anthology/N19-1035）。
3.3 命名實(shí)體識(shí)別
命名實(shí)體識(shí)別也是NLP的一個(gè)基礎(chǔ)任務(wù)，之前在博客中也有過(guò)介紹：【論文筆記】命名實(shí)體識(shí)別論文（https://blog.csdn.net/Kaiyuan_sjtu/article/details/89143573）關(guān)于NER的處理思路也是跟上面情感分類的大同小異，只不過(guò)NER是屬于序列標(biāo)注任務(wù)，在運(yùn)行腳本的時(shí)候注意使用源碼中的run_senquence_labeling.py。
4、有趣的ISSUE
Github上比源碼更有價(jià)值的是對(duì)應(yīng)的issue，一個(gè)好的開(kāi)源項(xiàng)目會(huì)吸引很多人的關(guān)注，issue區(qū)里會(huì)有很多有趣的思考，所以大家千萬(wàn)不要錯(cuò)過(guò)噢~下面就列幾個(gè)我覺(jué)得比較有意思的issue供大家參考。
4.1 關(guān)于batch_size
https://github.com/PaddlePaddle/LARK/issues/4
剛打開(kāi)ERNIE腳本打算跑的同學(xué)可能會(huì)發(fā)現(xiàn)，它的batch_size竟然是8192，我的天哪（小岳岳臉），這不得炸！于是乎你非常機(jī)智地把batch_size改為了32，美滋滋地輸入bash script/pretrain.py，然后自信地敲下Enter鍵。嗯？？？報(bào)錯(cuò)？？？
報(bào)的什么錯(cuò)大家感興趣的自己去復(fù)現(xiàn)吧~
對(duì)，在pretrain的時(shí)候這里的batch_size指的是所有輸入token的總數(shù)，所以才會(huì)那么大~
4.2 關(guān)于Mask機(jī)制的邏輯
https://github.com/PaddlePaddle/LARK/issues/33
正如我開(kāi)篇說(shuō)的，ERNIE的最大創(chuàng)新就是它的mask機(jī)制，這一點(diǎn)的代碼實(shí)現(xiàn)也在issue區(qū)被熱烈討論
4.3 關(guān)于獲取輸入的中間向量表示
https://github.com/PaddlePaddle/LARK/issues/41
有時(shí)候我們會(huì)需要獲取句子Embedding 和 tokenEmbeddings，可參照下面的方案。
4.4 預(yù)測(cè)被masked的詞
https://github.com/PaddlePaddle/LARK/issues/135
將一個(gè)句子的某個(gè)詞語(yǔ)mask后，然后使用模型去預(yù)測(cè)這個(gè)詞語(yǔ)，得到候選詞和詞語(yǔ)的概率
4.5. ERNIE模型部署
飛槳（PaddlePaddle）模型的部署可以在官方說(shuō)明文檔中找到
https://www.paddlepaddle.org.cn/documentation/docs/zh/1.4/advanced_usage/deploy/inference/index_cn.html
5、Some Tips
最后一部分打算說(shuō)一下關(guān)于使用預(yù)訓(xùn)練模型的一些小tips：
- 學(xué)習(xí)率是第一種重要的參數(shù)，當(dāng)你開(kāi)始著手調(diào)參時(shí)優(yōu)先從學(xué)習(xí)率開(kāi)始。
- 根據(jù)你的任務(wù)來(lái)選擇預(yù)訓(xùn)練模型。每個(gè)模型的訓(xùn)練大規(guī)模語(yǔ)料是不一樣的，這就說(shuō)明了有些模型天生就是更加適用于某個(gè)領(lǐng)域。
- 所有的預(yù)訓(xùn)練模型為了在盡可能多的下游任務(wù)上取得較好的效果，所使用的訓(xùn)練語(yǔ)料的覆蓋范圍都是非常大的，但這也帶來(lái)了一個(gè)問(wèn)題----過(guò)于general。也就是說(shuō)如果你的任務(wù)所屬domain與訓(xùn)練語(yǔ)料的相差較大，比如關(guān)于醫(yī)學(xué)材料學(xué)之類的領(lǐng)域，反而不容易取得好的效果。所以我們可以在特定領(lǐng)域下嘗試post-train預(yù)訓(xùn)練模型。
- 目前來(lái)說(shuō)，對(duì)于中文領(lǐng)域的NLP任務(wù)，可以優(yōu)先選擇ERNIE。聽(tīng)小道消息說(shuō)，ERNIE 2.0快出來(lái)了，據(jù)說(shuō)效果很猛。
- 不要過(guò)分迷信預(yù)訓(xùn)練模型！！！
關(guān)于ERNIE的更多信息，可點(diǎn)擊文末閱讀原文或查看以下鏈接：
https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE
Reference：
- 《Enhanced Representation through kNowledge IntEgration》：
https://arxiv.org/abs/1904.09223 - 《如何評(píng)價(jià)百度新發(fā)布的NLP預(yù)訓(xùn)練模型ERNIE？》：
https://www.zhihu.com/question/316140575 - 《中文任務(wù)全面超越 BERT：百度正式發(fā)布NLP預(yù)訓(xùn)練模型ERNIE》
https://www.jiqizhixin.com/articles/2019-03-16-3 - 官方源碼：
https://www.jiqizhixin.com/articles/2019-03-16-3
總結(jié)
以上是生活随笔為你收集整理的超详细中文预训练模型ERNIE使用指南-源码的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 命名实体识别NER遗留问题----模型构
- 下一篇： python codecs.open()