今天筆者將簡要介紹一下后bert 時代中一個又一比較重要的預訓練的語言模型——XLNET ，下圖是XLNET在中文問答數(shù)據(jù)集CMRC 2018數(shù)據(jù)集（哈工大訊飛聯(lián)合實驗室發(fā)布的中文機器閱讀理解數(shù)據(jù)，形式與SQuAD相同）上的表現(xiàn)。我們可以看到XLNET的實力略勝于BERT。

XLNET 的一些表現(xiàn)

 

這里筆者會先簡單地介紹一下XLNET精妙的算法設計，當然我盡量采用通俗的語言去表達那些深奧的數(shù)學表達式，整個行文過程會直接采用原論文的行文流程：Observition—>Motivition—>Contribution。然后我會介紹一下如何用python在15分鐘之內(nèi)搭建一個基于XLNET的文本分類模型。

XLNET的原理

Observision

XLNET的原論文將預訓練的語言模型分為兩類：

1. 自回歸:根據(jù)上文預測下文將要出現(xiàn)的單詞?

總結

以上是生活随笔為你收集整理的15 分钟搭建一个基于XLNET的文本分类模型——keras实战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。