哈工大訊飛聯(lián)合實驗室(HFL)在前期陸續(xù)發(fā)布了多個中文預訓練模型，目前已成為最受歡迎的中文預訓練資源之一。為了進一步方便廣大用戶的使用，借助Transformers平臺可以更加便捷地調(diào)用已發(fā)布的中文預訓練系列模型。

自定義預訓練模型

近日，目前NLP領(lǐng)域非常流行的預訓練模型工具包Transformers(https://github.com/huggingface/transformers)迎來新版本更新。Transformers工具包研發(fā)團隊Huggingface在Twitter上發(fā)布Transformers v2.2.2已支持上傳第三方的預訓練模型。

快速加載

為了方便廣大用戶的使用，我們將哈工大訊飛聯(lián)合實驗室發(fā)布的所有中文預訓練模型上傳至Transformers平臺。相關(guān)模型以及對應的分詞器會自動從Transformers平臺中下載，確保數(shù)據(jù)準確無誤。在使用Transformers工具包時，僅需在調(diào)用時使用如下代碼。對于BERT以及RoBERTa系列模型，請使用：

# 加載分詞器

tokenizer = BertTokenizer.from_pretrained("MODEL_NAME")

# 加載模型

model = BertModel.from_pretrained("MODEL_NAME")
對于XLNet系列模型，請使用：

# 加載分詞器

tokenizer = XLNetTokenizer.from_pretrained("MODEL_NAME")

# 加載模型

model = XLNetModel.from_pretrained("MODEL_NAME")
其中MODEL_NAME和已發(fā)布的中文預訓練模型的對應關(guān)系如下：模型名MODEL_NAME

RoBERTa-wwm-ext-large	hfl/chinese-roberta-wwm-ext-large
RoBERTa-wwm-ext	hfl/chinese-roberta-wwm-ext
BERT-wwm-ext	hfl/chinese-bert-wwm-ext
BERT-wwm	hfl/chinese-bert-wwm

模型名MODEL_NAME

XLNet-mid	hfl/chinese-xlnet-mid
XLNet-base	hfl/chinese-xlnet-base

例如，如果要調(diào)用RoBERTa-wwm-ext-large模型：

# 加載分詞器

tokenizer = BertTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext-large")

# 加載模型

model = BertModel.from_pretrained("hfl/chinese-roberta-wwm-ext-large")

CLUE

哈工大訊飛聯(lián)合實驗室發(fā)布的相關(guān)模型經(jīng)過了第三方中文基準測試CLUE(https://github.com/CLUEbenchmark/CLUE)的驗證。CLUE基準測試包含了6個中文文本分類數(shù)據(jù)集和3個閱讀理解數(shù)據(jù)集，其中包括哈工大訊飛聯(lián)合實驗室發(fā)布的CMRC 2018閱讀理解數(shù)據(jù)集。在目前的基準測試中，哈工大訊飛聯(lián)合實驗室發(fā)布的RoBERTa-wwm-ext-large模型在分類和閱讀理解任務中都取得了當前最好的綜合效果。

分類任務：

閱讀理解任務：

相關(guān)資源地址

• 中文BERT、RoBERTa系列模型

  • https://github.com/ymcui/Chinese-BERT-wwm

• 中文XLNet系列模型

  • https://github.com/ymcui/Chinese-PreTrained-XLNet

• CLUE基準測試

  • https://github.com/CLUEbenchmark/CLUE

延伸閱讀

• 哈工大訊飛聯(lián)合實驗室發(fā)布中文RoBERTa-large預訓練模型

• 哈工大訊飛聯(lián)合實驗室發(fā)布中文RoBERTa-wwm-ext預訓練模型

• 哈工大訊飛聯(lián)合實驗室發(fā)布中文XLNet預訓練模型

• 哈工大訊飛聯(lián)合實驗室發(fā)布中文BERT-wwm-ext預訓練模型

• 哈工大訊飛聯(lián)合實驗室發(fā)布基于全詞覆蓋的中文BERT預訓練模型

?原文、編輯：HFL編輯部

總結(jié)

以上是生活随笔為你收集整理的bert中文预训练模型_HFL中文预训练系列模型已接入Transformers平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。