[詳細(xì)過程] | 使用tokenizers訓(xùn)練wordpiece模型

??大家好，我是亓官劼（qí guān jié ），在【亓官劼】公眾號、CSDN、GitHub、B站、華為開發(fā)者論壇等平臺分享一些技術(shù)博文，主要包括前端開發(fā)、python后端開發(fā)、小程序開發(fā)、數(shù)據(jù)結(jié)構(gòu)與算法、docker、Linux常用運(yùn)維、NLP等相關(guān)技術(shù)博文，時光荏苒，未來可期，加油~

??如果喜歡博主的文章可以關(guān)注博主的個人公眾號【亓官劼】(qí guān jié)，里面的文章更全更新更快。如果有需要找博主的話可以在公眾號后臺留言，我會盡快回復(fù)消息，其他平臺私信回復(fù)較慢。

注：本專欄僅為個人解決問題過程中簡單記錄，除非標(biāo)題中帶有詳細(xì)過程的文章，其他均沒有詳細(xì)過程以及解釋
注：本專欄僅為個人解決問題過程中簡單記錄，除非標(biāo)題中帶有詳細(xì)過程的文章，其他均沒有詳細(xì)過程以及解釋
注：本專欄僅為個人解決問題過程中簡單記錄，除非標(biāo)題中帶有詳細(xì)過程的文章，其他均沒有詳細(xì)過程以及解釋

---

tokenizers是hugging face開源的一個工具包，GitHub：tokenizers

安裝直接pip install tokenizers也可以

使用tokenizers訓(xùn)練wordpiece如下，具體看代碼注釋，非常的簡單。

總結(jié)

以上是生活随笔為你收集整理的[详细过程] | 使用tokenizers训练wordpiece模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。