原文連接

1.為什么使用wordPiece？

在BERT中，做數(shù)據(jù)預(yù)處理的時(shí)候，使用了wordPiece，所謂的wordPiece其實(shí)是把word再進(jìn)一步的拆分，拆分為piece，得到更細(xì)粒度。而為什么使用wordPiece 而不直接使用word？比如如"loved","loving","loves"這三個(gè)單詞。其實(shí)本身的語義都是“愛”的意思，但是如果我們以單詞為單位，那它們就算作是不一樣的詞，在英語中不同后綴的詞非常的多，就會(huì)使得詞表變的很大，訓(xùn)練速度變慢，訓(xùn)練的效果也不是太好。

2.wordPiece的實(shí)現(xiàn)算法

WordPiece的一種主要的實(shí)現(xiàn)方式叫做BPE（Byte-Pair Encoding）雙字節(jié)編碼。BPE的過程可以理解為把一個(gè)單詞再拆分，使得詞表會(huì)變得精簡，并且寓意更加清晰。

BPE算法通過訓(xùn)練，能夠把上面的"loved","loving","loves"3個(gè)單詞拆分成"lov","ed","ing","es"幾部分，這樣可以把詞的本身的意思和時(shí)態(tài)分開，有效的減少了詞表的數(shù)量。

3.BPE算法的訓(xùn)練過程

BPE的大概訓(xùn)練過程：首先將詞分成一個(gè)一個(gè)的字符，然后在詞的范圍內(nèi)統(tǒng)計(jì)字符對出現(xiàn)的次數(shù)，每次將次數(shù)最多的字符對保存起來，直到循環(huán)次數(shù)結(jié)束。

原始詞表如下：

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}

其中的key是詞表的單詞拆分層字母，再加代表結(jié)尾，value代表詞出現(xiàn)的頻率。

下面我們每一步在整張?jiān)~表中找出頻率最高相鄰序列，并把它合并，依次循環(huán)。

原始詞表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5} 出現(xiàn)最頻繁的序列 ('s', 't') 9 合并最頻繁的序列后的詞表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5} 出現(xiàn)最頻繁的序列 ('e', 'st') 9 合并最頻繁的序列后的詞表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6} 出現(xiàn)最頻繁的序列 ('est', '</w>') 9 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5} 出現(xiàn)最頻繁的序列 ('l', 'o') 7 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5} 出現(xiàn)最頻繁的序列 ('lo', 'w') 7 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5} 出現(xiàn)最頻繁的序列 ('n', 'e') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5} 出現(xiàn)最頻繁的序列 ('w', 'est</w>') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5} 出現(xiàn)最頻繁的序列 ('ne', 'west</w>') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5} 出現(xiàn)最頻繁的序列 ('low', '</w>') 5 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5} 出現(xiàn)最頻繁的序列 ('i', 'd') 3 合并最頻繁的序列后的詞表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}

這樣我們通過BPE得到了更加合適的詞表了，這個(gè)詞表可能會(huì)出現(xiàn)一些不是單詞的組合，但是這個(gè)本身是有意義的一種形式，加速NLP的學(xué)習(xí)，提升不同詞之間的語義的區(qū)分度。

總結(jié)

以上是生活随笔為你收集整理的BERT 中wordPiece的原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。