ACL2017年中，騰訊AI-lab提出了DeepPyramidConvolutionalNeuralNetworksforTextCategorization(DPCNN)。論文中提出了一種基于word-level級(jí)別的網(wǎng)絡(luò)-DPCNN，由于上一篇文章介紹的TextCNN不能通過(guò)卷積獲得文本的長(zhǎng)距離依賴關(guān)系，而論文中DPCNN通過(guò)不斷加深網(wǎng)絡(luò)，可以抽取長(zhǎng)距離的文本依賴關(guān)系。實(shí)驗(yàn)證明在不增加太多計(jì)算成本的情況下，增加網(wǎng)絡(luò)深度就可以獲得最佳的準(zhǔn)確率。?

DPCNN結(jié)構(gòu)

究竟是多么牛逼的網(wǎng)絡(luò)呢？我們下面來(lái)窺探一下模型的芳容。

DPCNN結(jié)構(gòu)細(xì)節(jié)

模型是如何通過(guò)加深網(wǎng)絡(luò)來(lái)捕捉文本的長(zhǎng)距離依賴關(guān)系的呢？下面我們來(lái)一一道來(lái)。為了更加簡(jiǎn)單的解釋DPCNN，這里我先不解釋是什么是Regionembedding，我們先把它當(dāng)作wordembedding。

等長(zhǎng)卷積

首先交代一下卷積的的一個(gè)基本概念。一般常用的卷積有以下三類：

假設(shè)輸入的序列長(zhǎng)度為n，卷積核大小為m，步長(zhǎng)(stride)為s,輸入序列兩端各填補(bǔ)p個(gè)零(zeropadding),那么該卷積層的輸出序列為(n-m+2p)/s+1。

(1)窄卷積(narrowconvolution):步長(zhǎng)s=1,兩端不補(bǔ)零，即p=0，卷積后輸出長(zhǎng)度為n-m+1。

(2)寬卷積(wideonvolution)：步長(zhǎng)s=1,兩端補(bǔ)零p=m-1，卷積后輸出長(zhǎng)度n+m-1。

(3)等長(zhǎng)卷積(equal-widthconvolution):步長(zhǎng)s=1,兩端補(bǔ)零p=(m-1)/2，卷積后輸出長(zhǎng)度為n。如下圖所示，左右兩端同時(shí)補(bǔ)零p=1,s=3。

池化

那么DPCNN是如何捕捉長(zhǎng)距離依賴的呢？這里我直接引用文章的小標(biāo)題——Downsamplingwiththenumberoffeaturemapsfixed。

作者選擇了適當(dāng)?shù)膬蓪拥乳L(zhǎng)卷積來(lái)提高詞位embedding的表示的豐富性。然后接下來(lái)就開(kāi)始Downsampling(池化)。再每一個(gè)卷積塊(兩層的等長(zhǎng)卷積)后，使用一個(gè)size=3和stride=2進(jìn)行maxpooling進(jìn)行池化。序列的長(zhǎng)度就被壓縮成了原來(lái)的一半。其能夠感知到的文本片段就比之前長(zhǎng)了一倍。

例如之前是只能感知3個(gè)詞位長(zhǎng)度的信息，經(jīng)過(guò)1/2池化層后就能感知6個(gè)詞位長(zhǎng)度的信息啦，這時(shí)把1/2池化層和size=3的卷積層組合起來(lái)如圖所示。

固定featuremaps(filters)的數(shù)量

為什么要固定featuremaps的數(shù)量呢?許多模型每當(dāng)執(zhí)行池化操作時(shí)，增加featuremaps的數(shù)量，導(dǎo)致總計(jì)算復(fù)雜度是深度的函數(shù)。與此相反，作者對(duì)featuremap的數(shù)量進(jìn)行了修正，他們實(shí)驗(yàn)發(fā)現(xiàn)增加featuremap的數(shù)量只會(huì)大大增加計(jì)算時(shí)間，而沒(méi)有提高精度。

另外，夕小瑤小姐姐在知乎也詳細(xì)的解釋了為什么要固定featuremaps的數(shù)量。有興趣的可以去知乎搜一搜，講的非常透徹。

固定了featuremap的數(shù)量，每當(dāng)使用一個(gè)size=3和stride=2進(jìn)行maxpooling進(jìn)行池化時(shí)，每個(gè)卷積層的計(jì)算時(shí)間減半(數(shù)據(jù)大小減半)，從而形成一個(gè)金字塔。

這就是論文題目所謂的Pyramid。

好啦，看似問(wèn)題都解決了，目標(biāo)成功達(dá)成。剩下的我們就只需要重復(fù)的進(jìn)行等長(zhǎng)卷積+等長(zhǎng)卷積+使用一個(gè)size=3和stride=2進(jìn)行maxpooling進(jìn)行池化就可以啦，DPCNN就可以捕捉文本的長(zhǎng)距離依賴?yán)?#xff01;

Shortcutconnectionswithpre-activation

但是！如果問(wèn)題真的這么簡(jiǎn)單的話，深度學(xué)習(xí)就一下子少了超級(jí)多的難點(diǎn)了。

(1)初始化CNN的時(shí)，往往各層權(quán)重都初始化為很小的值，這導(dǎo)致了最開(kāi)始的網(wǎng)絡(luò)中，后續(xù)幾乎每層的輸入都是接近0，這時(shí)的網(wǎng)絡(luò)輸出沒(méi)有意義；

(2)小權(quán)重阻礙了梯度的傳播，使得網(wǎng)絡(luò)的初始訓(xùn)練階段往往要迭代好久才能啟動(dòng)；

(3)就算網(wǎng)絡(luò)啟動(dòng)完成，由于深度網(wǎng)絡(luò)中仿射矩陣(每?jī)蓪娱g的連接邊)近似連乘，訓(xùn)練過(guò)程中網(wǎng)絡(luò)也非常容易發(fā)生梯度爆炸或彌散問(wèn)題。

當(dāng)然，上述這幾點(diǎn)問(wèn)題本質(zhì)就是梯度彌散問(wèn)題。那么如何解決深度CNN網(wǎng)絡(luò)的梯度彌散問(wèn)題呢？當(dāng)然是膜一下何愷明大神，然后把ResNet的精華拿來(lái)用啦！ResNet中提出的shortcut-connection/skip-connection/residual-connection(殘差連接)就是一種非常簡(jiǎn)單、合理、有效的解決方案。

類似地，為了使深度網(wǎng)絡(luò)的訓(xùn)練成為可能，作者為了恒等映射，所以使用加法進(jìn)行shortcutconnections，即z+f(z),其中f用的是兩層的等長(zhǎng)卷積。這樣就可以極大的緩解了梯度消失問(wèn)題。

另外，作者也使用了pre-activation，這個(gè)最初在何凱明的“IdentityMappingsinDeepResidualNetworks上提及，有興趣的大家可以看看這個(gè)的原理。直觀上，這種“線性”簡(jiǎn)化了深度網(wǎng)絡(luò)的訓(xùn)練，類似于LSTM中constanterrorcarousels的作用。而且實(shí)驗(yàn)證明pre-activation優(yōu)于post-activation。

整體來(lái)說(shuō)，巧妙的結(jié)構(gòu)設(shè)計(jì)，使得這個(gè)模型不需要為了維度匹配問(wèn)題而擔(dān)憂。

Regionembedding

同時(shí)DPCNN的底層貌似保持了跟TextCNN一樣的結(jié)構(gòu)，這里作者將TextCNN的包含多尺寸卷積濾波器的卷積層的卷積結(jié)果稱之為Regionembedding，意思就是對(duì)一個(gè)文本區(qū)域/片段(比如3gram)進(jìn)行一組卷積操作后生成的embedding。

另外，作者為了進(jìn)一步提高性能，還使用了tv-embedding(two-viewsembedding)進(jìn)一步提高DPCNN的accuracy。

上述介紹了DPCNN的整體架構(gòu)，可見(jiàn)DPCNN的架構(gòu)之精美。本文是在原始論文以及知乎上的一篇文章的基礎(chǔ)上進(jìn)行整理。本文可能也會(huì)有很多錯(cuò)誤，如果有錯(cuò)誤，歡迎大家指出來(lái)！建議大家為了更好的理解DPCNN，看一下原始論文和參考里面的知乎。

用Keras實(shí)現(xiàn)DPCNN網(wǎng)絡(luò)

這里參考了一下kaggle的代碼，模型一共用了七層，模型的參數(shù)與論文不太相同。這里濾波器通道個(gè)數(shù)為64(論文中為256)，具體的參數(shù)可以參考下面的代碼，部分我寫了注釋。

defCNN(x):block=Conv1D(filter_nr,kernel_size=filter_size,padding=same,activation=linear,kernel_regularizer=conv_kern_reg,bias_regularizer=conv_bias_reg)(x)block=BatchNormalization()(block)block=PReLU()(block)block=Conv1D(filter_nr,kernel_size=filter_size,padding=same,activation=linear,kernel_regularizer=conv_kern_reg,bias_regularizer=conv_bias_reg)(block)block=BatchNormalization()(block)block=PReLU()(block)returnblockdefDPCNN():filter_nr=64#濾波器通道個(gè)數(shù)filter_size=3#卷積核max_pool_size=3#池化層的pooling_sizemax_pool_strides=2#池化層的步長(zhǎng)dense_nr=256#全連接層spatial_dropout=0.2dense_dropout=0.5train_embed=Falseconv_kern_reg=regularizers.l2(0.00001)conv_bias_reg=regularizers.l2(0.00001)comment=Input(shape=(maxlen,))emb_comment=Embedding(max_features,embed_size,weights=[embedding_matrix],trainable=train_embed)(comment)emb_comment=SpatialDropout1D(spatial_dropout)(emb_comment)#regionembedding層resize_emb=Conv1D(filter_nr,kernel_size=1,padding=same,activation=linear,kernel_regularizer=conv_kern_reg,bias_regularizer=conv_bias_reg)(emb_comment)resize_emb=PReLU()(resize_emb)#第一層block1=CNN(emb_comment)block1_output=add([block1,resize_emb])block1_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block1_output)#第二層block2=CNN(block1_output)block2_output=add([block2,block1_output])block2_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block2_output)#第三層block3=CNN(block2_output)block3_output=add([block3,block2_output])block3_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block3_output)#第四層block4=CNN(block3_output)block4_output=add([block4,block3_output])block4_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block4_output)#第五層block5=CNN(block4_output)block5_output=add([block5,block4_output])block5_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block5_output)#第六層block6=CNN(block5_output)block6_output=add([block6,block5_output])block6_output=MaxPooling1D(pool_size=max_pool_size,strides=max_pool_strides)(block6_output)#第七層block7=CNN(block6_output)block7_output=add([block7,block6_output])output=GlobalMaxPooling1D()(block7_output)#全連接層output=Dense(dense_nr,activation=linear)(output)output=BatchNormalization()(output)output=PReLU()(output)output=Dropout(dense_dropout)(output)output=Dense(6,activation=sigmoid)(output)model=Model(comment,output)model.summary()model.compile(loss=binary_crossentropy,optimizer=optimizers.Adam(),metrics=[accuracy])returnmodel

DPCNN實(shí)戰(zhàn)

上面我們用keras實(shí)現(xiàn)了我們的DPCNN網(wǎng)絡(luò)，這里我們借助kaggle的有毒評(píng)論文本分類競(jìng)賽來(lái)實(shí)戰(zhàn)下我們的DPCNN網(wǎng)絡(luò)。

具體地代碼，大家可以去我的GitHub上面找到源碼：

https://github.com/hecongqing/TextClassification/blob/master/DPCNN.ipynb

總結(jié)

以上是生活随笔為你收集整理的好用的cnn网络_DPCNN，究竟是多么牛逼的网络呢？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。