Albert 歷史意義:

1、Albert 各層之間采用參數(shù)共享和embedding因式分解減少參數(shù)量

2、在nlp預訓練模型中正式采用輕量級bert模型

nlp領域(各個下游任務都有自身的模型)? ? <--------? 2020(ALbert)? -----------> nlp領域(采用輕量級bert模型Albert)

?

論文主要結構:

一、Abstract

? ? ? ? 介紹背景及提出Albert模型在多個數(shù)據(jù)集上的效果都表現(xiàn)優(yōu)異

? ? ? ? 1、增加model size提高模型在下游任務中的表現(xiàn)，但是同時會增加訓練時間且受限于內存限制

? ? ? ? ?2、提出兩種減少參數(shù)的策略來降低內存消耗和提高訓練bert的速度

? ? ? ? ?3、用一種句子間連貫性自監(jiān)督loss，并且有助于下游任務的輸入

? ? ? ? ?4、實驗證明模型效果較好且參數(shù)少很多

二、Introduction

? ? ? ? 介紹現(xiàn)在的預訓練模型都面臨著參數(shù)量比較大的問題，因此提出輕量級bert模型

三、Related Work

? ? ? ? 介紹目前參數(shù)共享和sentence ordered objectives的工作

四、Architecture

? ? ? ? ?AlBert 網(wǎng)絡結構及其內部細節(jié)，1、Factorized embedding parameterization? ? 2、Cross-layer parameter sharing? ? 3、inter-sentence coherence loss

? ? ?1、Factorized embedding parameterization

? ? ? ? 在bert系列的模型中，wordEmbedding的維度E設置和Hidden Layer的維度H相等，存在的問題

? ? ? ? 1）WordEmbedding學習到的是context-independent的representation. Hidden Layer Embedding學習到的是context dependent 的 representation,把 E和H分開可以更高效的利用參數(shù)存儲context信息H要遠大于E

? ? ? ? 2)? NLP任務中的vocab size很大，如果E==H模型參數(shù)量就很大，而embedding在實際的訓練過程就會過于稀疏? ? ? ?

? ? ? ?O(V * H) >> O(V*E + E*H)? 注: V-30w，H-768

? ? ?2、Cross-layer parameter sharing

? ? ? ? 不同layer參數(shù)共享問題，主要包含三個部分，1）只共享attention相關參數(shù)? ?2）只共享FFN相關參數(shù)? 3）共享所有參數(shù)

? ? ?3、Inter-sentence coherence loss

? ? ? ? NSP(next-sentece prediction) 正樣本上下相鄰兩個句子，負樣本隨機從訓練集中抽取兩個句子

? ? ? ? NSP效果不佳的原因：將主題預測和連貫性預測結合在一起，但主題預測比連續(xù)性預測簡單的多，并且與MLM損失的學習到的內容有重合

? ? ? ? SOP: 正樣本正常順序的兩個相鄰的句子，負樣本調換順序的兩個相鄰句子

五、Experiments

? ? ? ? AlBert在各個nlp下游任務中結果對比

? ? ? ? Bert：為了加速訓練，前90%的steps使用128個token短句，最后10%才使用512個token的長句來訓練position embedding

? ? ? ? ALBERT： 在90%的情況下，輸入的segment取512個token，從數(shù)據(jù)上來看，更長的數(shù)據(jù)能夠提供更多的上下文信息? ? ? ?

六、Discussion

? ? ? ? ?討論模型未來方向

七、ConClusion

? ? ? ? 關鍵點:

? ? ? ? ?1、減少參數(shù)量的兩個細節(jié) - Factorized embedding parameterization 和 cross-layer parameter sharing

? ? ? ? ?2、句子連貫性 - Inter-sentence coherence loss

? ? ? 啟發(fā)點:

? ? ? ? ?1、參數(shù)量過大，可以參考參數(shù)共享的方式

八、Code

? ? ? ? 參考代碼:https://github.com/brightmart/albert_zh

?

?

?

總結

以上是生活随笔為你收集整理的Albert: A lite bert for self-supervised learning of language representations (Albert)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。