?

本文主要幫助讀者超短時間內(nèi)理解 ERNIE 核心思想，適合正在準(zhǔn)備面試百度的同學(xué) (如果需要內(nèi)推可以找我)。如果想要細(xì)致了解 ERNIE 的各個細(xì)節(jié)，建議讀原論文：ERNIE1.0 和 ERNIE2.0

?

本文假設(shè)讀者對 Transformer 以及 BERT 有一定的了解。

ERNIE 1.0

「ERNIE1.0 主要是改進(jìn)了 BERT 的 MLM 任務(wù)。」 我們看圖說話，

從圖中，我們很容易發(fā)現(xiàn) ERNIE1.0 對于 BERT 的改進(jìn)是在 MLM 任務(wù)。在論文，作者闡述了三種不同的 mask 技巧：

• 基礎(chǔ) mask：任意 mask 一個單詞 (BERT 所采用的 mask 類型)

• 短語 mask：不是將單詞看成一個整體，而是將短語看成一個整體；(比如上圖中，mask 了 a series of 而不僅僅是 of)

• 實(shí)體 mask：mask 一個實(shí)體名。(比如上圖中，mask 的是 J.K.Rowling，而不是 K.)

好了，這樣子最初版的 ERNIE 就講完了。下面我們開始講 ERNIE2.0.

ERNIE 2.0

「ERNIE2.0 主要是在 ERNIE1.0 的基礎(chǔ)上，使用了新的多任務(wù)訓(xùn)練的框架。」 BERT 的預(yù)訓(xùn)練中，采用了 MLM 和 NSP 兩種任務(wù)，目的是為了讓模型能夠?qū)W出更好的詞表示向量，以及句子之間的關(guān)系。對于這樣的多任務(wù)訓(xùn)練，ERNIE2.0 系統(tǒng)化的提出了 3 大類任務(wù)，并讓 ERNIE 基于這三大類任務(wù)進(jìn)行學(xué)習(xí)。我們先看圖：

我們首先介紹這三大類任務(wù)，然后再介紹任務(wù)訓(xùn)練的方式。

預(yù)訓(xùn)練的三大任務(wù)

• 單詞層面預(yù)訓(xùn)練任務(wù)：

• 知識 mask：ERNIE1.0 介紹的 mask；

• 單詞 - 文章關(guān)系：預(yù)測一個單詞是否會出現(xiàn)在一篇文章中，可以讓模型抓住文章主旨；

• 首字母大寫預(yù)測：一般實(shí)體的首字母得大寫，所以這個任務(wù)有助于 NER 任務(wù)

• 結(jié)構(gòu)層面預(yù)訓(xùn)練任務(wù)：

• 文章句子排序：將一組亂序的句子，重新排序成一個段落；

• 句子距離預(yù)測：3 分類任務(wù)，“0” 表示是一個文章中緊挨著的句子，“1” 表示是一個文章中的句子，但不是緊挨著的，“2” 表示不是一個文章中的句子

• 語義層面預(yù)訓(xùn)練任務(wù)：

• 語義關(guān)系：預(yù)測兩個句子之間的語義關(guān)系或者修辭關(guān)系

• 信息檢索相關(guān)性：預(yù)測 query 和 title 是否相關(guān)的 3 分類任務(wù)。“0” 表示強(qiáng)相關(guān)，“1” 表示若相關(guān)，“2” 表示完全不相關(guān)。

訓(xùn)練方式

ERNIE2.0 采用的是序列多任務(wù)學(xué)習(xí) (Sequential Multi-task Learning)。這樣學(xué)習(xí)是為了讓模型鞏固之前的任務(wù)所學(xué)到的知識。

最終，ERNIE2.0 預(yù)訓(xùn)練的整體框架為：

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【NLP】5 分钟理解百度 ERNIE 核心思想的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。