華校專老師更新了個(gè)人筆記，增加了 Transformer筆記，包含XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa 等內(nèi)容，內(nèi)容十分詳細(xì)，非常值得學(xué)習(xí)，特此推薦。

作者華校專，曾任阿里巴巴資深算法工程師、智易科技首席算法研究員，現(xiàn)任騰訊高級研究員，《Python 大戰(zhàn)機(jī)器學(xué)習(xí)》的作者。華老師也是我們的知識星球的嘉賓。

這是作者多年以來學(xué)習(xí)總結(jié)的筆記，經(jīng)整理之后開源于世。

筆記地址：

http://www.huaxiaozhuan.com/深度學(xué)習(xí)/chapters/7_Transformer.html

Transformer簡介

Transformer?是一種新的、基于?attention?機(jī)制來實(shí)現(xiàn)的特征提取器，可用于代替?CNN?和?RNN?來提取序列的特征。

Transformer?首次由論文?《Attention Is All You Need》?提出，在該論文中?Transformer?用于?encoder - decoder?架構(gòu)。事實(shí)上?Transformer?可以單獨(dú)應(yīng)用于?encoder?或者單獨(dú)應(yīng)用于?decoder?。

Transformer筆記目錄

一、Transformer

• 1.1 結(jié)構(gòu)

• 1.2 Transformer vs CNN vs RNN

• 1.3 實(shí)驗(yàn)結(jié)果

二、Universal Transformer

• 2.1 結(jié)構(gòu)

• 2.2 ACT

• 2.3 實(shí)驗(yàn)結(jié)果

三、Transformer XL

• 3.1 Segment-level 遞歸

• 3.2 相對位置編碼

• 3.3 實(shí)驗(yàn)結(jié)果

四、GPT

• 4.1 GPT V1

• 4.2 GPT V2

五、BERT

• 5.1 預(yù)訓(xùn)練

• 5.2 模型結(jié)構(gòu)

• 5.3 微調(diào)

• 5.4 性能

六、ERNIE

• 6.1 ERNIE 1.0

• 6.2 ERNIE 2.0

七、XLNet

• 7.1 自回歸語言模型 vs 自編碼語言模型

• 7.2 Permutation Language Model

• 7.3 Two-Stream Self-Attention

• 7.4 Partial Prediction

• 7.5 引入 Transformer XL

• 7.6 多輸入

• 7.7 模型比較

• 7.8 實(shí)驗(yàn)

八、MT-DNN

• 8.1 模型

• 8.2 實(shí)驗(yàn)

九、BERT 擴(kuò)展

• 9.1 BERT-wwm-ext

• 9.2 RoBERTa

筆記截圖

筆記截圖

其他

華校專老師的個(gè)人網(wǎng)站：

http://www.huaxiaozhuan.com/

筆記地址：

http://www.huaxiaozhuan.com/深度學(xué)習(xí)/chapters/7_Transformer.html

github：

https://github.com/huaxz1986

筆記內(nèi)容較多，歡迎大家探討。請點(diǎn)擊“閱讀原文”

本站簡介↓↓↓?

“機(jī)器學(xué)習(xí)初學(xué)者”是幫助人工智能愛好者入門的個(gè)人公眾號（創(chuàng)始人：黃海廣）

初學(xué)者入門的道路上，最需要的是“雪中送炭”，而不是“錦上添花”。

本站的知識星球（黃博的機(jī)器學(xué)習(xí)圈子）ID：92416895

目前在機(jī)器學(xué)習(xí)方向的知識星球排名第一（上圖二維碼）

往期精彩回顧

• 良心推薦：機(jī)器學(xué)習(xí)入門資料匯總及學(xué)習(xí)建議
  

• 黃海廣博士的github鏡像下載（機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記及資源）

• 機(jī)器學(xué)習(xí)小抄-（像背托福單詞一樣理解機(jī)器學(xué)習(xí)）
  

• 首發(fā)：深度學(xué)習(xí)入門寶典-《python深度學(xué)習(xí)》原文代碼中文注釋版及電子書

• 機(jī)器學(xué)習(xí)必備寶典-《統(tǒng)計(jì)學(xué)習(xí)方法》的python代碼實(shí)現(xiàn)、電子書及課件
  

• 重磅 | 完備的 AI 學(xué)習(xí)路線，最詳細(xì)的資源整理！
  

• 圖解word2vec(原文翻譯)

• 斯坦福CS229機(jī)器學(xué)習(xí)課程的數(shù)學(xué)基礎(chǔ)（概率論和線性）

備注：本站qq群：865189078（共8個(gè)群，不用重復(fù)加）。

加入本站微信群，請加黃博的助理微信，說明：公眾號用戶加群。

總結(jié)

以上是生活随笔為你收集整理的非常详细的transformer笔记，包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。