Transformer自2017年被提出后，從橫掃NLP領(lǐng)域的風(fēng)光無(wú)二，到陷入一片對(duì)其在CV任務(wù)有效性的質(zhì)疑聲中，再到不久前在多項(xiàng)圖像任務(wù)中顯示出直逼CNN的優(yōu)異性能 以及 ICCV2021 best paper：Swin Transformer的火熱出爐，Transformer逐步在CV領(lǐng)域大放異彩！

也因此，Transformer、Vision Transformer、QKV、Attention is all you need等字眼又一次引爆學(xué)術(shù)圈！

作為開(kāi)發(fā)者，在為這顆學(xué)術(shù)巨星拍手叫好的同時(shí)，何不及時(shí)上車(chē)，搞明白編碼器解碼器里的QKV到底是什么、火遍全網(wǎng)的Swin Transformer做對(duì)了什么？Transformer為何能橫掃NLP，又是怎么在CV任務(wù)中發(fā)揮作用的？以及最近的 CV大神新作MAE算法又是如何運(yùn)作的？

花10個(gè)小時(shí)時(shí)間真正搞懂這些熱詞背后的技術(shù)價(jià)值，親自動(dòng)手實(shí)現(xiàn)這些爆款ViT算法，甚至將其應(yīng)用在自己當(dāng)前的工作與科研中，成為下一個(gè)頂會(huì)爆款！

《ViT十講》

Is All You Need！

11月23日（周二），AI頂會(huì)審稿人、百度深度學(xué)習(xí)研究院資深研究員朱歟博士直播講授《Vision Transformer十講》。每晚1小時(shí)、連續(xù)10天，朱歟博士帶你從零玩轉(zhuǎn)ViT算法！

Vision Transformer前沿技術(shù)全面講解：從ViT經(jīng)典算法到最新學(xué)界前沿，從技術(shù)原理到實(shí)現(xiàn)細(xì)節(jié), ViT, Swin, DETR逐個(gè)帶你掌握視覺(jué)算法新范式。

論文分析 + 逐行Coding、現(xiàn)場(chǎng)板書(shū)，手推公式：詳細(xì)解析論文要點(diǎn)，每節(jié)課有一半時(shí)間會(huì)帶著大家現(xiàn)場(chǎng)寫(xiě)代碼～帶大家實(shí)現(xiàn)自己的ViT模型，對(duì)小白也很友好。

全程carry 玩轉(zhuǎn)ViT：課程內(nèi)容完全開(kāi)源、全程中文直播授課、高水平助教團(tuán)隊(duì)社群內(nèi)答疑、配套有不同難度的實(shí)踐任務(wù)以滿足各階段學(xué)習(xí)需求，并提供免費(fèi)GPU算力支持！

加入開(kāi)源技術(shù)小組，和研究院大佬們一起成為學(xué)術(shù)套件PPViT 的核心 contributor：共同降低ViT模型實(shí)現(xiàn)門(mén)檻，提高科研學(xué)習(xí)生產(chǎn)力。（https://github.com/BR-IDL/PaddleViT ）

▲ 點(diǎn)擊播放視頻

課程大綱

01

第一講

理論：Hello, Vision Transformer!
實(shí)踐：Warmup：模型搭建和訓(xùn)練

02

第二講

理論：從Transformer到Vision Transformer
實(shí)踐：玩轉(zhuǎn)Tensor操作，開(kāi)始搭建ViT

03

第三講

理論：你看你的，我看我的之詳解注意力
實(shí)踐：Multi-Head Self Attention

04

第四講

理論：搭建你的第一個(gè)ViT模型
實(shí)踐：如何實(shí)現(xiàn)ViT模型

05

第五講

理論：ViT模型搭建好了，如何高效訓(xùn)練？
實(shí)踐：實(shí)戰(zhàn)模型搭建和訓(xùn)練

06

第六講

理論：什么是Window Attention？
實(shí)踐：圖像窗口上的注意力機(jī)制

07

第七講

理論：大名鼎鼎的Swin Transformer
實(shí)踐：實(shí)現(xiàn)你的第二個(gè)ViT模型

08

第八講

理論：Conv和Transformer的結(jié)合
實(shí)踐：從框架源碼看如何實(shí)現(xiàn)數(shù)據(jù)加載

09

第九講

理論：帶你了解前沿算法：視覺(jué)上的BERT
實(shí)踐：模型訓(xùn)練的技巧

10

第十講

理論：檢測(cè)算法新范式-DETR
實(shí)踐：實(shí)戰(zhàn)ViT訓(xùn)練測(cè)試全流程

你將收獲

無(wú)論你是剛接觸深度學(xué)習(xí)，還是已經(jīng)在做科研，無(wú)論你是CV想轉(zhuǎn)NLP，還是NLP想搞CV，又或者你想用最新的視覺(jué)技術(shù)打比賽、發(fā)論文，通過(guò)學(xué)習(xí)《Vision Transformer十講》，你都將獲得將論文中的模型圖變成一行行代碼的能力，告別簡(jiǎn)單的git clone和調(diào)包！

萬(wàn)元豪禮 只等你來(lái)

參與課程、致敬開(kāi)源，即可獲得：PaddlePaddle官方結(jié)業(yè)證書(shū)、Marshall ACTON II BLUETOOTH無(wú)線重低音音箱、HHKB Professional靜電容藍(lán)牙鍵盤(pán)、Tesla V100 GPU算力卡、百度網(wǎng)盤(pán)超級(jí)會(huì)員等超多獎(jiǎng)勵(lì)！上不封頂！更有直播間花式抽獎(jiǎng)等你來(lái)拿！

開(kāi)課時(shí)間

11月23日 — 12月2日

每晚八點(diǎn)半

立即免費(fèi)報(bào)名

掃碼關(guān)注【飛槳】公眾號(hào)

10節(jié)課帶你掌握ViT前沿技術(shù)

回復(fù)【打卡營(yíng)】 獲取課程地址

加入官方QQ群（群號(hào)：920200490），獲取開(kāi)課地址、直播提醒、課程代碼、免費(fèi)算力、在線答疑等福利！

總結(jié)

以上是生活随笔為你收集整理的最新最全的视觉Transformer教程！论文分析 + 逐行Coding，带你轻松玩转ViT的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。