目錄

• 簡(jiǎn)介
• 動(dòng)機(jī)
• 方法
• 實(shí)驗(yàn)

簡(jiǎn)介

本文出自華為諾亞方舟，作者是韓凱。
文章鏈接

動(dòng)機(jī)

本文動(dòng)機(jī)是，在ViT基礎(chǔ)上，編碼patch內(nèi)的pixel之間的結(jié)構(gòu)信息。

方法

使用兩個(gè)transformer，外transformer負(fù)責(zé)編碼大小為$16\times 16$的patch之間的關(guān)系，內(nèi)transformer負(fù)責(zé)編碼大小為$4\times 4$的super-pixel之間的關(guān)系。

實(shí)驗(yàn)

本文方法的實(shí)驗(yàn)結(jié)果也很好。

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的arXiv 2021《Transformer in Transformer》论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。