先寫兩個(gè)最近火熱我比較看好的方向Transformer和Self-Supervised，我這里舉的例子傾向于計(jì)算機(jī)視覺方向。最后再補(bǔ)充Zero-Shot和多模態(tài)兩個(gè)方向。

1.Transformer

自從去年DETR和ViT出來之后，計(jì)算機(jī)視覺領(lǐng)域掀起了Transformer狂潮。目前可以做的主要有兩個(gè)路徑，一個(gè)是魔改DETR和ViT，另一個(gè)是不同task遷移算法。

魔改DETR和ViT的方法，無非是引入local和hierarchical，或者魔改算子。

不同task遷移算法主要是探究如何針對(duì)不同的task做適配設(shè)計(jì)。

其中魔改DETR的可以參考以下工作：

[Deformable DETR] [TSP-FCOS/TSP-RCNN] [UP-DETR] [SMCA] [Meta-DETR] [DA-DETR]

其中魔改ViT的可以參考以下工作：

魔改算子：

[LambdaResNets] [DeiT] [VTs] [So-ViT] [LeViT] [CrossViT] [DeepViT] [TNT] [T2T-ViT]

[BoTNet] [Visformer]

引入local或者h(yuǎn)ierarchical：

[PVT] [FPT] [PiT] [LocalViT] [SwinT] [MViT] [Twins]

Swin Transformer對(duì)CNN的降維打擊

引入卷積:

[CPVT] [CvT] [ConViT] [CeiT] [CoaT] [ConTNet]

不同task遷移算法的可以參考以下工作：

ViT+Seg?[SETR] [TransUNet] [DPT] [U-Transformer]

ViT+Det?[ViT-FRCNN] [ACT]

ViT+SOT?[TransT] [TMT]

ViT+MOT?[TransTrack] [TrackFormer] [TransCenter]

ViT+Video?[STTN] [VisTR] [VidTr] [ViViT] [TimeSformer] [VTN]

ViT+GAN?[TransGAN] [AOT-GAN] [GANsformer]

ViT+3D?[Group-Free] [Pointformer] [PCT] [PointTransformer] [DTNet] [MLMSPT]

以上幾個(gè)task是重災(zāi)區(qū)（重災(zāi)區(qū)的意思是聽我一句勸，你把握不住）

ViT+Multimodal?[Fast and Slow] [VATT]

ViT+Pose?[TransPose] [TFPose]

ViT+SR?[TTSR]

ViT+Crowd?[TransCrowd]

ViT+NAS?[BossNAS]

ViT+ReID?[TransReID]

ViT+Face?[FaceT]

想一想算子怎么魔改，或者還有什么task沒有做的

2.Self-Supervised

Self-Supervised自從何愷明做出MoCo以來再度火熱，目前仍然是最為火熱的方向之一。目前可以做的主要有三個(gè)路徑，一個(gè)是探索退化解的充要條件，一個(gè)是Self-Supervised+Transformer探索上限，還有一個(gè)是探索非對(duì)比學(xué)習(xí)的方法。

探索退化解的充要條件主要是探索無negative pair的時(shí)候，避免退化解的最優(yōu)方案是什么。

[SimCLR] [BYOL] [SwAV] [SimSiam] [Twins]

Self-Supervised: 如何避免退化解

Self-Supervised+Transformer是MoCov3首次提出的，NLP領(lǐng)域強(qiáng)大的預(yù)訓(xùn)練模型(BERT和GPT-3)都是Transformer架構(gòu)的，CV可以嘗試去復(fù)制NLP的路徑，探究Self-Supervised+Transformer的上限。

[MoCov1] [MoCov2] [MoCov3] [SiT]

MoCo三部曲

探索非對(duì)比學(xué)習(xí)的方法就是要設(shè)計(jì)合適的proxy task。

基于上下文?[Unsupervised Visual Representation Learning by Context Prediction] [Unsupervised Representation Learning by Predicting Image Rotations] [Self-supervised Label Augmentation via Input Transformations]

基于時(shí)序?[Time-Contrastive Networks: Self-Supervised Learning from Video] [Unsupervised Learning of Visual Representations using Videos]

剛寫了基于時(shí)序，何愷明和Ross Girshick就搞了個(gè)時(shí)序的

A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

何愷明+Ross Girshick：深入探究無監(jiān)督時(shí)空表征學(xué)習(xí)

3. Zero-Shot

最近因?yàn)镃LIP的出現(xiàn)，Zero-Shot可能會(huì)引起一波熱潮，ViLD將CLIP成功應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域，相信未來會(huì)有越來越多的基于CLIP的Zero-Shot方法。

ViLD：超越Supervised的Zero-Shot檢測(cè)器

4. 多模態(tài)

最近的ViLT結(jié)合了BERT和ViT來做多模態(tài)，并且通過增加標(biāo)志位來巧妙的區(qū)分不同模態(tài)，感覺是一個(gè)非常好的做多模態(tài)的思路，相信未來會(huì)有更強(qiáng)大的多模態(tài)出現(xiàn)。

ViLT：最簡(jiǎn)單的多模態(tài)Transformer

至于最近火熱的MLP架構(gòu)，極其不推薦，很沙雕

最后，適當(dāng)灌水，有能力還是要做有影響力的工作。

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【深度学习】2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。