文/編輯 | 言有三

好的模型結(jié)構(gòu)是深度學(xué)習(xí)成功的關(guān)鍵因素之一，不僅是非常重要的學(xué)術(shù)研究方向，在工業(yè)界實踐中也是模型是否能上線的關(guān)鍵。對各類底層深度學(xué)習(xí)模型設(shè)計和優(yōu)化技術(shù)理解的深度是決定我們能否在深度學(xué)習(xí)項目中游刃有余的關(guān)鍵，因此我們在修行之路專欄的《不惑境界》中，著重于深入講解主流的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計思想，包括對網(wǎng)絡(luò)深度，寬度的理解，殘差網(wǎng)絡(luò)和分組網(wǎng)絡(luò)的設(shè)計，多尺度與注意力機(jī)制的設(shè)計，以及深度學(xué)習(xí)模型壓縮之模型剪枝，量化，蒸餾，還有AutoML技術(shù)，本次來給大家進(jìn)行總結(jié)。

數(shù)據(jù)與人工智能技術(shù)發(fā)展

深度學(xué)習(xí)成功源于三駕馬車，模型，數(shù)據(jù)和硬件，深度學(xué)習(xí)正是因為學(xué)會了從數(shù)據(jù)中抽象知識，才能夠完成各種各樣的任務(wù)。不知道什么樣的數(shù)據(jù)能夠完成手中的任務(wù)，就不算真正的入門深度學(xué)習(xí)。深度理解從有監(jiān)督特征工程到無監(jiān)督特征學(xué)習(xí)的進(jìn)展，從學(xué)習(xí)特征，到學(xué)習(xí)模型，到學(xué)習(xí)整個系統(tǒng)的技術(shù)發(fā)展路線非常重要，我們一定要非常重視。

?

?

• 【AI不惑境】數(shù)據(jù)壓榨有多狠，人工智能就有多成功

網(wǎng)絡(luò)深度對模型的影響

深度學(xué)習(xí)模型之所以在各種任務(wù)中取得了成功，足夠的網(wǎng)絡(luò)深度當(dāng)居首功。更深的模型意味著更好的非線性表達(dá)能力，可以學(xué)習(xí)更加復(fù)雜的變換，從而可以擬合更加復(fù)雜的特征輸入。那么是不是模型越深，性能就越好呢？對這個問題，我們要認(rèn)真思考。

?

?

• 【AI不惑境】網(wǎng)絡(luò)深度對深度學(xué)習(xí)模型性能有什么影響？

網(wǎng)絡(luò)寬度對模型的影響

在一定程度上，網(wǎng)絡(luò)越深，性能越好，這一點同樣適用于網(wǎng)絡(luò)寬度，它指的是每一層的通道(channel)的數(shù)量。更寬的網(wǎng)絡(luò)可以讓每一層學(xué)習(xí)到更加豐富的特征，比如不同方向，不同頻率的紋理特征。那越寬就一定越好嗎？我們又該如何去平衡寬度和成平方量級增加的計算量問題。

?

?

• 【AI不惑境】網(wǎng)絡(luò)的寬度如何影響深度學(xué)習(xí)模型的性能？

學(xué)習(xí)率和批處理大小

作為一對相互之間有緊密關(guān)系的模型優(yōu)化相關(guān)因子，學(xué)習(xí)率和批處理大小(batchsize)對模型性能的影響有一些簡單，但又有些神秘。不適當(dāng)?shù)膮?shù)往往讓模型處于收斂與不收斂之間，但又可能對模型性能的影響非常微小。因此我們特意在這個系列中提起這個問題，希望引起大家的重視。

?

?

• 【AI不惑境】學(xué)習(xí)率和batchsize如何影響模型的性能？

殘差網(wǎng)絡(luò)原理和發(fā)展

在近幾年的深度學(xué)習(xí)模型發(fā)展史中，殘差網(wǎng)絡(luò)是影響最大的模型，相信大家對此沒有異議。殘差網(wǎng)絡(luò)因其簡單而有效的結(jié)構(gòu)解決了深層模型訓(xùn)練的難題，成為各類任務(wù)的基準(zhǔn)模型，那么它緣起何處，又將走向何方？

?

?

• 【AI不惑境】殘差網(wǎng)絡(luò)的前世今生與原理

分組模型原理與發(fā)展

模型落地才是深度學(xué)習(xí)在工業(yè)界發(fā)揮作用的關(guān)鍵，在移動端高效的模型設(shè)計中，卷積拆分和分組幾乎是不可缺少的思想，那么它們究竟是如何高效，本身又有哪些發(fā)展呢。

?

?

• 【AI不惑境】移動端高效網(wǎng)絡(luò)，卷積拆分和分組的精髓

多尺度設(shè)計思想

多尺度可以說是圖像處理領(lǐng)域中的精髓，實際上就是對信號的不同粒度的采樣，在不同的尺度下我們可以觀察到不同的特征，從而完成不同的任務(wù)。尺度始終是計算機(jī)視覺領(lǐng)域中的一個大問題，小物體與超大尺度物體往往都會嚴(yán)重影響性能，那么研究人員如何克服困難呢？

?

?

• 【AI不惑境】深度學(xué)習(xí)中的多尺度模型設(shè)計

注意力機(jī)制原理與設(shè)計

注意力機(jī)制(Attention)是聚焦于目標(biāo)重要信息的處理機(jī)制，比如圖像中的顯著區(qū)域，是符合人類信息處理的機(jī)制。在計算機(jī)視覺，自然語言處理等領(lǐng)域中都發(fā)揮著重要的作用，那注意力機(jī)制都有哪些設(shè)計呢？

?

?

• 【AI不惑境】計算機(jī)視覺中注意力機(jī)制原理及其模型發(fā)展和應(yīng)用

模型剪枝核心技術(shù)與展望

模型剪枝是一項歷史非常悠久的模型壓縮技術(shù)，當(dāng)前已經(jīng)有了比較大的進(jìn)步和發(fā)展，那么當(dāng)前模型剪枝的核心技術(shù)有哪些，發(fā)展現(xiàn)狀如何，未來還可以做哪些工作呢？

?

?

• 【AI不惑境】模型剪枝技術(shù)原理及其發(fā)展現(xiàn)狀和展望

模型量化核心技術(shù)與展望

模型量化是非常實用的模型壓縮技術(shù)，當(dāng)前已經(jīng)在工業(yè)界發(fā)展比較成熟，那么當(dāng)前模型量化的核心技術(shù)有哪些，發(fā)展現(xiàn)狀如何，未來還可以做哪些工作呢？

?

?

• 【AI不惑境】模型量化技術(shù)原理及其發(fā)展現(xiàn)狀和展望

模型蒸餾核心技術(shù)與展望

模型知識蒸餾是非常經(jīng)典的基于遷移學(xué)習(xí)的模型壓縮技術(shù)，在學(xué)術(shù)界的研究非常活躍，工業(yè)界也有許多的應(yīng)用和較大的潛力，那么當(dāng)前模型蒸餾的核心技術(shù)有哪些，發(fā)展現(xiàn)狀如何，未來還可以做哪些工作呢？

?

?

• 【AI不惑境】模型壓縮中知識蒸餾技術(shù)原理及其發(fā)展現(xiàn)狀和展望

AutoML與模型設(shè)計和優(yōu)化

自從2017年Google提出使用強(qiáng)化學(xué)習(xí)搜索模型結(jié)構(gòu)之后，AutoML/NAS便迅速成為了學(xué)術(shù)界和工業(yè)界的寵兒，在這幾年也是非常火熱的領(lǐng)域。AutoML可以用于數(shù)據(jù)的使用，特征的選擇，模型架構(gòu)的設(shè)計和優(yōu)化，優(yōu)化參數(shù)的搜索等，現(xiàn)在發(fā)展究竟如何了呢？

?

?

• 【AI不惑境】AutoML在深度學(xué)習(xí)模型設(shè)計和優(yōu)化中有哪些用處？

更多的模型設(shè)計

深度學(xué)習(xí)模型設(shè)計思想何其之多，以上只是總結(jié)了其中最核心最具有代表性的一小部分，可以說是拋磚引玉。那么更多的模型設(shè)計和優(yōu)化思想我們該如何學(xué)習(xí)呢？有三AI一直深耕于這個方向，在此給大家推薦三個深入學(xué)習(xí)的資源。

1，有三的三次阿里天池直播

有三在阿里天池做過三次模型設(shè)計相關(guān)的直播分享，分別是《深度卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計技術(shù)》，《如何設(shè)計性能更強(qiáng)的CNN結(jié)構(gòu)》，《如何設(shè)計更加高效的模型結(jié)構(gòu)》，并贈送了超過200頁的課件和三個小時的視頻。

?

?

• 【總結(jié)】言有三&阿里天池深度學(xué)習(xí)模型設(shè)計直播匯總，附贈超過200頁直播PPT課件

2，有三AI知識星球網(wǎng)絡(luò)結(jié)構(gòu)1000變

有三AI知識星球是我們和公眾號平臺齊頭并進(jìn)的付費(fèi)內(nèi)容社區(qū)，在知識星球中有很多板塊，包括#網(wǎng)絡(luò)結(jié)構(gòu)1000變# | #看圖猜技術(shù)# | #數(shù)據(jù)集# | #AI書籍# | #github資源# | #AI1000問# | #AI知識匯總# | #項目# | #分享# | #線下活動# | #資料# | #公眾號付費(fèi)圖文#等，里面的內(nèi)容絕不少于公眾號，可以看作是公眾號內(nèi)容的升級。

其中最重要的板塊就是網(wǎng)絡(luò)結(jié)構(gòu)1000變，分享的就是各種各樣任務(wù)的模型設(shè)計，已經(jīng)有數(shù)百期，包括#圖像分類# #視頻分類# #目標(biāo)檢測# #圖像分割# #圖像增強(qiáng)# #殘差網(wǎng)絡(luò)# #注意力機(jī)制# #模型剪枝# #模型量化# #模型蒸餾# #模型壓縮# #動態(tài)推理# #三維卷積# #三維重建# #GAN# #AutoML# #分組卷積#等。

分享格式為模型細(xì)節(jié)詳解和論文鏈接，有一些還有實戰(zhàn)解讀，案例如下：

如果你想在這個方向有所積累，非常推薦入手，掃碼即可加入。

3，有三AI秋季劃模型優(yōu)化組

秋季劃是有三AI的終身學(xué)習(xí)項目小組，其中模型優(yōu)化組會系統(tǒng)性地學(xué)習(xí)數(shù)據(jù)使用，模型使用和調(diào)參，模型性能分析，緊湊模型設(shè)計，模型剪枝，模型量化，模型部署，NAS等內(nèi)容，理論+實戰(zhàn)結(jié)合！

學(xué)習(xí)資料包括：(1) 與項目配套的錄制視頻。(2) 與項目配套的開源資料。(3) 與項目配套的代碼數(shù)據(jù)。(4) 永久有效的相關(guān)微信群。(5) 附贈有三AI知識星球社區(qū)。

具體介紹可以參考下文：

【通知】如何讓你的2020年秋招CV項目經(jīng)歷更加硬核，可深入學(xué)習(xí)有三秋季劃4大領(lǐng)域32個方向

寄語

深度學(xué)習(xí)模型的設(shè)計和優(yōu)化，是一通百通，適用于各大機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的底層技術(shù)，是每一個資深從業(yè)者必須掌握好的技術(shù)，請大家務(wù)必重視，我們會繼續(xù)專注分享相關(guān)內(nèi)容。

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

?

?

• 【星球知識卡片】殘差網(wǎng)絡(luò)家族10多個變種學(xué)習(xí)卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？

• 【星球知識卡片】注意力機(jī)制發(fā)展如何了，如何學(xué)習(xí)它在各類任務(wù)中的應(yīng)用？

• 【星球知識卡片】模型剪枝有哪些關(guān)鍵技術(shù)，如何對其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識卡片】模型量化的核心技術(shù)點有哪些，如何對其進(jìn)行長期深入學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的【完结】你对深度学习模型的理解是否足够深刻，这12篇文章可以作为一个参考...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。