【每周CV论文】初学深度学习图像风格化要读的文章
歡迎來到《每周CV論文》。在這個專欄里,還是本著有三AI一貫的原則,專注于讓大家能夠系統性完成學習,所以我們推薦的文章也必定是同一主題的。
圖像風格化的研究由來以久,這是一個藝術和科學相結合的應用,隨著深度學習技術的發展,很多相關的商業產品也已經落地,今天給大家推薦初學該領域必須要讀的文章。
作者&編輯 | 言有三
1 Neural Style誕生
2015年德國圖賓根大學科學家在論文《A Neural Algorithm of Artistic Style》[1]中使用深層卷積神經網絡創造出了具有高質量藝術風格的作品。該網絡將一幅圖作為內容圖,從另外一幅畫中抽取藝術風格,兩者一起合成新的藝術畫,從而使得神經網絡風格遷移領域誕生。
文章引用量:1600+
推薦指數:?????
[1] Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2414-2423.
2 Real-time style transfer
文[1]是基于圖像的優化方法,非常耗時,500×500左右分辨率的圖在當前主流GPU上處理時間以長達十分鐘以上。Justin Johnson等人[2]提出了一個典型的單模型單風格框架,通過圖像轉換層(Image Transform Net)來完成整個的渲染過程,在損失網絡(VGG16 Loss Network)的約束下,分別學習內容和風格。該模型用于訓練的風格圖數據集必須屬于同一種風格,而內容圖則可以任意選擇。
文章引用量:2000+
推薦指數:?????
[2] Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European conference on computer vision. Springer, Cham, 2016: 694-711.
3 單模型多風格改進
單模型單風格對于每一種風格都必須重新訓練模型,這大大限制了它們的實用性,因此研究人員很快便開始研究單模型多風格框架。Style bank[3]是其中的一個典型代表,它使用了一個濾波器組來代表多個風格。
文章引用量:90+
推薦指數:?????
[3] Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1897-1906.
4 單模型任意風格
單模型多風格框架在增加新的風格時總需要重新訓練模型,我們可以通過學習實例歸一化的仿射變換系數來控制多種風格的轉換,如果這種仿射參數由風格圖本身的統計信息來替代,就可以生成任意風格的圖像。
文章引用量:400+
推薦指數:?????
[4] Huang X, Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1501-1510.
5 綜述
最后,給大家推薦一個綜述[5]以及對應的github項目[6]。
文章引用量:90+
推薦指數:?????
[5] Jing Y, Yang Y, Feng Z, et al. Neural Style Transfer: A Review[J]. arXiv: Computer Vision and Pattern Recognition, 2017.
[6] https://github.com/ycjing/Neural-Style-Transfer-Papers
6 文章解讀
關于圖風格化相關文章的詳細解讀,在有三AI知識星球-網絡結構1000變-風格化以及GAN下有較多的文章,感興趣可以移步。
總結
本次我們介紹了圖像風格化領域值得讀的文章,當前研究重點在于如何高效率地學習到任意的風格,如何對不同區域進行精確的風格控制,如何控制風格化的筆觸大小,如何根據需要保留顏色或者紋理等信息,感興趣等讀者可以繼續關注或者到我們星球中進行學習。
有三AI知識星球
知識星球是有三AI的付費內容社區,里面包括各領域的模型學習,數據集下載,公眾號的付費圖文原稿,技術總結PPT和視頻,知識問答,書籍下載,項目推薦,線下活動等資源,了解詳細請閱讀以下文章:
【雜談】有三AI知識星球一周年了!為什么公眾號+星球才是完整的?
【雜談】萬萬沒想到,有三還有個保密的‘朋友圈’,那里面都在弄啥!
轉載文章請后臺聯系
侵權必究
往期精選
【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章
【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章
【每周CV論文推薦】 CV領域中數據增強相關的論文推薦
【每周CV論文推薦】 初學高效率CNN模型設計應該讀的文章
【每周CV論文推薦】 初學目標檢測必須要讀的文章
【每周CV論文推薦】 初學深度學習圖像分割必須要讀的文章
【每周CV論文推薦】 初學GAN必須要讀的文章
【每周CV論文推薦】 深度學習人臉檢測入門必讀文章
【每周CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章
【每周CV論文推薦】 初學深度學習人臉識別和驗證必讀文章
【每周CV論文推薦】 初學深度學習人臉屬性分析必讀的文章
【每周CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章
【每周CV論文推薦】 初學深度學習單張圖像三維人臉重建需要讀的文章
【每周CV論文推薦】 人臉識別剩下的難題:從遮擋,年齡,姿態,妝造到親屬關系,人臉攻擊
【每周CV論文推薦】換臉算法都有哪些經典的思路?
【每周CV論文】深度學習文本檢測與識別入門必讀文章
【每周CV論文】深度學習圖像降噪應該從閱讀哪些文章開始
【每周CV論文】初學GAN圖像風格化必須要讀的文章
【每周CV論文】初學深度學習圖像超分辨應該要讀的文章
【每周CV論文】初學深度學習圖像對比度增強應該要讀的文章
【每周CV論文】初學深度學習圖像修復應該要讀的文章
總結
以上是生活随笔為你收集整理的【每周CV论文】初学深度学习图像风格化要读的文章的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【杂谈】参加有三AI秋季划4个月,薪资翻
- 下一篇: 【杂谈】从学员到专栏作者、讲师,我在有三