大家好，今天開設新專欄《AutoML》，即Automated Machine Learning。在這個專欄中，我們會講述AutoML相關的內容，覆蓋數據使用，模型架構，優化算法等內容。

我大概在兩年前的時候開始關注深度學習自動化相關的技術，AI自動化的那天早晚都會到來，它不僅會把圖像識別等技術自動化，也會逐漸蠶食寫程序，設計類的工作崗位，最后把開發AI的人也給干掉，這一篇我們先來大致看看在深度學習領域，它們已經做到什么程度了。基本上所有的研究都是從谷歌開始，谷歌再次全面領導了新的革命。

作者&編輯 | 言有三

作為第一篇，我們先粗略介紹一下AutoML技術是什么，以及可以做些什么？

?

1 什么是AutoML

所謂AutoML，全稱是Automated Machine Learning，即自動機器學習技術，它的發展現狀可以參考下面的綜述文章。

Zoller M, Huber M F. Survey on Automated Machine Learning.[J]. arXiv: Learning, 2019.

AutoML的目標是讓機器學習的整個流程的創建完全自動化，從應用領域來說，這通常要包括數據的使用，特征的選擇，模型架構的設計，優化方法的使用，所以這些方向都會涉及到超參數的自動調節。

有了AutoML技術后，各個領域的專家便能夠低門檻地使用機器學習技術，而不用依賴于機器學習專家。

?

2 數據使用與特征選擇

智能系統與機器學習技術的發展，本身就伴隨著對數據的使用方法的進化。從傳統的專家系統，到有監督的機器學習算法，到深度學習，本身就屬于AutoML的范疇，它解決了特征選擇的問題，讓特征的學習來源于數據，而不是手工設計。

所以深度學習也被稱之為特征學習，它利用CNN等架構，實現了特征選擇的過程。

另一方面，在機器學習/深度學習領域中，還有一個很重要的問題，就是數據增強。在解決各類任務的過程中，常常沒有足夠多的數據，數據太少便意味著過擬合，因此數據增強技術至關重要。

曾幾何時，我們采用各種各樣的幾何變換，顏色變換策略來進行數據增強。隨機裁剪，顏色擾動，都對提升模型的泛化能力起著至關重要的作用。

技術發展到了現在，AutoML技術開始在數據增強領域展露頭腳，以Google Brain提出的AutoAugment為代表的方法，使用增強學習對不同的任務學習到了各自最合適的增強方法，具體細節，大家可以參考論文和我們之前的往期文章解讀，以后我們也會繼續開篇講述更新的研究。

Cubuk E D, Zoph B, Mane D, et al. AutoAugment: Learning Augmentation Policies from Data.[J]. arXiv: Computer Vision and Pattern Recognition, 2018.

數據使用和特征選擇作為最早被AutoML技術攻陷的領域，是機器學習算法走向智能和商業化落地的關鍵，

?

3 網絡結構設計NAS

一直以來，網絡結構的設計是一個非常需要經驗且具有挑戰性的工作，研究人員從設計功能更加強大和更加高效的模型兩個方向進行研究，我之前在知乎上也做了兩個live直播講述對應的核心技術，感興趣可以去聽聽。

隨著各類經典網絡設計思想的完善，如今要手工設計出更強大的模型已經很難，而以AutoML為代表的技術在三年前開始被研究。

Google首次提出了自動設計網絡模型的思想，利用增強學習進行最佳架構的搜索。學習方法如下，基本思想是從一個定義空間中選取網絡組件，使用網絡的準確率作為指導指標，使用強化學習進行學習。

學習到的網絡結構如下：

從上面的結構可以看出，它擁有以下特點：

(1) 跨層的連接非常多，說明信息融合非常重要。

(2) 單個通道數不大，這是通道使用更加高效的表現。

從Flops指標來看，已經非常的高效，不過因為結構相對復雜，實際在硬件平臺上運行時性能并不一定優于MobileNet等模型，但是仍然是非常高效的網絡。

以上研究催生了Google Cloud AutoML，并在2018年1月被Google發布，AutoML技術的研究進入高潮，這兩年成為機器學習/深度學習的大熱門。

我們還沒有更新到相關內容，可以參考隔壁機器之心等媒體的文章，以及相關綜述。現在NAS算法所用的基本結構和模塊都是已有的模塊，未來的方向應該是更廣闊的搜索空間。

[1] Zoph B, Le Q V. Neural Architecture Search with Reinforcement Learning[J]. international conference on learning representations, 2017.

[2] Zoph B, Vasudevan V, Shlens J, et al. Learning Transferable Architectures for Scalable Image Recognition[J]. computer vision and pattern recognition, 2018: 8697-8710.

[3] Elsken T, Metzen J H, Hutter F, et al. Neural Architecture Search: A Survey[J]. Journal of Machine Learning Research, 2018, 20(55): 1-21.

谷歌AutoML創造者Quoc Le：未來最好的人工智能模型將由機器生成?mp.weixin.qq.com

?

4 優化方法的搜索

曾幾何時，我們設計，比較，分析sigmoid，tanh，relu等激活函數對網絡性能的影響。而Google Brain提出的以Swish為代表的方法，在一系列一元函數和二元函數組成的搜索空間中，進行了組合搜索實驗，利用數據學習到了比ReLU更好的激活函數，可以參考往期文章(點擊圖片)。

【AI初識境】激活函數：從人工設計到自動搜索?mp.weixin.qq.com

Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

曾幾何時，我們還在爭論是最大池化好還是平均池化好，如今基于數據的池化策略已經被廣泛研究。

Saeedan F, Weber N, Goesele M, et al. Detail-Preserving Pooling in Deep Networks[J]. computer vision and pattern recognition, 2018: 9108-9116.

曾幾何時，我們還在不知道選擇什么樣的歸一化方法好，如今，對每一個網絡層學習最合適的歸一化策略也是可行的。

Luo P, Ren J, Peng Z, et al. Differentiable Learning-to-Normalize via Switchable Normalization[J]. international conference on learning representations, 2019.

曾幾何時，我們在各種各樣的優化方法中迷茫，如今，自動學習優化方法也開始被研究。

Bello I, Zoph B, Vasudevan V, et al. Neural Optimizer Search with Reinforcement Learning[J]. international conference on machine learning, 2017: 459-468.

曾幾何時，我們還在想盡辦法設計損失函數，如今，使用AutoML進行損失函數的學習也開始了。

Wu L, Tian F, Xia Y, et al. Learning to Teach with Dynamic Loss Functions[J]. neural information processing systems, 2018: 6466-6477.

曾幾何時，我們在各種模型壓縮技巧中鏖戰，如今，使用AutoML技術用于模型壓縮的研究也新鮮出爐。

He Y, Lin J, Liu Z, et al. AMC: AutoML for Model Compression and Acceleration on Mobile Devices[J]. european conference on computer vision, 2018: 815-832.

這可能是一個新的時代的開始，GAN正在各大領域中狂奔，AutoML又開始席卷各大領域。

如果你想好好學習AutoML，給大家推送一個GitHub項目，一本書，東西在精不在多，希望對你有用。另外，關注我們公眾號肯定是沒錯的。

https://github.com/hibayesian/awesome-automl-papers

https://www.automl.org/wp-content/uploads/2019/05/AutoML_Book.pdf

?

總結

如果你足夠細心，應該就會發現上面所有的研究，基本上都離不開Google的身影。感謝谷歌，正在讓深度學習的一切開始自動化。同時也要警惕Google，它正在搶走你的飯碗。

下期預告：AutoML與數據增強策略。

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【AutoML】AutoML专栏上线，跟Google一起见证调参党的末日？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。