今天筆者來介紹一下和調參有關的一些事情，作為算法工程師，調參是不可避免的一個工作。在坊間算法工程師有時候也被稱為：調參俠。但是一個合格的算法工程師，調參這部分工作不能花費太多的氣力，因為還有很多艱深的問題等著你去克服，怎么能在調參這塊花大力氣呢。所以自動調參的學習是一項必須學會的技能。這里筆者就介紹一個調參神器——貝葉斯調參

貝葉斯調參簡介

說到自動調參大家首先會想到的就是網格搜索（網格搜索：“遍歷所以的參數組合,從而選出最優的參數組合”)。筆者之前也經常會用到這個方法，但是后來搜索空間變大之后，發現網格搜索的速度太慢，所以轉而投靠貝葉斯調參。接下來筆者簡要介紹一下貝葉斯調參相對于網格搜索的優勢：

• 貝葉斯調參采用高斯過程，會考慮到之前的參數信息，不斷地更新先驗；網格搜索則不會考慮先驗信息。
• 貝葉斯調參迭代次數少，速度快；網格搜索會遍歷所有的可能的參數組合，所以速度慢,參數多時易導致維度爆炸
• 貝葉斯調參針對非凸問題依然穩健；網格搜索針對非凸問題易得到局部最優。

當然貝葉斯調參背后涉及的高斯過程等一些數學知識，這里筆者水平有限，之后理解后再和大家詳說，但是貝葉斯調參的思想就是:利用已有的先驗信息去找到使目標函數達到全局最大的參數。

筆者通過實戰也確實發現，貝葉斯調參確實能夠很快的幫助我們發現一組還不錯的參數。

實戰部分

數據準備，隨機產生一千個2分類的數據，每條數據的特征維度為10。

 

from sklearn.datasets import make_classifi

總結

以上是生活随笔為你收集整理的调参神器贝叶斯优化（bayesian-optimization）实战篇的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。