?作者?|?陳萍、杜偉

來源?|?機器之心

華為諾亞開源了一個貝葉斯優化的庫，該庫包含三個部分：河伯、T-LBO、CompBO。

貝葉斯優化可以說是一種黑盒優化算法，該算法用于求解表達式未知函數的極值問題。因其具有極強的樣本有效性，近年來被廣泛使用，研究者只需較少地迭代次數，即可得到一個較好的結果，因此可用于機器學習模型算法調參。

近日，華為諾亞開源了一個新的關于貝葉斯優化的庫，該庫可用于低維和高維領域的貝葉斯優化，主要包含：

• 河伯（Heteroscedastic Evolutionary Bayesian Optimization，HEBO）：異方差演化貝葉斯優化，可用于超參數調優，華為諾亞憑借該算法贏得 NeurIPS BBO 競賽冠軍；

• T-LBO：一種將深度度量學習與潛在空間貝葉斯優化相結合以實現高維優化的算法，該算法可以減少 97% 的數據需求；

• CompBO：使用組合優化器進行貝葉斯優化。

項目地址：

https://github.com/huawei-noah/HEBO

河伯

河伯算法是華為諾亞方舟決策與推理（DMnR）實驗室開發的貝葉斯優化庫。該算法擊敗了 NVIDIA、IBM、Jetbrain 等，以 93.519 得分贏得了 AI 國際頂會 NeurIPS 2020 的黑盒優化競賽冠軍。

HEBO 是與前 5 名競爭對手之間差異最大的算法，以非常大的優勢獲勝。下面是比賽結果的截圖：

完整榜單：

https://bbochallenge.com/leaderboard/

T-LBO 算法

該算法出自論文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》，全篇 42 頁，研究者來自華為諾亞方舟實驗室。

論文地址：

https://arxiv.org/pdf/2106.03609.pdf

研究者提出了一種基于深度度量學習的方法，以使用變分自編碼器（VAE）在高維結構化空間中執行貝葉斯優化。通過擴展監督深度度量學習的想法，他們解決了高維 VAE 貝葉斯優化中長期存在的一個問題，即如何將判別式隱空間作為歸納偏置來執行。重要的是，研究者僅使用以往工作的 1% 的標記數據就實現了這種歸納偏置，顯示出了所提方法面向樣本的高效性。

在實驗中，研究者展示了在真實世界高維黑盒優化問題（包括屬性引導的分子生成）上的 SOTA 結果。他們希望，本文展示的結果可以作為實現高效高維貝葉斯優化的指導原則。

利用組合優化器做貝葉斯優化（CompBO）

這是一篇發表在機器學習研究雜志 JMLR 2021 上的論文，標題為《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》，全篇共 78 頁。研究者來自華為英國研發中心。

論文地址：

https://www.jmlr.org/papers/volume22/20-1422/20-1422.pdf

項目地址：?

https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO

貝葉斯優化為全局優化提供了一種面向樣本高效的方法。在這個框架內，采集函數（acquisition function）的最大化是決定性能的關鍵因素。但是，由于采集函數往往是非凸的，因此不容易優化，導致其最大化變得復雜。

華為的這篇論文對最大化采集函數的方法進行了全面的實證研究。此外，通過為流行的采集函數推導出全新但數學上等效的組合形式，研究者將采集函數的最大化任務重新定義為組合優化問題，從而能夠從領域大量文獻中獲益。他們特別強調了 3,958 個單獨實驗中采集函數最大化組合方法的實證優勢，這些實驗包括組合優化任務和貝葉斯任務。

鑒于采集函數最大化方法的通用性，研究者認為采用組合優化器有可能在當前貝葉斯優化應用的所有領域內實現性能提升。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的华为诺亚开源贝叶斯优化库：超参数调优河伯、组合优化器CompBO的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。