Scipy2013

Font Tian translated this article on 23 December 2017

SciPy2013摘要提交

標題

Hyperopt：用于優化機器學習算法的超參數的Python庫

作者

詹姆斯·伯格斯特拉，丹·維明斯和戴維·C·考克斯

(James Bergstra, Dan Yamins, and David D. Cox)

簡介

James Bergstra是滑鐵盧大學理論神經科學中心的NSERC萬津研究員。他的研究興趣包括視覺系統模型和學習算法，深度學習，貝葉斯優化，高性能計算和音樂信息檢索。此前他曾是哈佛大學羅蘭科學研究院David Cox教授的計算機和生物視覺實驗室的成員。他在2011年7月在Yoshua Bengio教授的指導下完成了蒙特利爾大學的博士研究，并撰寫了關于如何將復雜的細胞納入深度學習模型的論文。作為他的博士研究工作的一部分，他共同開發了Theano，一個流行的Python元編程系統，可以針對GPU進行高性能計算。

Dan Yamins是麻省理工學院腦與認知科學的博士后研究員。他的研究興趣包括腹視覺流的計算模型，以及神經科學和計算機視覺應用的高性能計算。此前，他開發了用于大規模數據分析和工作流管理的Python語言軟件工具。他在Radhika Nagpal的指導下在哈佛大學完成了博士學位，并撰寫了關于空間分布式多代理系統計算模型的論文。

David Cox是分子和細胞生物學和計算機科學的助理教授，也是哈佛大學腦科學中心的成員。他完成了博士學位。在麻省理工學院腦與認知科學系，專攻計算神經科學。在加入MCB / CBS之前，他是哈佛羅蘭研究所的一名初級研究員，這是一個多學科研究機構，致力于在傳統領域的邊界進行高風險，高回報的科學研究。

談話摘要

大多數機器學習算法具有超參數，這些參數對端到端系統性能有很大影響，調整超參數以優化端到端性能可能是一項艱巨的任務。超參數有多種類型 - 連續值有邊界和無邊界值，有離散值的有序或不有序，有條件的甚至不總是適用（例如，可選的預處理階段的參數） - 所以常規的連續和組合優化算法要么不直接應用，要么在沒有利用搜索空間中的結構的情況下操作。通常，超參數的優化是由領域專家在不相關的問題之前進行的，或者在網格搜索的幫助下手動地處理問題。然而，

對于更好的超參數優化算法（HOAs）有強烈的需求，原因有兩個：

HOAs將模型評估的實踐正式化，從而可以在以后的日期和不同的人群中復制基準實驗。

學習算法設計人員可以向非專家（如深度學習系統）提供靈活的完全可配置的實現，只要他們也提供相應的HOA。

Hyperopt通過Python庫提供串行和并行化的HOA [2,3]。其設計的基礎是（a）超參數搜索空間的描述，（b）超參數評估函數（機器學習系統）和（c）超參數搜索算法之間的通信協議。該協議使得可以使通用HOAs（例如捆綁的“TPE”算法）適用于一系列特定的搜索問題。具體的機器學習算法（或算法族）被實現為hyperopt 搜索空間在相關的項目中：Deep Belief Networks [4]，卷積視覺體系結構[5]和scikit-learn分類器[6]。我的演示文稿將解釋hyperopt解決什么問題，如何使用它，以及如何從數據中提供準確的模型，而無需操作員干預。

Submission References

[1] J. Bergstra and Y. Bengio (2012). Random Search for Hyper-Parameter Optimization. Journal of Machine Learning Research 13:281–305. http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf

[2] J. Bergstra, D. Yamins and D. D. Cox (2013). Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures. Proc. 30th International Conference on Machine Learning (ICML-13). http://jmlr.csail.mit.edu/proceedings/papers/v28/bergstra13.pdf

[3] Hyperopt: http://jaberg.github.com/hyperopt

[4] … for Deep Belief Networks: https://github.com/jaberg/hyperopt-dbn

[5] … for convolutional vision architectures: https://github.com/jaberg/hyperopt-convnet

[6] … for scikit-learn classifiers: https://github.com/jaberg/hyperopt-sklearn

More information about the presenting author can be found on his academic website: http://www.eng.uwaterloo.ca/~jbergstr/

總結

以上是生活随笔為你收集整理的hyperopt中文文档:Scipy2013的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。