apache mesos_在Twitter上使用Apache Mesos和Apache Aurora进行资源调度和任务启动
apache mesos
播客的第23集是與Bill Farner的談話
Bill解釋了Twitter如何使用Apache Mesos和Apache Aurora在硬件上獲得更多收益,并通過在整個基礎架構中利用細粒度的資源調度來節省工程時間(開發和運營)。 Bill談到了他在Borg上與Google一起在Google上所見到和所經歷的力量是如何想在Twitter上運行事物以及他們為Aurora打造什么的。 經過多年在Twitter上的生產運行之后,Aurora是開源的,是Apache基金會的一部分,可以使用。 他們看不到的許多新用例對于他們的團隊來說已經變得非常強大,Bill也對此進行了更詳細的介紹。
Bill還談到了使用Aurora中的功能完成的檢測的類型,以使現在Twitter上的所有新系統和幾乎所有舊系統都在Aurora上運行。 Bill詳細介紹了有關Twitter緩存的工作方式以及Aurora的SLA功能如何使其成為現實。 Aurora令人驚嘆,它為最終用戶(從工程師到分析師的每個人)提供了完全訪問其硬件群集的潛在資源的能力。 Aurora提供了配額和搶占等功能,因此可以為任何用戶提供對整個硬件基礎架構的計算資源的訪問權限,而不必擔心會浪費資源并始終將生產始終作為優先事項。
Apache Mesos從計算機(物理或虛擬)中提取CPU,內存,存儲和其他計算資源,從而使容錯和彈性的分布式系統易于構建和有效運行。 Mesos是使用與Linux內核相同的原理構建的,只是在不同的抽象級別上。 Mesos內核在每臺機器上運行,并為應用程序(例如Hadoop,Spark,Kafka,Elastic Search)提供API,用于在整個數據中心和云環境中進行資源管理和調度。
Apache Aurora是一個Mesos框架。 Mesos框架是資源的調度程序和任務的啟動程序。 Aurora提供的Job抽象由Task模板和用于創建該Task幾乎相同的副本的說明組成。 通常,任務是與單個命令行相對應的單個進程 ,例如python2.6 my_script.py 。 但是,有時您必須在單個任務中將單獨的進程并置在一起,這些任務在單個容器和chroot (通常稱為“沙盒”)中運行。 例如,如果您同時運行多個協作代理,例如logrotate , installer以及主或從屬進程。 Thermos在Mesos任務下提供了過程抽象。
要使用Aurora并快速入門,您應該按以下順序查看此目錄中的文檔:
有關Mesos和Aurora的更多背景知識,請查看以下三個視頻。
使用Apache Mesos進行數據中心管理
Apache Aurora簡介視頻
Apache Aurora的過去,現在和未來
翻譯自: https://www.javacodegeeks.com/2014/10/resource-scheduling-and-task-launching-with-apache-mesos-and-apache-aurora-at-twitter.html
apache mesos
總結
以上是生活随笔為你收集整理的apache mesos_在Twitter上使用Apache Mesos和Apache Aurora进行资源调度和任务启动的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: input发送a.jax_Java EE
- 下一篇: 珍珠婚是结婚多少年 关于珍珠婚是结婚多少