CDH 和ambari之间的比较
目前啊,都知道,大數據集群管理方式分為手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
?
1 什么是CDH,ambari?
Apache Ambari是一種基于Web的工具,支持Apache Hadoop集群的供應、管理和監控。Ambari已支持大多數Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。Ambari能夠安裝安全的(基于Kerberos)Hadoop集群,以此實現了對Hadoop 安全的支持,提供了基于角色的用戶認證、授權和審計功能,并為用戶管理集成了LDAP和Active Directory。
CDH簡介
? Cloudera's Distribution, including Apache Hadoop
? 是Hadoop眾多分支中的一種,由Cloudera維護,基于穩定版本的Apache Hadoop構建
? 提供了Hadoop的核心
– 可擴展存儲
– 分布式計算
? 基于Web的用戶界面
?
CDH的優點
? 版本劃分清晰
? 版本更新速度快
? 支持Kerberos安全認證
? 文檔清晰
? 支持多種安裝方式(Cloudera Manager方式
?
2? 為什么需要他們
? 1000臺服務器的集群,最少要花費多長時間來搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等
? 只給你一天時間,完成以上工作?
? 對于以上集群進行hadoop版本升級,你會選擇什么升級方案,最少要花費多長時間?
? 新版本的Hadoop,與Hive、Hbase、Flume、Kafka、Spark等等兼容?
大數據集群管理方式分為手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
?手工部署呢,需配置太多參數,但是,好理解其原理,建議初學這樣做,能學到很多。該方式啊,均得由用戶執行,細節太多,切當設計多個組件時,用戶須自己解決組件間版本兼容問題。
?工具部署呢,比如Ambari或Cloudera Manger。(當前兩大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具來,可以說是一鍵操作,難點都在工具Ambari或Cloudera Manger本身部署上。
?
?
手工方式 工具方式
難易度 難,幾乎不可能成功 簡單,易行
兼容性 自己解決組件兼容性問題 自動安裝兼容組件
組件支持數 支持全部組件 支持常用組件
優點 對組件和集群管理深刻 ?簡單、容易、可行
缺點 太復雜,不可能成功 屏蔽太多細節,妨礙對組件理解
?
?
?
工具名 ? ? ? ? ? ? ? ? 市場占有率 所屬機構 開源性 社區支持性 易用性、穩定性
Cloudera Manger? ? ? ? ? ? ? 高? ? ? ? ? ? ? ? ???Cloudera ? ? 商用 ? ? ? 不支持 ? ? ? ? ? ? ? ?易用、穩定 ? ?
Ambari ? ? ? ?較高? ? ? ? ? ?? ? ? Hortonwork ?開源 支持 ? ? 較易用、較穩定
?
?
?
?
?
?
CDH和Ambari相互比較
出版商:
hortonworks研發了Ambari和hdp的大數據分析集成平臺
cloudera研發了cloudera manger和cdh大數據分析集成平臺
穩定性:
cloudera相對來說比較穩定
ambari相對來說不穩定(頁面打開速度慢)
資源消耗:
cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor總共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G
集群重啟:
cloudera支持滾動重啟(hdfs需要設計成ha,才能滾動重啟)
ambari支持滾動重啟(hdfs需要設計成ha,才能滾動重啟)
集群升級(一般來講不要輕易升級集群):
cloudera不支持滾動升級服務
ambari支持滾動升級服務(這個是ambari的優點,hdfs必須是ha)
二次開發:
cloudera不支持
ambari支持
服務版本:
cloudera較老
ambari較新
服務集成性:
cloudera較弱
ambari較強,支持es、redis、presto、kylin等
體驗效果:
cloudera好
ambari相對差
安裝過程:
cloudera復雜
ambari簡單
郵件報警:
cloudera支持不好
ambari支持很好
安裝包:
cloudera是parcel包
ambari是rpm包
總結:
不要輕易升級組件版本
如果對集成性要求高,穩定性相對弱點的,可以選擇ambari
如果對穩定性要求高,集成性相對弱點的,可以選擇cloudera
?
?
?
?
?
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的CDH 和ambari之间的比较的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RTSP再学习 -- Hi3516A R
- 下一篇: RTSP再学习 -- Hi3516A R