Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop

1.HDFS:分布式文件系統,適合一次寫入，多次讀出的場景。一個文件經過創建、寫入和關閉 之后就不需要改變。

2.Yarn:分布式資源管理系統，用于同一管理集群中的資源（內存等）? ? ? ?

3.MapReduce:Hadoop的編程框架，用map和reduce方式實現分布式程序設計，類似于Spring。

4.Pig:MapReduce的一個抽象，它是一個工具/平臺（所以說它并不完全是一門語言），用于分析較大數據集，并將其表示為數據流；

5.Zookeeper：分布式集群管理、master選舉、消息發布訂閱、數據存儲、分布式鎖等等。分布式協調服務，用于維護集群配置的一致性、任務提交的事物性、集群中服務的地址管理、集群管理等

6.Hbase:Hadoop下的分布式數據庫，類似于NoSQL? ? ?

7.Hive:數倉工具，Hive進行數據離線批量處理時，需將查詢語言先轉換成MR任務，由MR批量處理返回結果，所以Hive沒法滿足數據實時查詢分析的需求。

8.Sqoop:用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞

總結

以上是生活随笔為你收集整理的Hadoop中各组件的作用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。