談到分布式系統，就不得不提Google的三駕馬車:Google fs[1],Mapreduce[2],Bigtable[3]。

雖然Google沒有公布這三個產品的源碼，但是他發布了這三個產品的詳細設計論文。而且，Yahoo資助的Hadoop也有按照這三篇論文的開源Java實現:Hadoop對應Mapreduce, Hadoop Distributed File System (HDFS)對應Google fs,Hbase對應Bigtable。不過在性能上Hadoop比Google要差很多，參見表1。

Experiment	HBase20070916	BigTable
random reads	272	1212
random reads (mem)	Not implemented	10811
random writes	1460	8850
sequential reads	267	4425
sequential writes	1278	8547
Scans	3692	15385

表1 Hbase和BigTable性能比較(來源于http://wiki.apache.org/lucene-hadoop/Hbase/PerformanceEvaluation)

以下分別介紹這三個產品：

一 Google fs

GFS是一個可擴展的分布式文件系統，用于大型的、分布式的、對大量數據進行訪問的應用。它運行于廉價的普通硬件上，提供容錯功能。

圖1 GFS Architecture

（1）GFS的結構

1. GFS的結構圖見圖1，由一個master和大量的chunkserver構成，

2. 不像Amazon Dynamo的沒有主的設計，Google設置一個主來保存目錄和索引信息，這是為了簡化系統結果，提高性能來考慮的，但是這就會造成主成為單點故障或者瓶頸。為了消除主的單點故障Google把每個chunk設置的很大(64M)，這樣，由于代碼訪問數據的本地性，application端和master的交互會減少，而主要數據流量都是Application和chunkserver之間的訪問。

3. 另外，master所有信息都存儲在內存里,啟動時信息從chunkserver中獲取。提高了master的性能和吞吐量，也有利于master當掉后，很容易把后備j機器切換成master。

4. 客戶端和chunkserver都不對文件數據單獨做緩存，只是用linux文件系統自己的緩存

“The master stores three major types of metadata: the file and chunk namespaces, the mapping from files to chunks, and the locations of each chunk’s replicas.”

?

“Having a single master vastly simplifies our design and enables the master to make sophisticated chunk placement and replication decisions using global knowledge. However,we must minimize its involvement in reads and writes so that it does not become a bottleneck. Clients never read and write file data through the master. Instead, a client asks the master which chunkservers it should contact. It caches this information for a limited time and interacts with the chunkservers directly for many subsequent operations.”

?

“Neither the client nor the chunkserver caches file data.Client caches offer little benefit because most applications stream through huge files or have working sets too large to be cached. Not having them simplifies the client and the overall system by eliminating cache coherence issues.(Clients do cache metadata, however.) Chunkservers need not cache file data because chunks are stored as local files and so Linux’s buffer cache already keeps frequently accessed data in memory.”

?

（2）GFS的復制

GFS典型的復制到3臺機器上，參看圖2

圖2 一次寫操作的控制流和數據流

(3) 對外的接口

和文件系統類似，GFS對外提供create, delete,open, close, read, 和 write 操作

另外，GFS還新增了兩個接口snapshot and record append，snapshot是做一個

“Moreover, GFS has snapshot and record append operations.

Snapshot creates a copy of a file or a directory tree at low cost.

Record append allows multiple clients to append data to the same file concurrently while guaranteeing the atomicity of each individual client’s append.”

?

二 Mapreduce

Mapreduce是針對分布式并行計算的一套編程模型。

講到并行計算，就不能不談到微軟的Herb Sutter在2005年發表的文章” The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software”[6]，主要意思是通過提高cpu主頻的方式來提高程序的性能很快就要過去了，cpu的設計方向也主要是多核，超線程等并發上。但是以前的程序并不能自動的得到多核的好處，只有編寫并發程序，才能真正獲得多核的好處。分布式計算也是一樣。

圖3 Mapreduce Execution overview

?

1．Mapreduce是由Map和reduce組成,來自于Lisp，Map是影射，把指令分發到多個worker上去，reduce是規約，把Map的worker計算出來的結果合并。（參見圖3）

2．Google的Mapreduce實現使用GFS存儲數據。

3．Mapreduce可用于Distributed Grep,Count of URL Access Frequency,ReverseWeb-Link Graph,Distributed Sort,Inverted Index

三 Bigtable

就像文件系統需要數據庫來存儲結構化數據一樣，GFS也需要Bigtable來存儲結構化數據。

1．??BigTable 是建立在 GFS ，Scheduler ，Lock Service 和 MapReduce 之上的。

2．??每個Table都是一個多維的稀疏圖

3．??為了管理巨大的Table，把Table根據行分割，這些分割后的數據統稱為：Tablets。每個Tablets大概有 100-200 MB，每個機器存儲100個左右的 Tablets。底層的架構是：GFS。由于GFS是一種分布式的文件系統，采用Tablets的機制后，可以獲得很好的負載均衡。比如：可以把經常響應的表移動到其他空閑機器上，然后快速重建。

?

?

參考文獻

［1］???????The Google File System;?http://labs.google.com/papers/gfs-sosp2003.pdf

［2］???????MapReduce: Simplifed Data Processing on Large Clusters;?http://labs.google.com/papers/mapreduce-osdi04.pdf

［3］???????Bigtable: A Distributed Storage System for Structured Data;http://labs.google.com/papers/bigtable-osdi06.pdf

［4］???????Hadoop ;?http://lucene.apache.org/hadoop/

［5］???????Hbase: Bigtable-like structured storage for Hadoop HDFS;http://wiki.apache.org/lucene-hadoop/Hbase

［6］???????The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software;http://www.gotw.ca/publications/concurrency-ddj.htm

轉載于:https://www.cnblogs.com/chen-jt/p/5075914.html

總結

以上是生活随笔為你收集整理的Google分布式系统三驾马车: GFS,mapreduce,Bigtable的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。