2019獨角獸企業重金招聘Python工程師標準>>>

分布式文件系統

GFS以及 FastDFS、mogileFS、HDFS、TFS等類GFS系統都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。

?

Google學術論文有 ：

Google File System（大規模分散文件系統） MapReduce （大規模分散FrameWork） BigTable（大規模分散數據庫） Chubby（分散鎖服務） 一般你搜索Google_三大論文中文版(Bigtable、 GFS、 Google MapReduce)就有了。

做個中文版下載源：

http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126

?

做個原版地址鏈接：

http://labs.google.com/papers/gfs.html

http://labs.google.com/papers/bigtable.html

http://labs.google.com/papers/mapreduce.html

?

本地下載 ：??Google_三大論文中文版.pdf

GFS（Google File System） -------------------------------------- Google公司為了滿足本公司需求而開發的基于Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google并沒有將該系統的軟件部分作為開源軟件發布。 下面分布式文件系統都是類 GFS的產品。
HDFS --------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源于Apache Nutch，后者是一個開源的網絡搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapReduce算法的一種開源應用，是Google開創其帝國的重要基石。
Ceph --------------------------------------- 是加州大學圣克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。并使用Ceph完成了他的論文。
MogileFS --------------------------------------- 由memcahed的開發公司danga一款perl開發的產品，目前國內使用mogielFS的有圖片托管網站yupoo等。 MogileFS是一套高效的文件自動備份組件，由Six Apart開發，廣泛應用在包括LiveJournal等web2.0站點上。 MogileFS由3個部分組成： 第1個部分是server端，包括mogilefsd和mogstored兩個程序。前者即是 mogilefsd的tracker，它將一些全局信息保存在數據庫里，例如站點domain,class,host等。后者即是存儲節點(store node)，它其實是個HTTP Daemon，默認偵聽在7500端口，接受客戶端的文件備份請求。在安裝完后，要運行mogadm工具將所有的store node注冊到mogilefsd的數據庫里，mogilefsd會對這些節點進行管理和監控。 第2個部分是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。 第3個部分是客戶端API，目前只有Perl API(MogileFS.pm)、PHP，用這個模塊可以編寫客戶端程序，實現文件的備份管理功能。 Lustre --------------------------------------- Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。 該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。 目前Lustre已經運用在一些領域，例如HP SFS產品等。 FastDFS --------------------------------------- 是一款類似Google FS的開源分布式文件系統，是純C語言開發的。 FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。
官方論壇 http://bbs.chinaunix.net/forum-240-1.html FastDfs google Code http://code.google.com/p/fastdfs/ 分布式文件系統FastDFS架構剖析 http://www.programmer.com.cn/4380/

TFS ------------------------------------- TFS（Taobao !FileSystem）是一個高可擴展、高可用、高性能、面向互聯網服務的分布式文件系統，主要針對海量的非結構化數據，它構筑在普通的Linux機器 集群上，可為外部提供高可靠和高并發的存儲訪問。TFS為淘寶提供海量小文件存儲，通常文件大小不超過1M，滿足了淘寶對小文件存儲的需求，被廣泛地應用 在淘寶各項應用中。它采用了HA架構和平滑擴容，保證了整個文件系統的可用性和擴展性。同時扁平化的數據組織結構，可將文件名映射到文件的物理地址，簡化 了文件的訪問流程，一定程度上為TFS提供了良好的讀寫性能。 官網 ：? http://code.taobao.org/p/tfs/wiki/index/

GridFS文件系統 -------------------------------------
MongoDB是一種知名的NoSql數據庫，GridFS是MongoDB的一個內置功能，它提供一組文件操作的API以利用MongoDB存儲文件，GridFS的基本原理是將文件保存在兩個Collection中，一個保存文件索引，一個保存文件內容，文件內容按一定大小分成若干塊，每一塊存在一個Document中，這種方法不僅提供了文件存儲，還提供了對文件相關的一些附加屬性（比如MD5值，文件名等等）的存儲。文件在GridFS中會按4MB為單位進行分塊存儲。

MongoDB GridFS 數據讀取效率 benchmark
http://blog.nosqlfan.com/html/730.html

轉載于:https://my.oschina.net/abcwj111/blog/95623

總結

以上是生活随笔為你收集整理的多种分布式文件系统简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。