分布式文件系统研究-什么是分布式文件系统
什么是分布式文件系統(tǒng)
引用“百度百科”中的描述:
為什么會(huì)有分布文件系統(tǒng)呢?
分布式文件系統(tǒng)是面對(duì)互聯(lián)網(wǎng)的需求而產(chǎn)生,互聯(lián)網(wǎng)時(shí)代對(duì)海量數(shù)據(jù)如何存儲(chǔ)?靠簡(jiǎn)單的增加硬盤(pán)的個(gè)數(shù)已經(jīng)滿足不了我們的要求,因?yàn)橛脖P(pán)傳輸速度有限但是數(shù)據(jù)在急劇增長(zhǎng),另外我們還要要做好數(shù)據(jù)備份、數(shù)據(jù)安全等。
采用分布式文件系統(tǒng)可以將多個(gè)地點(diǎn)的文件系統(tǒng)通過(guò)網(wǎng)絡(luò)連接起來(lái),組成一個(gè)文件系統(tǒng)網(wǎng)絡(luò),結(jié)點(diǎn)之間通過(guò)網(wǎng)絡(luò)進(jìn)行通信,一臺(tái)文件系統(tǒng)的存儲(chǔ)和傳輸能力有限,我們讓文件在多臺(tái)計(jì)算機(jī)上存儲(chǔ),通過(guò)多臺(tái)計(jì)算共同傳輸。如下圖:
好處:
1、一臺(tái)計(jì)算機(jī)的文件系統(tǒng)處理能力擴(kuò)充到多臺(tái)計(jì)算機(jī)同時(shí)處理。
2、一臺(tái)計(jì)算機(jī)掛了還有另外副本計(jì)算機(jī)提供數(shù)據(jù)。
3、每臺(tái)計(jì)算機(jī)可以放在不同的地域,這樣用戶就可以就近訪問(wèn),提高訪問(wèn)速度。
主流的分布式文件系統(tǒng)
1、NFS
1)在客戶端上映射NFS服務(wù)器的驅(qū)動(dòng)器。
2)客戶端通過(guò)網(wǎng)絡(luò)訪問(wèn)NFS服務(wù)器的硬盤(pán)完全透明。
2、GFS
1)GFS采用主從結(jié)構(gòu),一個(gè)GFS集群由一個(gè)master和大量的chunkserver組成。
2)master存儲(chǔ)了數(shù)據(jù)文件的元數(shù)據(jù),一個(gè)文件被分成了若干塊存儲(chǔ)在多個(gè)chunkserver中。
3)用戶從master中獲取數(shù)據(jù)元信息,從chunkserver存儲(chǔ)數(shù)據(jù)。
3、HDSF
1)HDFS采用主從結(jié)構(gòu),一個(gè)HDFS集群由一個(gè)名稱結(jié)點(diǎn)和若干數(shù)據(jù)結(jié)點(diǎn)組成。
名稱結(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)的元信息,一個(gè)完整的數(shù)據(jù)文件分成若干塊存儲(chǔ)在數(shù)據(jù)結(jié)點(diǎn)。
2)客戶端從名稱結(jié)點(diǎn)獲取數(shù)據(jù)的元信息及數(shù)據(jù)分塊的信息,得到信息客戶端即可從數(shù)據(jù)塊來(lái)存取數(shù)據(jù)。
分布式文件服務(wù)提供商
1)阿里的OSS
2)七牛云存儲(chǔ)
3)百度云存儲(chǔ)
總結(jié)
以上是生活随笔為你收集整理的分布式文件系统研究-什么是分布式文件系统的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 分布式文件系统研究-什么是文件系统
- 下一篇: 分布式文件系统研究-fastDSF架构介