Redhat5.4 系统上部署 MooseFS分布式文件系统的部署
?第一，????????????? ?分布式文件系統的介紹
分布式文件系統有數十種方案可供選擇。如：ustre ，hadoop，Pnfs 等。還有下面要實現的moosfes moosfes 文件系統具有以下幾個優點
?? 1 實施簡單。 MFS(即是moosfes) 的部署，配置相對于其他類型的分布式文件系統來數，相對簡單。
? 2? 在不停止服務時，就能對該文件系統進行擴容。 MFS 框架做好后，隨時就可以可以對服務器進行擴充容量；在進行擴充? ， 減少容量的同時都不會對現有服務造成影響。注： hadoop 也具有該功能
? 3 容易恢復。
? 4 高可靠性，將數據分成幾個副本存儲在不同的計算機中；通過增加計算機或者增加硬盤，動態的擴充可用磁盤空間； 可以設置刪除文件的空間回收時間； 同時也能為文件創建快照
?6． mfs 文件系統的組成
???? 1，原數據服務器。負責管理文件系統
???? 2 數據服務器，即是chunkserver 。真正存儲用戶的數據服務器。存儲文件時，首先把文件分成數據塊，然后這些數據塊存在數據服務器chunkserver之間復制。數據服務器可以死多個，并將數據服務器的數量越多，可使用的“磁盤空間”越大，同時可靠性也就越高
????? 3，客戶端。使用MFS文件系統來存儲和訪問的主機稱為mfs 的客戶端，成功掛接MFS文件系統后，就可以共享該虛擬性的存儲
7 MooseFS（即是mfs） 架構（如下圖）
????? ??mfs 包括四種類型的機器
l? ?Mangaging Server （master server）
l? ?Data servers （chunk servers）
l? ?Metadata backup servers (metalogger server)
l? ?Client
?? ? ? ? ?
?
?
?
第二．Master server(元數據服務器) 的安裝
1 首先創建用戶mfs
? #useradd –s /sbin/nologin ?mfs
2 配置安裝數據源服務器
??? #tar? -xvf?? mfs-1.6.17.tar.gz
??? # cd mfs-1.6.17
??? # ./configure? --prefix=/usr/local/mfs? --disable-mfschunkserver ?--disable-mfsmount –with-default-user=mfs? --with-default-group=mfs?
??? #make? && make install
3 配置數據服務器的相關配置文件
???? #cd /usr/local/mfs/etc
???? #cp?? mfsexports.cfg.dist??? mfsexports.cfg
???? #cp?? mfsmaster.cfg.dist???? mfsmaster.cfg
???? #cd? /usr/local/mfs/var/mfs
???? #cp? metadata.mfs.empty? metadata.mfs
?? 4 修改mfsexports.cfg? ，mfsmaster.cfg
?? ??IP ?????/??? rw,alldirs,maproot=0
???? 注：IP 是允許 掛載的主機，該處可以是域名，主機名，IP地址
???????? #vim? mfsmaster.cfg
????????? mfsmaster.cfg 每行都是被注釋掉了，但是都是配置文件的默認值。
?? LOCK_FILE=/var/run/mfs/mfsmaster.lock?
?????? 注：文件鎖在的位置，該文件主要是避免多次啟動同一個守護進程。
?? DATA_PATH=/user/local/mfs/var/mfs 數據存儲路徑，只是元數據的存放路徑，
?? MATOCS_LISTEN_PORT = 9420? 即元數據服務使用9420 這個端口來接受數據儲存服務器chunkserver端的連接
?? MATOCU_LISTEN_PORT = 9421? 元數據服務器在9421 端口監聽，用用以接受客戶端對于MFS進行遠程掛接（客戶端以mfsmount 掛接MFS）
??????? 5 啟動元數據服務器master
??????????????????? #/usr/local/mfs/sbin/mfsmaster? start
???????????????????????????? working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... ok
sessions file has been loaded
exports file has been loaded
loading metadata ...
loading objects (files,directories,etc.) ... ok
loading names ... ok
loading deletion timestamps ... ok
checking filesystem consistency ... ok
loading chunks data ... ok
connecting files and chunks ... ok
all inodes: 6
directory inodes: 2
???????????????????????????? file inodes: 4
chunks: 46
metadata file has been loaded
stats file has been loaded
master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly
?
?
?? 6 關閉原數據服務器master?
?
?????? 在關閉元數據服務器master， 務必使用/usr/local/mfs/sbin/mfsmaster –s
?
?
?????? 如果直接使用kill 殺死進程，導致下次啟動時出現找不到相關文件，而不能正常啟動服務器。 如果使用kill 殺死進程，時出現上面的問題時，可以通過mfsmetastore 來恢復
第三，安裝數據 儲存服務器 chunkserver
1???????? 解壓mfs
#tar? -xvf? mfs-1.6.17.tar.gz
#cd? mfs-1.6.17
2???????? 創建mfs 用戶
?? #useradd ?-s /sbin/nologin mfs
3???????? 配置安裝mfs
? #? ./configure –prefix=/usr/local/mfs?? --disable-mfsmaster –disable-mfsmount –with-default-user=mfs? --with-default-group=mfs
? #make? && make install
4???????? 修改相關的配置文件
?? #cd? /usr/local/mfs/etc
?? #cp?? mfschunkserver.cfg.dist?? mfschunkserver.cfg
?? #cp? mfshdd.cfg.dist???? mfsshdd.cfg
?? #vim? mfschunkserver.cfg
??????? 取消下列注釋
????? MASTER_HOST= 192.168.2.1
??????? 注： 該處的ip地址為元數據服務器的IP地址，此處可以設置元數據服務器的域名等
?? LOCK_FILE=/var/run/mfs/mfschunkserver.lock??
??????????????????????? 注：文件鎖在的位置，該文件主要是避免多次啟動同一個守護進程
?? ? ? ? CSSERV_LISTEN_PORT=9422 該端口用于與其他數據儲存服務器間的連接，通常是數據復制?
?
???????????? HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg
??????????????? 注： 分配給MFS使用的磁盤空間配置文件的位置
?
5???????? 修改配置文件mfshdd.cfg 服務分區掛接點 /data ，并修改屬主
#chown? -R mfs:mfs? /data
?注：mfshdd.cfg 文件存的是用來給MooseFs 使用的空間，如果是單個chunkserver的儲存空間最好大于2g，否則無法寫入空間
6???????? 啟動數據儲存服務器chunkserver
#/usr/local/mfs/sbin/mfschunkserver? start
?working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfschunkserver modules ...
hdd space manager: scanning folder /mnt/data/ ...
hdd space manager: /mnt/data/: 46 chunks found
hdd space manager: scanning complete
main server module: listen on *:9422
stats file has been loaded
mfschunkserver daemon initialized properly
7???????? 數據儲存服務器chunkserver 監聽的端口為9422 ，同樣關閉數據儲存服務器時同樣和元數據服務器的方法類似
#/usr/local/mfs/sbin/mfschunkserver –s
第四，安裝元數據日志服務器 mfsmetalogger
????? 1 創建mfs 用戶
???????? #useradd? -s /sbin/nologin? mfs
????? 2 安裝元數據日志服務器
????????? # tar –xvf? mfs-1.6.17.tar.gz
????????? #cd mfs-1.6.17
????????? # ./configure? --prefix=/usr/local/mfs?? --disable-mfschunkserver? --disable-mfsmount? --with-default-user=mfs?? --with-default-group=mfs??
????????? # make? && make install
?????? 3 修改相關配置
????????? #cd? /usr/local/mfs/etc
?????????? #cp? mfsmetalogger.cfg.dist? mfsmetalogger.cfg
??????????? #vim mfsmetalogger.cfg
???????????? 并把修改下面的選項
??????????????? MASTER_HOST = mfsmaster 為
???????????????? MASTER_HOST = 192.168.2.1 此地址為mfsmaster 的ip地址
??????????????? 并保存
??????????????? back_logs =50?
?????????????? META_DOWNLOAD_FREQ=24 注：元數據備份文件下載請求頻率，默認為24 小時，即每個一天重元數據服務器 (master) 下載一個metadata.mfs.back 文件。但元數據服務器關閉或者故障時，matedata.mfs.back文件將消失，如果要回復整個 mfs。則需要從metalogger服務器取得該文件。該文件與日志文件在一起時，才能恢復整個被損壞的分布式文件系統
???? 4 啟動元數據日志服務器
??????? #/usr/local/sbin/mfsmetalogger start
????????? working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmetalogger modules ...
mfsmetalogger daemon initialized properly
?注： metalogger 連接的master的9419 端口
??
第五.MFS客戶端的安裝?
?
?? 1 創建，mfs 用戶
?
??? #useradd? -s /sbin/nologin mfs
? 2 解壓安裝fuse?
????? # tar –xvf fuse-2.8.5.tar.gz
????? #cd fuse-2.8.5
????? #./configure? -prefix=/usr/local/fuse
????? #make && make install
3 設置fuse 的環境
?? #vim? /etc/profile 并在其尾部添加如下配置
???? export PKG_CONFIG_PATH=/usr/local/fuse/lib/pkgconfig:$PKG_CONFIG_PATH
????? 保存并執行
?? ??#source? /etc/profile
4解壓，安裝mfs客戶端
???? #tar –xvf? mfs-1.6.17.tar.gz
???? #cd? mfs-1.6.17
???? #./configure? --prefix=/user/local/mfs?? --disable-mfsmaster –disable-mfschunkserver –enable-mfsmount? --with-default-user=mfs? --with-default-group=mfs
???? #make? && make install
5 掛載MooseFs
??? #mkdir? /mnt/mfs
? #/usr/local/mfs/bin/mfsmount –H? 192.168.2.1 /mnt/mfs
mfsmaster accepted connection with parameters:read-write,restricted_ip;root mapped to root:root
?
?
?
?
?注：參考blog ：
http://sery.blog.51cto.com/blog/10037/147756?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??http://hi.baidu.com/%C2%ED%B3%A4%D5%F72008/blog/item/905decff0498813d5d600817.html
?
轉載于:https://blog.51cto.com/freehat/411552
《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的Redhat5.4 系统上部署 MooseFS分布式文件系统的部署的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： [整理I]精选微软等公司数据结构+算法面
- 下一篇： Delphi实现截屏功能