【问链财经-EOS公开课】 第十九课 EOS存储之IPFS
編者按:EOS每秒百萬的tps如果要實(shí)現(xiàn)的話,按照一個(gè)交易數(shù)據(jù)100字節(jié)計(jì)算,1天的區(qū)塊數(shù)據(jù)量為1000000 * 100 * 60 * 60 * 24 = 7.8TB,一年的區(qū)塊數(shù)據(jù)量為7.8 * 365 = 2868TB,到了2023年大約需要14340TB的存儲(chǔ)空間,這是非常龐大的一個(gè)數(shù)字,需要花費(fèi)巨大的成本支出,這還不包括智能合約用戶上傳的數(shù)據(jù),為了解決這個(gè)問題,EOS采用了IPFS協(xié)議來進(jìn)行文件的存儲(chǔ)。
一、IPFS 簡介
IPFS—又稱“星際文件系統(tǒng)”,是一個(gè)旨在創(chuàng)建持久且分布式存儲(chǔ)和共享文件的網(wǎng)絡(luò)傳輸協(xié)議。它是一種內(nèi)容可尋址的對等超媒體分發(fā)協(xié)議。在IPFS網(wǎng)絡(luò)中的節(jié)點(diǎn)將構(gòu)成一個(gè)分布式文件系統(tǒng)。它是一個(gè)開放源代碼項(xiàng)目,自2014年開始由Protocol Labs (協(xié)議實(shí)驗(yàn)室)在開源社區(qū)的幫助下發(fā)展。其最初由Juan Benet設(shè)計(jì)。
IPFS是點(diǎn)對點(diǎn)的超媒體協(xié)議,可以讓網(wǎng)絡(luò)更快、更安全、更開放。它是一個(gè)面向全球的、點(diǎn)對點(diǎn)的分布式版本文件系統(tǒng),試圖將所有具有相同文件系統(tǒng)的計(jì)算設(shè)備連接在一起。簡單點(diǎn)說,它是一個(gè)點(diǎn)對點(diǎn)的分布式文件系統(tǒng)(和比特幣技術(shù)一樣),通過底層協(xié)議,可以讓存儲(chǔ)在IPFS系統(tǒng)上的文件,在全世界任何一個(gè)地方快速獲取,且不受防火墻的影響(無需網(wǎng)絡(luò)代理)。
我們現(xiàn)在所使用的互聯(lián)網(wǎng)協(xié)議被稱作——超文本協(xié)議HTTP。這種協(xié)議具有中心化特性。也就是說,你從互聯(lián)網(wǎng)上下載文件或者是瀏覽網(wǎng)頁,一次只能從一個(gè)數(shù)據(jù)中心獲取你所需要的資料。如果這個(gè)數(shù)據(jù)中心出現(xiàn)故障,或者被限制或是攻擊,就會(huì)出現(xiàn)文件丟失或者網(wǎng)頁無法打開的問題。比如你存在某云盤的資料突然無法下載,或者你想瀏覽的網(wǎng)頁因?yàn)槟承┱咴驘o法打開。
而IPFS的目的就是解決這些問題。在某些方面,IPFS類似Web,你一樣可以基于IPFS進(jìn)行互聯(lián)網(wǎng)地址的鏈接。但I(xiàn)PFS是去中心化的,它不存在Web的主網(wǎng)故障問題。所以,IPFS在未來的某一天完全取代掉HTTP也并非天方夜譚。
1.1 IPFS與HTTP的區(qū)別
HTTP的四大痛點(diǎn)
- HTTP效率低下,服務(wù)器成本昂貴
使用HTTP協(xié)議從一臺(tái)計(jì)算機(jī)服務(wù)器上一次只能下載一個(gè)文件,而不是同時(shí)從多臺(tái)計(jì)算機(jī)中獲取文件。通過P2P方式的視頻傳輸可以節(jié)省帶寬成本的60%。
- 歷史文件被刪除
網(wǎng)頁的平均使用壽命為100天,大量的網(wǎng)站文件不能得以長期保存。有些重要的文件因操作不當(dāng),也有可能永遠(yuǎn)在互聯(lián)網(wǎng)消失。
- 中心化的網(wǎng)絡(luò)限制了機(jī)會(huì)
互聯(lián)網(wǎng)一直是人類進(jìn)步的催化器,但中心化的網(wǎng)絡(luò)容易被控制,是對互聯(lián)網(wǎng)良性發(fā)展的的威脅。
- 網(wǎng)絡(luò)應(yīng)用太依賴骨干網(wǎng)
為保證數(shù)據(jù)的可靠性,我們開發(fā)的應(yīng)用程序太依賴大型的中心服務(wù)器,并通過大量的備份來保證數(shù)據(jù)的安全。
HTTP協(xié)議已經(jīng)用了20年的歷史,從HTTP 1.0 到現(xiàn)在的HTTP5,網(wǎng)頁的展示越來越美觀豐富,但它背后的Browser/Server 模式是從來沒變的。
IPFS區(qū)別于HTTP痛點(diǎn)的特質(zhì)
- 互聯(lián)網(wǎng)信息永久存儲(chǔ)
IPFS像是一個(gè)分布式存儲(chǔ)網(wǎng)絡(luò),任何存儲(chǔ)在系統(tǒng)里的資源,包括文字、圖片、聲音、視頻,以及網(wǎng)站代碼,通過IPFS進(jìn)行哈希運(yùn)算后,都會(huì)生成唯一的地址。今后,你只要通過這個(gè)地址就可以打開它們。并且這個(gè)地址是可以被分享的。
而由于加密算法的保護(hù),該地址具備了不可篡改和刪除的特性(在某種意義上,如果破解密碼還是有可能被篡改或刪除,但概率極低)。所以,一旦數(shù)據(jù)存儲(chǔ)在IPFS中,它就會(huì)是永久性的。比如我們經(jīng)常會(huì)遇到的某個(gè)資源刪除無法訪問的問題。
這種情況,在IPFS上就不會(huì)發(fā)生。即便是把該站點(diǎn)撤銷,只要存儲(chǔ)該站點(diǎn)信息的網(wǎng)絡(luò)依然存在,該網(wǎng)頁就可以被正常訪問。存儲(chǔ)站點(diǎn)的分布式網(wǎng)絡(luò)越多,它的可靠性也就越強(qiáng)。
IPFS存儲(chǔ)的一般是公共信息,普通大眾都可以獲得的。
- 解決過度冗余問題,實(shí)現(xiàn)共享經(jīng)濟(jì)
如果你喜歡某部電影,又擔(dān)心電影資源丟失,通常的做法是,你會(huì)把這部電影下載在自己的電腦上。比如電影《阿凡達(dá)》,在2016年一年的下載次數(shù)就達(dá)到了1658萬次,總下載數(shù)量更是驚人。那么一個(gè)無法避免的問題是:同樣的一部電影被反復(fù)儲(chǔ)存,造成了內(nèi)存資源極大浪費(fèi)。這就是HTTP協(xié)議的弊端。同樣的資源備份的次數(shù)過多,就會(huì)造成過度冗余的問題。
而IPFS的出現(xiàn)可以很好的解決這個(gè)問題。IPFS會(huì)把存儲(chǔ)文件,做一次哈希計(jì)算,內(nèi)容相同的兩個(gè)文件哈希值相同。所以,用戶只需要使用相同的哈希值,就可以訪問那個(gè)文件,這個(gè)哈希值就是文件的地址,這樣就可以共享資源了。
基于上面的永久存儲(chǔ)特性,你再也不用擔(dān)心某個(gè)電影找不到了,也不用備份,因?yàn)槿螂娔X上只要有那么幾個(gè)人存儲(chǔ)著,你就能拿到它。而不是重復(fù)存儲(chǔ)幾十萬份。
- 同時(shí)基于內(nèi)容尋址,而非基于域名尋址。
IPFS的網(wǎng)絡(luò)上運(yùn)行著一條區(qū)塊鏈,即用來存儲(chǔ)互聯(lián)網(wǎng)文件的哈希值表,每次有網(wǎng)絡(luò)訪問,即要在鏈上查詢該內(nèi)容(文件)的地址。
文件(內(nèi)容)具有存在的唯一性,一個(gè)文件加入了IPFS的網(wǎng)絡(luò),將基于計(jì)算對內(nèi)容賦予一個(gè)唯一加密的哈希值。這將改變我們使用域名訪問網(wǎng)絡(luò)的習(xí)慣。
提供文件的歷史版本控制器(類似Git),并且讓多節(jié)點(diǎn)使用保存不同版本的文件。
- 節(jié)點(diǎn)存儲(chǔ)激勵(lì),代幣分成
通過使用代幣(FileCoin)的激勵(lì)作用,讓各節(jié)點(diǎn)有動(dòng)力去存儲(chǔ)數(shù)據(jù)。 Filecoin 是一個(gè)由加密貨幣驅(qū)動(dòng)的存儲(chǔ)網(wǎng)絡(luò)。礦工通過為網(wǎng)絡(luò)提供開放的硬盤空間獲得Filecoin,而用戶則用 Filecoin 來支付在去中心化網(wǎng)絡(luò)中儲(chǔ)存加密文件的費(fèi)用。
1.2 IPFS工作原理
- 每個(gè)文件及其中的所有塊都被賦予一個(gè)稱為加密散列的唯一指紋。
- IPFS通過網(wǎng)絡(luò)刪除重復(fù)具有相同哈希值的文件,通過計(jì)算是可以判斷哪些文件是冗余重復(fù)的。并跟蹤每個(gè)文件的版本歷史記錄。
- 每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)只存儲(chǔ)它感興趣的內(nèi)容,以及一些索引信息,有助于弄清楚誰在存儲(chǔ)什么。
- 查找文件時(shí),你通過文件的哈希值就可以在網(wǎng)絡(luò)查找到儲(chǔ)存改文件的節(jié)點(diǎn),找到想要的文件。
- 使用稱為IPNS(去中心化命名系統(tǒng)),每個(gè)文件都可以被協(xié)作命名為易讀的名字。通過搜索,就能很容易地找到想要查看的文件。
從IPFS的介紹可以看出, IPFS設(shè)想的是讓所有的網(wǎng)絡(luò)終端節(jié)點(diǎn)不僅僅只充當(dāng) Browser或Client的角色,其實(shí)人人都可以作為這個(gè)網(wǎng)絡(luò)的運(yùn)營者,人人都可以是服務(wù)器。
1.3 IPFS應(yīng)用場景
二、IPFS 配置
2.1 IPFS 下載
下載地址:https://dist.ipfs.io/#go-ipfs
2.2 IPFS 安裝
ipfs --help //打開命令行,輸入,出現(xiàn)Log信息時(shí),表示安裝成功
2.3 IPFS本地部署
2.3.1 創(chuàng)建節(jié)點(diǎn)
在本地全局目錄下新建倉庫:
2.3.2 節(jié)點(diǎn)配置
cd ~/.ipfs
export EDITOR=/usr/bin/vim
ipfs config edit
執(zhí)行完ipfs config edit后會(huì)打開一個(gè)ipfs節(jié)點(diǎn)配置文件,可以修改配置參數(shù),后面會(huì)演示此文件的修改細(xì)節(jié)。
2.3.3 節(jié)點(diǎn)ID
每個(gè)節(jié)點(diǎn)都會(huì)存在一個(gè)唯一標(biāo)識(shí),查看節(jié)點(diǎn)ID方式如下:
ipfs id
2.3.4 啟動(dòng)節(jié)點(diǎn)服務(wù)器
ipfs daemon
出現(xiàn)了5001端口被占用的情況,這邊可以通過對節(jié)點(diǎn)配置文件的修改來解決,如下所示:
找到所有配置5001端口的地方
替換成5002端口
再次啟動(dòng)節(jié)點(diǎn),服務(wù)成功啟動(dòng)如下所示:
2.3.5 配置CORS跨域資源共享
為了方便后續(xù)前端的開發(fā)和數(shù)據(jù)訪問,提前對跨域資源共享CORS進(jìn)行配置,ctrl-c 退出ipfs,然后按照下面的步驟進(jìn)行跨域配置:
ipfs config --json API.HTTPHeaders.Access-Control-Allow-Methods '["PUT", "GET", "POST", "OPTIONS"]' ipfs config --json API.HTTPHeaders.Access-Control-Allow-Origin '["*"]'2.3.6 驗(yàn)證
瀏覽器打開 http://localhost:5002/webui ,出現(xiàn)Web Console 圖形化控制臺(tái)
這里可以看到所有run在主網(wǎng)上的節(jié)點(diǎn)信息,和本地節(jié)點(diǎn)相關(guān)的配置數(shù)據(jù)。
三、IPFS 項(xiàng)目實(shí)踐
利用 IPFS 構(gòu)建一個(gè)去中心化、不可篡改的分布式Wiki系統(tǒng)
3.1 新建workplace
考慮到方便后期開源和推廣,這邊我是托管在github上,大家可以選擇自己熟悉的代碼托管服務(wù)
mkdir workplacecd workplacegit clone git@github.com:daijiale/ipfs-wiki-system.git3.2 wiki系統(tǒng)搭建
cd workplace/ipfs-wiki-system/wiki-releasell可以看到如下文件:
wiki-releaseindex.html //markdown模板渲染 navigation.md //導(dǎo)航markdown index.md //首頁markdown大家可以參考ipfs-wiki Demo,根據(jù)自己的需求,通過markdown自定義不同的wiki內(nèi)容和目錄。
3.3 掛載本地節(jié)點(diǎn)
記住文件根目錄的Hash值:QmV5ZVQxXURKPDcVDW8WjpLCiQYvNzg173XcB6rYFevoXm
3.4 發(fā)布到主網(wǎng)
ipfs daemonhttps://ipfs.io/ipfs/QmV5ZVQxXURKPDcVDW8WjpLCiQYvNzg173XcB6rYFevoXm/#!index.md3.5 發(fā)布到IPNS
由于ipfs的hash對應(yīng)著一個(gè)不可變的內(nèi)容,每次更新網(wǎng)站之后,website的hash都會(huì)變,舊的link不能訪問到新的內(nèi)容。
ipfs提供了ipns來解決更新的問題。ipfs允許用戶使用一個(gè)私有密鑰來對哈希附加一個(gè)引用,使用一個(gè)公共密鑰哈希(簡稱pubkeyhash)表示你的網(wǎng)站的最新版本。
具體操作是:
通過上述方式,就完成了website和一個(gè)固定的link的綁定:
QmPS5NRXPCeAUtofKbW7c58Qm4PpM8mPEVJvaooE13LF783.6 綁定驗(yàn)證
ipfs name resolve QmPS5NRXPCeAUtofKbW7c58Qm4PpM8mPEVJvaooE13LF78 /ipfs/QmV5ZVQxXURKPDcVDW8WjpLCiQYvNzg173XcB6rYFevoXmIPNS訪問固定節(jié)點(diǎn)Hash:
https://ipfs.io/ipns/QmPS5NRXPCeAUtofKbW7c58Qm4PpM8mPEVJvaooE13LF78
驗(yàn)證成功,出現(xiàn)如下效果:
3.7 去中心化驗(yàn)證
以之前發(fā)布到主網(wǎng)的節(jié)點(diǎn)為第一節(jié)點(diǎn),我們本地再新建一個(gè)節(jié)點(diǎn),用以模擬第二節(jié)點(diǎn)的身份,打開Web Console:
在第二節(jié)點(diǎn)上,我們依然可以通過IPFS HASH查詢到第一節(jié)點(diǎn)主網(wǎng)上的 ipfs-wiki-system目錄文件數(shù)據(jù)
同時(shí),我們也能看到:控制臺(tái)顯示記錄了我們發(fā)布至主網(wǎng)數(shù)據(jù)的區(qū)塊節(jié)點(diǎn)數(shù)已經(jīng)擴(kuò)散至275個(gè)。
也就是說,來自另外全球其他274地方的個(gè)體,在自己的”記賬本”中記下了你之前發(fā)布的數(shù)據(jù),哪怕其中個(gè)別服務(wù)器宕機(jī)(天災(zāi)人禍,挖斷電纜等等),只要有一個(gè)節(jié)點(diǎn)正常運(yùn)行,你的數(shù)據(jù)都不會(huì)丟失,真正意義實(shí)現(xiàn)了去中心化的服務(wù)機(jī)制。
四、項(xiàng)目體驗(yàn)
參考文獻(xiàn):http://ipfser.org/2017/12/19/a8/
總結(jié)
以上是生活随笔為你收集整理的【问链财经-EOS公开课】 第十九课 EOS存储之IPFS的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【问链财经-区块链基础知识系列】 第十八
- 下一篇: 【问链财经-区块链基础知识系列】 第十九