財(cái)鏈社｜從“分布式”角度看IPFS對(duì)區(qū)塊鏈的重要性

作者丨李畫

編輯｜熊吉

區(qū)塊鏈?zhǔn)且粋€(gè)分布式系統(tǒng)，但包括以太坊、EOS在內(nèi)的諸多公鏈本身實(shí)現(xiàn)的都只是數(shù)據(jù)的分布式計(jì)算，而沒有提供數(shù)據(jù)的分布式存儲(chǔ)，這導(dǎo)致分布式的區(qū)塊鏈系統(tǒng)無法真正徹底地做到分布式。

IPFS（Inter Planetary File System，星際文件系統(tǒng)）協(xié)議解決的正是這樣一個(gè)問題，它是分布式文件系統(tǒng)，可以實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)。同時(shí)它也是一個(gè)去中心化網(wǎng)絡(luò)的基礎(chǔ)設(shè)施，包括公鏈在內(nèi)的不同類型的應(yīng)用都可以構(gòu)建在它的基礎(chǔ)之上。

如果說公鏈?zhǔn)歉咚俟罚琁PFS則是高速公路路面之下的層層地基中重要的一層，它為不同的公鏈和應(yīng)用提供數(shù)據(jù)的分布式存儲(chǔ)這一支持。

IPFS并非全新發(fā)明，它是幾十年來分布式系統(tǒng)探索的產(chǎn)物，綜合了包括DHT（Distributed Hash Table），BitTorrent，Git和SFS（Self-Certified Filesystems）在內(nèi)的優(yōu)秀思想。IBFS對(duì)它們做出適合區(qū)塊鏈系統(tǒng)的改進(jìn)，并通過分層設(shè)計(jì)將它們組合成一個(gè)新的系統(tǒng)。

本文將去繁從簡(jiǎn)，以數(shù)據(jù)的存取過程為線索，通過對(duì)IPFS最關(guān)鍵的三個(gè)系統(tǒng)技術(shù)的分析，看它是如何滿足區(qū)塊鏈數(shù)據(jù)的分布式存儲(chǔ)需求的。

01 Merkle DAG

當(dāng)把文件存儲(chǔ)到IPFS系統(tǒng)中時(shí)，文件并不是以一個(gè)完整的個(gè)體被存儲(chǔ)，文件數(shù)據(jù)以平均分割法的方式被切分成若干個(gè)256KB大小的塊。這些塊在經(jīng)過哈希運(yùn)算后，也并不是存儲(chǔ)在單個(gè)中心化的服務(wù)器上，而是分開存儲(chǔ)在網(wǎng)絡(luò)中的各個(gè)分布式的節(jié)點(diǎn)之中，沒有節(jié)點(diǎn)擁有特權(quán)。

這一分布式存儲(chǔ)的難點(diǎn)不在于文件的切割或加密，而在于如何把這些被分割的和被分開存儲(chǔ)的數(shù)據(jù)重新組合成一個(gè)文件，這正是IPFS協(xié)議的第一個(gè)關(guān)鍵技術(shù)——Merkle DAG（Merkle Directed Acyclic Graph，默克爾有向無環(huán)圖）。

Merkle DAG從Git系統(tǒng)（林納斯·托瓦茲創(chuàng)作的分布式版本控制系統(tǒng)）改造而來，是在Merkle Tree（如下圖所示）的基礎(chǔ)上構(gòu)建，儲(chǔ)存的是哈希值。IPFS上大部分?jǐn)?shù)據(jù)對(duì)象都是以Merkle DAG的結(jié)構(gòu)存在。

當(dāng)從網(wǎng)絡(luò)中獲取文件時(shí)，先從可信的節(jié)點(diǎn)獲得文件的Merkle Tree樹根哈希值。一旦獲得了樹根，就可以從其他不可信的節(jié)點(diǎn)獲取Merkle Tree的各個(gè)節(jié)點(diǎn)的哈希值。通過可信的樹根來檢查接收到的Merkle Tree節(jié)點(diǎn)，如果Merkle Tree某節(jié)點(diǎn)是損壞的或者虛假的，就從其他存儲(chǔ)節(jié)點(diǎn)獲得另一個(gè)Merkle Tree節(jié)點(diǎn)，直到最終獲得一個(gè)與可信樹根匹配的Merkle Tree。

這樣一來，從上至下，直到獲得最底層的被切割成小塊的數(shù)據(jù)的哈希，最終形成一個(gè)完整的正確的文件。

由于Merkle DAG是基于哈希值的，而哈希值取決于數(shù)據(jù)塊的內(nèi)容，因此IPFS協(xié)議擁有內(nèi)容尋址的功能（HTTP是基于域名尋址），此外它還有防篡改和去重復(fù)的功能。防篡改是因?yàn)榭梢酝ㄟ^檢查哈希值來確認(rèn)數(shù)據(jù)是否被篡改；去重復(fù)是由于相同內(nèi)容的數(shù)據(jù)塊哈希是相同的，可以去掉重復(fù)的數(shù)據(jù)，節(jié)省存儲(chǔ)空間。

02 DHT

依靠Merkle DAG，可以構(gòu)建一個(gè)數(shù)據(jù)結(jié)構(gòu)用于實(shí)現(xiàn)分布式的數(shù)據(jù)存儲(chǔ)，但還缺最后一步，Merkle DAG存儲(chǔ)的哈希值如何定位到具體存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)，也就是說，應(yīng)該把數(shù)據(jù)分配到哪一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)去存儲(chǔ)，以及去從哪一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)獲得存儲(chǔ)數(shù)據(jù)。DHT（Distributed Hash Table，分布式哈希表）便是用來解決這一問題的方法。

哈希表是一種存儲(chǔ)“鍵值對(duì)（ Key/Value Pairs）”的容器，它能方便快速地通過key值來獲得 value值。在DHT中，key是被存儲(chǔ)數(shù)據(jù)的哈希值，通過K/V可以實(shí)現(xiàn)數(shù)據(jù)塊與目標(biāo)節(jié)點(diǎn)的映射關(guān)系。

哈希表被分割成不連續(xù)的塊，每個(gè)節(jié)點(diǎn)被分配一個(gè)屬于自己的哈希塊，也稱做區(qū)間表，并成為這個(gè)哈希塊的管理者，當(dāng)用戶存儲(chǔ)數(shù)據(jù)時(shí)，系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行哈希運(yùn)算，根據(jù)哈希運(yùn)算的結(jié)果決定此數(shù)據(jù)由哪個(gè)節(jié)點(diǎn)負(fù)責(zé)儲(chǔ)存，并生成哈希表。

當(dāng)用戶提取數(shù)據(jù)的時(shí)候，用同樣的算法計(jì)算數(shù)據(jù)的哈希，然后從哈希表獲得對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)位置（如下圖所示）。

DHT是分布式系統(tǒng)的關(guān)鍵技術(shù)，實(shí)現(xiàn)它的方法有很多種，IPFS采用的是基于S / Kademlia和Coral的算法。

03 BitSwap

僅僅實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)還遠(yuǎn)遠(yuǎn)不夠，數(shù)據(jù)還需要在節(jié)點(diǎn)之前有效的交換，從而使得整個(gè)系統(tǒng)能夠高效運(yùn)轉(zhuǎn)。IPFS協(xié)議 受BitTorrent 的啟發(fā)，通過對(duì)等節(jié)點(diǎn)間交換數(shù)據(jù)塊來分發(fā)數(shù)據(jù)。

BitTorrent 是一種點(diǎn)對(duì)點(diǎn)傳輸?shù)木W(wǎng)絡(luò)協(xié)議，它可以在存有不信任對(duì)等節(jié)點(diǎn)的網(wǎng)絡(luò)中分發(fā)數(shù)據(jù)，對(duì)于一個(gè)文件，下載的用戶數(shù)越多，下載的速度就越快，部分的網(wǎng)絡(luò)擁堵或服務(wù)器宕機(jī)也不會(huì)對(duì)整個(gè)系統(tǒng)造成大的影響。不過BitTorrent有一個(gè)致命的缺點(diǎn)，就是節(jié)點(diǎn)往往更多的是索取而不是貢獻(xiàn)。

如何激勵(lì)節(jié)點(diǎn)分享數(shù)據(jù)？IPFS在BitTorrent的基礎(chǔ)上進(jìn)行了創(chuàng)新，增加了包括信用、策略、帳單在內(nèi)的體系，這一體系之上的新的數(shù)據(jù)交換協(xié)議被稱做BitSwap。

在BitSwap協(xié)議下，發(fā)送數(shù)據(jù)給其他節(jié)點(diǎn)可以增加節(jié)點(diǎn)信用值，而從其他節(jié)點(diǎn)接受數(shù)據(jù)則會(huì)降低節(jié)點(diǎn)信用值。

也就是說，如果一個(gè)節(jié)點(diǎn)持續(xù)分享數(shù)據(jù)，其他節(jié)點(diǎn)給它發(fā)送數(shù)據(jù)的概率就會(huì)越來越大；而如果一個(gè)節(jié)點(diǎn)只接收數(shù)據(jù)而不分享數(shù)據(jù)，其他節(jié)點(diǎn)給它發(fā)送數(shù)據(jù)的概率就會(huì)越來越低，直到低到被其他節(jié)點(diǎn)忽略（如下圖所示）。

此外，BitSwap獲取數(shù)據(jù)塊的時(shí)候不限于從同一組對(duì)等節(jié)點(diǎn)中，在該協(xié)議里存在一個(gè)對(duì)等節(jié)點(diǎn)形成的大集群，它包括所有的數(shù)據(jù)塊，這使得BitSwap的效率相比于BitTorrent更高。

04 結(jié)語

Juan Benet在2014年5月成立了Protocol Labs協(xié)議實(shí)驗(yàn)室，并在2015年1月發(fā)布了IPFS。IPFS在本質(zhì)上是一個(gè)內(nèi)容尋址的分布式存儲(chǔ)和傳輸協(xié)議。

IPFS被寄予厚望，它是目前階段最好的分布式存儲(chǔ)解決方案之一，人們甚至認(rèn)為它可能取代超文本傳輸協(xié)議（HTTP，HyperText Transfer Protocol）。但另一方面，它在目前階段還不夠成熟，仍面臨著包括安全性、可用性在內(nèi)的諸多問題。

最后，簡(jiǎn)單介紹一下Filecoin和Filenet。

Filecoin和Filenet都是運(yùn)行在IPFS上的激勵(lì)層，通過Token激勵(lì)讓節(jié)點(diǎn)有動(dòng)力為網(wǎng)絡(luò)提供存儲(chǔ)空間，從而在IPFS協(xié)議的基礎(chǔ)上構(gòu)建一個(gè)分布式的存儲(chǔ)網(wǎng)絡(luò)。但Filecoin和Filenet彼此獨(dú)立，是兩個(gè)不同的項(xiàng)目，采用的也是不同的Token分發(fā)模式。從某種角度而言，任何組織都可以在IPFS上搭建自己的激勵(lì)層。

【本文為投資家網(wǎng)原創(chuàng)文章，轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系投資家網(wǎng)，違規(guī)轉(zhuǎn)載，法律必究。】