發(fā)布時(shí)間：2020-01-22所屬分類：科技論文瀏覽：1次
摘 要： 摘要:隨著比特幣、以太幣等一系列加密貨幣的興起,其底層的區(qū)塊鏈技術(shù)受到越來越廣泛的關(guān)注.區(qū)塊鏈有防篡改、去中心化的特性.以太坊利用區(qū)塊鏈技術(shù)來構(gòu)建新一代去中心化的應(yīng)用平臺.BigchainDB將區(qū)塊鏈技術(shù)與傳統(tǒng)的分布式數(shù)據(jù)庫相結(jié)合,利用基于聯(lián)盟投票的共識
摘要:隨著比特幣、以太幣等一系列加密貨幣的興起,其底層的區(qū)塊鏈技術(shù)受到越來越廣泛的關(guān)注.區(qū)塊鏈有防篡改、去中心化的特性.以太坊利用區(qū)塊鏈技術(shù)來構(gòu)建新一代去中心化的應(yīng)用平臺.BigchainDB將區(qū)塊鏈技術(shù)與傳統(tǒng)的分布式數(shù)據(jù)庫相結(jié)合,利用基于聯(lián)盟投票的共識機(jī)制改進(jìn)傳統(tǒng)Pow機(jī)制中的節(jié)點(diǎn)全復(fù)制問題,提高了系統(tǒng)的擴(kuò)展性與吞吐率.但是現(xiàn)有的區(qū)塊鏈系統(tǒng)存儲的信息大都是固定格式的交易信息,雖然在每個(gè)交易里有數(shù)據(jù)字段,但是現(xiàn)有的區(qū)塊鏈系統(tǒng)并不能經(jīng)由鏈上對交易內(nèi)的數(shù)據(jù)字段的具體細(xì)節(jié)進(jìn)行直接查詢.如果想要查詢數(shù)據(jù)字段的具體細(xì)節(jié),只能先根據(jù)交易的哈希值進(jìn)行查詢,得到該交易的完整信息,然后再檢索該交易內(nèi)的數(shù)據(jù)信息.數(shù)據(jù)可操作性低,不具備傳統(tǒng)數(shù)據(jù)庫的查詢功能.首先提出一種區(qū)塊鏈數(shù)據(jù)庫系統(tǒng)框架,將區(qū)塊鏈技術(shù)應(yīng)用于分布式數(shù)據(jù)管理;其次提出一種基于哈希指針的不可篡改索引,根據(jù)該索引快速檢索區(qū)塊內(nèi)數(shù)據(jù),以此實(shí)現(xiàn)區(qū)塊鏈的查詢;最后,通過實(shí)驗(yàn)測試數(shù)據(jù)庫的讀寫性能,實(shí)驗(yàn)結(jié)果表明,所提出的不可篡改索引在保證不可篡改的同時(shí)具有較好的讀寫性能.
關(guān)鍵詞:區(qū)塊鏈;數(shù)據(jù)庫;可查詢;哈希指針;不可篡改索引;可回溯
隨著比特幣、以太幣等一系列加密貨幣的興起,其底層的區(qū)塊鏈技術(shù)也受到了越來越廣泛的關(guān)注[1,2].比特幣最核心的意圖是為了實(shí)現(xiàn)去中心化,即:在沒有第三方信任機(jī)構(gòu)參與的情況下,實(shí)現(xiàn)兩個(gè)對等實(shí)體的數(shù)字貨幣交易.然而,現(xiàn)實(shí)世界中不可避免地存在很多自然中心,比如提供貸款的銀行、提供電信服務(wù)的電信運(yùn)營商等.雖然我們可以把這些中心機(jī)構(gòu)當(dāng)作對等實(shí)體,將其與用戶的交易記錄到區(qū)塊鏈上,比如用比特幣去交話費(fèi),但是這種做法是不切實(shí)際的,因?yàn)檫@不利于機(jī)構(gòu)管理用戶數(shù)據(jù)(包括用戶的信用等級等).實(shí)際上,現(xiàn)有的中心機(jī)構(gòu)都是由自己管理其存儲用戶相關(guān)信息的數(shù)據(jù)庫,但是這種模式存在很多缺陷:(1)不同的數(shù)據(jù)庫可能存儲著相同的用戶基本身份信息,導(dǎo)致數(shù)據(jù)冗余度高;(2)不同的中心機(jī)構(gòu)各自管理自己的數(shù)據(jù),不利于機(jī)構(gòu)之間的數(shù)據(jù)共享;(3)每個(gè)數(shù)據(jù)庫大都由單一機(jī)構(gòu)中心化管理,使得用戶必須無條件信任該機(jī)構(gòu),存在中心化問題;(4)用戶不能夠獨(dú)立驗(yàn)證數(shù)據(jù)的正確性,如果數(shù)據(jù)被惡意篡改,用戶與機(jī)構(gòu)都無法察覺.不僅如此,在供應(yīng)鏈以及商品溯源等領(lǐng)域,也對數(shù)據(jù)可信性以及數(shù)據(jù)可回溯提出了新的要求.
而區(qū)塊鏈技術(shù)具有去中心化、防篡改以及可回溯的特性,為解決上述這些問題提供了可能.為此,我們提出了區(qū)塊鏈數(shù)據(jù)庫的概念,核心思想是:通過限制中心機(jī)構(gòu)對數(shù)據(jù)記錄的操作,來達(dá)到防篡改和去中心化的目的.該數(shù)據(jù)庫中有多條區(qū)塊鏈,每一條區(qū)塊鏈相當(dāng)于傳統(tǒng)數(shù)據(jù)庫中的一張表,所有的中心機(jī)構(gòu)充當(dāng)數(shù)據(jù)的存儲節(jié)點(diǎn),所有的存儲節(jié)點(diǎn)根據(jù)共識算法生成區(qū)塊鏈,所有節(jié)點(diǎn)(包括用戶)存儲區(qū)塊頭信息,可以由區(qū)塊頭信息檢索到記錄并驗(yàn)證記錄的正確性.我們希望有高效的共識算法來提高系統(tǒng)的吞吐率,并有高效的查詢算法實(shí)現(xiàn)在區(qū)塊鏈上檢索數(shù)據(jù).當(dāng)前,在共識算法上已經(jīng)有很多研究,例如POW[3,4],POS[5,6],PBFT[7].然而針對區(qū)塊鏈查詢的研究相對較少,而且現(xiàn)有的區(qū)塊鏈系統(tǒng)并不能兼顧數(shù)據(jù)回溯與數(shù)據(jù)查詢.在比特幣中可以根據(jù)每一筆交易回溯前一筆交易,但是存在的問題是交易本身不易檢索.在以太坊中是狀態(tài)樹+交易樹,狀態(tài)樹存儲的是用戶賬號信息,狀態(tài)樹支持檢索,可以根據(jù)狀態(tài)樹查詢用戶當(dāng)前余額,但是狀態(tài)樹本身不記錄歷史信息,不能對狀態(tài)進(jìn)行數(shù)據(jù)回溯,而且狀態(tài)樹不直接關(guān)聯(lián)交易,同樣無法有效對交易進(jìn)行回溯.雖然已有一些研究利用同步技術(shù)將交易數(shù)據(jù)同步到傳統(tǒng)數(shù)據(jù)庫,根據(jù)各數(shù)據(jù)項(xiàng)建立索引,從而實(shí)現(xiàn)快速查詢,但是這種做法并不能保證索引的不可篡改,所以損失了區(qū)塊鏈不可篡改的特性.基于此,本文提出一種不可篡改的索引結(jié)構(gòu),兼顧數(shù)據(jù)查詢以及數(shù)據(jù)回溯.
本文首先提出了區(qū)塊鏈數(shù)據(jù)庫系統(tǒng)框架,將區(qū)塊鏈技術(shù)應(yīng)用于數(shù)據(jù)管理;其次,提出了一種基于哈希指針的不可篡改索引,根據(jù)該索引快速檢索區(qū)塊內(nèi)數(shù)據(jù),以此實(shí)現(xiàn)區(qū)塊鏈的查詢;最后,通過實(shí)驗(yàn)測試數(shù)據(jù)庫的讀寫性能,實(shí)驗(yàn)結(jié)果表明,本文提出的不可篡改索引在保證不可篡改的同時(shí)具有較好的讀寫性能.1相關(guān)工作文獻(xiàn)[3]中,中本聰將數(shù)字簽名技術(shù)、P2P技術(shù)、時(shí)間戳技術(shù)、Merkle樹技術(shù)和工作量證明機(jī)制巧妙地結(jié)合起來,解決了雙花與女巫攻擊問題,實(shí)現(xiàn)了擁有去中心化、防篡改和數(shù)據(jù)可回溯等特性的數(shù)字貨幣系統(tǒng)——比特幣系統(tǒng).文獻(xiàn)[8]中,Buterin等人對比特幣系統(tǒng)進(jìn)行擴(kuò)展,構(gòu)建了新一代智能合約和去中心化應(yīng)用平臺——以太坊.除了比特幣的功能之外,以太坊還有圖靈完備的合約語言,內(nèi)置的持久化狀態(tài)存儲,具有可編程性,使開發(fā)者可以很快地在以太坊平臺上創(chuàng)建自己的區(qū)塊鏈應(yīng)用.這兩個(gè)應(yīng)用都是自下而上設(shè)計(jì)區(qū)塊鏈,有內(nèi)置代幣,比特幣主要應(yīng)用于貨幣,而以太坊的主要功能則是智能合約.
文獻(xiàn)[9]中,超級賬本則采用自上而下的設(shè)計(jì)方式,去除了內(nèi)置代幣,提出了商用區(qū)塊鏈框架.它采用了松耦合的設(shè)計(jì),將共識機(jī)制、身份驗(yàn)證等組件模塊化,使之在應(yīng)用過程中可以方便地根據(jù)應(yīng)用場景來選擇相應(yīng)的模塊,除此之外還采用了容器技術(shù),將智能合約放在docker中運(yùn)行,從而使得智能合約可以用幾乎任意的高級語言來編寫.
比特幣、以太坊和超級賬本三大應(yīng)用平臺的主要功能是針對數(shù)字貨幣與智能合約,但是數(shù)據(jù)管理性能較弱,一些機(jī)構(gòu)發(fā)現(xiàn)了區(qū)塊鏈不可篡改、去中心化與數(shù)據(jù)可回溯特性,力圖將區(qū)塊鏈技術(shù)與傳統(tǒng)的數(shù)據(jù)庫技術(shù)相結(jié)合,提升數(shù)據(jù)管理的性能,同時(shí)兼顧區(qū)塊鏈去中心化、數(shù)據(jù)可回溯、防篡改的特性.
文獻(xiàn)[10]中,Dinh等人受區(qū)塊鏈鏈?zhǔn)浇Y(jié)構(gòu)以及Git版本控制的啟發(fā),為每個(gè)key創(chuàng)建設(shè)計(jì)了一個(gè)有向無環(huán)圖,圖中每一個(gè)節(jié)點(diǎn)對應(yīng)key的某一歷史版本,節(jié)點(diǎn)的前驅(qū)后繼分別對應(yīng)其版本的前驅(qū)后繼,在保證高擴(kuò)展性和高吞吐率的同時(shí),實(shí)現(xiàn)了數(shù)據(jù)可共享與不可篡改的特性.文獻(xiàn)[11]中,BigchainDB將區(qū)塊鏈技術(shù)與RethinkDB相結(jié)合,在企業(yè)級分布式數(shù)據(jù)庫的基礎(chǔ)上添加區(qū)塊鏈不可篡改和去中心化等特性,提出了一種基于管程的一致性策略,提高了數(shù)據(jù)的安全性,同時(shí)解決了區(qū)塊鏈的數(shù)據(jù)存儲容量問題.文獻(xiàn)[12]提供了基于區(qū)塊鏈的加密存儲網(wǎng)絡(luò),通過將原始數(shù)據(jù)加密并簽名后,保存到P2P文件系統(tǒng)中,用戶可以對數(shù)據(jù)的完整性進(jìn)行驗(yàn)證.文獻(xiàn)[13]中,Tuan等人提出了一種區(qū)塊鏈測試框架,包括針對區(qū)塊鏈應(yīng)用的一致性算法、數(shù)據(jù)模型、執(zhí)行引擎和鏈上應(yīng)用的測試方法,并且分析了以太坊、超級賬本、Parity以及UStore的讀寫以及查詢能力,對于區(qū)塊鏈的設(shè)計(jì)以及瓶頸發(fā)現(xiàn)和解決帶來了極大的幫助.文獻(xiàn)[14]中,Tsai等人總結(jié)了基于區(qū)塊鏈的應(yīng)用開發(fā)方法,給出了開發(fā)區(qū)塊鏈應(yīng)用時(shí)需要注意的關(guān)鍵問題,設(shè)計(jì)并實(shí)現(xiàn)了”北航鏈”.文獻(xiàn)[15]中,Li等人提出了一種高效的檢索區(qū)塊鏈的方法,包括范圍查詢和Top-k查詢,有較好的靈活性.但是其解決方法是通過把區(qū)塊鏈數(shù)據(jù)以及k-v數(shù)據(jù)庫里面的數(shù)據(jù)同步到MongoDB數(shù)據(jù)庫中,利用MongoDB進(jìn)行查詢操作,沒有從根本上解決區(qū)塊鏈的查詢問題.為了將區(qū)塊鏈技術(shù)應(yīng)用于數(shù)據(jù)存儲,ChainSQL[16]將數(shù)據(jù)庫操作日志存儲于區(qū)塊鏈中,將數(shù)據(jù)存儲于附屬關(guān)系型數(shù)據(jù)庫中,在底層支持SQLite3,MySQL,PostgreSQL等關(guān)系數(shù)據(jù)庫,可以根據(jù)區(qū)塊鏈里的日志記錄將數(shù)據(jù)庫表恢復(fù)到任意時(shí)刻點(diǎn),但是其恢復(fù)粒度是以表為單位,不利于以交易為單位的數(shù)據(jù)溯源.
2區(qū)塊鏈數(shù)據(jù)庫系統(tǒng)框架
通過結(jié)合區(qū)塊鏈和數(shù)據(jù)庫技術(shù),提出一種去中心化、防篡改同時(shí)支持查詢的區(qū)塊鏈數(shù)據(jù)庫框架.如圖1所示,分4層,具體如下.•存儲層:在最底部,為k-v數(shù)據(jù)庫,負(fù)責(zé)分布式存儲數(shù)據(jù),為每一個(gè)區(qū)塊鏈備份多個(gè)副本;
•網(wǎng)絡(luò)層:是該框架的核心,負(fù)責(zé)節(jié)點(diǎn)間的數(shù)據(jù)傳輸以及根據(jù)共識協(xié)議確定區(qū)塊的先后順序.其中,節(jié)點(diǎn)由存儲節(jié)點(diǎn)以及用戶組成,每一機(jī)構(gòu)為一個(gè)存儲節(jié)點(diǎn),用于存儲本機(jī)構(gòu)的數(shù)據(jù)信息,可以是一個(gè)數(shù)據(jù)庫,也可以是多個(gè)數(shù)據(jù)庫.當(dāng)添加或者修改用戶相關(guān)的數(shù)據(jù)時(shí),需要由用戶和機(jī)構(gòu)共同簽名認(rèn)可;簽名后的數(shù)據(jù)由機(jī)構(gòu)封裝到區(qū)塊中,當(dāng)區(qū)塊大小達(dá)到某一閾值時(shí),將其打包發(fā)送給其他機(jī)構(gòu)進(jìn)行驗(yàn)證.機(jī)構(gòu)間根據(jù)共識算法驗(yàn)證區(qū)塊的正確性,并決定區(qū)塊的先后順序.將驗(yàn)證正確的區(qū)塊發(fā)送給存儲節(jié)點(diǎn)存儲,將區(qū)塊頭廣播給所有節(jié)點(diǎn),包括用戶.在進(jìn)行查詢操作時(shí),用戶向存儲節(jié)點(diǎn)發(fā)送查詢請求,存儲節(jié)點(diǎn)會返回查詢到的記錄項(xiàng)以及查詢路徑,用戶根據(jù)查詢路徑以及區(qū)塊頭信息,可以驗(yàn)證查詢結(jié)果的正確性;
•區(qū)塊鏈層:顯示的是區(qū)塊鏈的“世界狀態(tài)”,上層應(yīng)用可以據(jù)此對區(qū)塊鏈數(shù)據(jù)進(jìn)行查詢操作;
•應(yīng)用層:是最上層,可以對查詢到的數(shù)據(jù)進(jìn)行進(jìn)一步的分析處理.針對這一框架,本文重新定義了數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)操作,并提出了MerkleRBTree索引,基于哈希指針構(gòu)建不可篡改的索引,在保證不可篡改的前提下實(shí)現(xiàn)高效查詢.系統(tǒng)中數(shù)據(jù)的操作定義如下.
•增加記錄:數(shù)據(jù)在初次添加時(shí),數(shù)據(jù)擁有者指定可以進(jìn)行數(shù)據(jù)寫操作的公鑰,生成權(quán)限鎖定腳本,然后用自己的私鑰對該數(shù)據(jù)進(jìn)行簽名;
•修改記錄:操作者用自己的私鑰對其父記錄進(jìn)行簽名,然后驗(yàn)證該簽名是否能夠解鎖父記錄的鎖定腳本,當(dāng)且只當(dāng)在解鎖鎖定腳本的情況下,才可以添加一條相同key值的記錄,以此實(shí)現(xiàn)對父記錄的修改.其中,權(quán)限鎖定腳本只有數(shù)據(jù)擁有者可以修改.需要說明的是,數(shù)據(jù)修改與數(shù)據(jù)防篡改并不沖突,本文中的防篡改指的是對應(yīng)版本的數(shù)據(jù)不可改且數(shù)據(jù)的更改歷史不可改,但是支持?jǐn)?shù)據(jù)從較老版本更新到新的版本;
•查找記錄:所有的參與者都可以進(jìn)行查找操作,查找操作返回最新值為有效值,但是可以通過溯源操作查看該記錄的完整修改歷史;•刪除記錄:數(shù)據(jù)一旦添加便不可刪除,當(dāng)數(shù)據(jù)已經(jīng)被修改多次,處于非常古老的版本時(shí),為了節(jié)約磁盤空間,可以刪除該數(shù)據(jù)的具體信息,但是該數(shù)據(jù)的哈希值則需要永久保存.
3區(qū)塊鏈?zhǔn)綌?shù)據(jù)模型
3.1已有的區(qū)塊鏈系統(tǒng)模型
(1)數(shù)據(jù)結(jié)構(gòu)
為了能夠較好地理解區(qū)塊鏈的結(jié)構(gòu),我們給出了哈希指針的定義.一個(gè)數(shù)據(jù)項(xiàng)的哈希指針是指將該數(shù)據(jù)項(xiàng)的內(nèi)容做哈希操作后得到固定長度的哈希值,同時(shí)以該哈希值為key,該數(shù)據(jù)項(xiàng)的內(nèi)容為value,將此k-v對存儲于k-v數(shù)據(jù)庫,則該key即為該數(shù)據(jù)項(xiàng)的哈希指針.
區(qū)塊鏈就是一個(gè)個(gè)的區(qū)塊根據(jù)哈希指針首尾相連,每一個(gè)區(qū)塊一旦形成便不可改變.如圖2所示,區(qū)塊分為區(qū)塊頭和區(qū)塊體兩部分:區(qū)塊頭包括版本號、前一區(qū)塊哈希指針(由前一區(qū)塊頭數(shù)據(jù)哈希得到)、區(qū)塊形成時(shí)的時(shí)間戳、區(qū)塊體中交易自下而上哈希得到的Merkle根以及用于工作量證明的隨機(jī)數(shù)和目標(biāo)哈希;區(qū)塊體中保存著區(qū)塊中的所有交易記錄.
如圖3所示,交易(transaction)包含版本號(nVersion)、交易輸入(TxIn)、交易輸出(Txout)以及交易時(shí)間(nLockTime).其中:交易輸入包含其要花費(fèi)的交易輸出(preout)以及鎖定腳本(ScriptSig),并且當(dāng)且僅當(dāng)SicriptSig是上一個(gè)輸出中ScriptPubk對應(yīng)的私鑰簽名時(shí)才被認(rèn)為是有效的;交易輸出指定該筆交易的輸出金額(nValue),以及收款人的公鑰(ScripPubk).數(shù)字簽名技術(shù)[17]保證每筆交易被支付到一個(gè)公鑰里,然后只有擁有私鑰的人才能花費(fèi)掉這筆交易.
(2)數(shù)據(jù)讀寫流程
對于數(shù)據(jù)的存儲管理,在寫入數(shù)據(jù)時(shí),每個(gè)區(qū)塊的數(shù)據(jù)操作流程如下.
1)收集交易.將未寫入到區(qū)塊內(nèi)的交易數(shù)據(jù)進(jìn)行正確性檢查(包括格式檢查以及雙花檢查),并將有效的交易數(shù)據(jù)收集在集合(MapTransaction)中,其中,MapTransaction只存放在內(nèi)存中,其內(nèi)存放了從交易哈希到交易的map映射;
2)創(chuàng)建區(qū)塊.將MapTransaction中的數(shù)據(jù)添加到區(qū)塊體中;之后運(yùn)行PoW機(jī)制,搜索合適的隨機(jī)數(shù)值,使得區(qū)塊頭的哈希值小于目標(biāo)哈希,從而證明該區(qū)塊有效,即挖礦成功并獲得獎(jiǎng)勵(lì);
3)存儲區(qū)塊.在網(wǎng)絡(luò)上將該區(qū)塊廣播,在本地將該區(qū)塊順序存儲在本地磁盤文件(blk000x.bat)中;
4)更新區(qū)塊索引(CblockIndex).在k-v數(shù)據(jù)庫中更新CblockIndex,CblockIndex記錄著區(qū)塊的磁盤存儲位置以及該區(qū)塊的前驅(qū)和后繼區(qū)塊,根據(jù)區(qū)塊索引,能夠得到區(qū)塊鏈的世界狀態(tài);
5)更新交易索引(TxIndex).TxIndex存儲在k-v數(shù)據(jù)庫中,包含每一筆交易的磁盤存儲位置以及交易的后繼交易(以該交易作為輸入的交易).后繼交易初始為空,標(biāo)識該交易是未花費(fèi)的,當(dāng)該交易被花費(fèi)后更新其后繼交易,也是根據(jù)該標(biāo)識位判斷交易是否被雙花;
6)將寫入到磁盤的交易數(shù)據(jù)從MapTransaction中移除.
在讀取數(shù)據(jù)的時(shí)候,必須要提供要讀取數(shù)據(jù)的hash值,根據(jù)hash值,先在內(nèi)存中的MapTransaction中查找;如果沒有查找到,則根據(jù)hash值到k-v數(shù)據(jù)庫中查找對應(yīng)索引信息TxIndex;最后,根據(jù)TxIndex在磁盤文件blk000x.bat中讀取到數(shù)據(jù).
(3)已有模型存在的不足
已有的模型利用數(shù)字簽名技術(shù)以及MerkleRoot來保證數(shù)據(jù)不可篡改和數(shù)據(jù)安全,但是其交易數(shù)據(jù)結(jié)構(gòu)固定,只能處理固定結(jié)構(gòu)的交易數(shù)據(jù),不能處理一般數(shù)據(jù),不適合傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)處理,缺少一般性;在進(jìn)行數(shù)據(jù)讀寫操作時(shí),只能夠根據(jù)數(shù)據(jù)的hash值進(jìn)行處理,在不知道數(shù)據(jù)hash值的情況下,無法進(jìn)行數(shù)據(jù)查詢操作.
相關(guān)期刊推薦：《軟件學(xué)報(bào)》創(chuàng)刊于1990年，由中國科學(xué)院軟件研究所和中國計(jì)算機(jī)學(xué)會聯(lián)合主辦。是一本刊登計(jì)算機(jī)軟件各領(lǐng)域原創(chuàng)性研究成果的期刊，所刊登的論文均經(jīng)過嚴(yán)格的同行專家評議。刊登反映計(jì)算機(jī)科學(xué)和計(jì)算機(jī)軟件新理論、新方法和新技術(shù)以及學(xué)科發(fā)展趨勢的文章，主要涉及理論計(jì)算機(jī)科學(xué)、算法設(shè)計(jì)與分析、系統(tǒng)軟件與軟件工程、模式識別與人工智能、數(shù)據(jù)庫技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)、信息安全、計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)輔助設(shè)計(jì)、多媒體技術(shù)及其他相關(guān)的內(nèi)容。
