分布式數據庫在應急測繪專題分析中的應用研究

發(fā)布時間：2020-05-08所屬分類：建筑師職稱論文瀏覽：1次

摘 要： 摘要:突發(fā)事件發(fā)生后，如何及時高效地掌握周邊地理情況，支持各級應急部門搶險救災工作，是應急測繪的重點工作之一�；�于分布式數據庫建設的應急測繪專題分析系統(tǒng)能夠對應急現(xiàn)場周邊地物及人口、法人等專題數據進行快速查詢及統(tǒng)計，實現(xiàn)不同尺度、不同用戶需

　　摘要:突發(fā)事件發(fā)生后，如何及時高效地掌握周邊地理情況，支持各級應急部門搶險救災工作，是應急測繪的重點工作之一。基于分布式數據庫建設的應急測繪專題分析系統(tǒng)能夠對應急現(xiàn)場周邊地物及人口、法人等專題數據進行快速查詢及統(tǒng)計，實現(xiàn)不同尺度、不同用戶需求的測繪應急專題數據資源服務，支撐災情分析與應急處置。試驗證明，與傳統(tǒng)Oracle數據庫相比，采用分布式數據庫開展應急專題分析，效率可提升10倍左右。

　　關鍵詞:分布式數據庫;應急測繪;專題分析

　　0引言

　　近年來，國內外學者競相開展大數據技術研究，大多采用Hadoop技術解決訂單、交易等傳統(tǒng)結構化數據分析問題，同樣，采用Hadoop技術解決地理空間大數據存儲、分析問題的也不在少數

　　河南大學李運興、馬駿，基于Hadoop提出了HadoopSpatial分布式空間數據庫的建設思路，其思路主要是對Hive進行擴展，使Hadoop支持空間數據的分布式存儲、管理與訪問。并且，通過對比試驗表明，HadoopSpatial性能不遜于傳統(tǒng)空間數據庫，更適合大規(guī)模密集型空間運算。

　　中國林業(yè)科學研究院資源信息研究所吳琰、唐小明提出了基于HBase的分布式空間數據庫技術，并采用基于GeoHash的方式構建分布式空間索引，實現(xiàn)了矢量與柵格空間數據的分布式存儲與快速查詢。

　　Esri公司及超圖公司在新一代GIS軟件產品中，均提出以分布式數據庫HBase方式存儲矢量空間，并采用Spark內存計算框架實現(xiàn)大規(guī)�？臻g分析。雖然實現(xiàn)了矢量空間數據的分布式存儲與分析，但采用HBase+Spark的方式存在以下問題:

　　1)數據存儲形式區(qū)別于傳統(tǒng)的關系型數據庫，不利于成果數據的版本管理與瀏覽，入庫成本高。

　　2)采用該方式存儲的空間數據不能與傳統(tǒng)制圖、應急或其他應用系統(tǒng)快速集成，遷移開發(fā)工作量大。

　　3)產品價格昂貴，且體系過于龐大，不利于大規(guī)模推廣應用。

　　1分布式數據庫技術

　　1.1分布式數據庫

　　應急測繪專題分布式數據庫采用BiGeo大數據平臺作為空間數據引擎，建立分布式空間數據庫。數據庫的存儲模式如圖1所示。

　　區(qū)別于傳統(tǒng)單節(jié)點數據庫，BiGeo分布式數據庫主要由管理節(jié)點(Master)、存儲運算節(jié)點(Segment)、網絡總線(Interconnect)三大部分組成。BiGeo管理節(jié)點是BiGeo分布式數據庫的入口，僅接收客戶端連接及提交的SQL語句，而后將SQL運算分發(fā)給存儲運算節(jié)點(Segment實例)，由存儲運算節(jié)點真正存儲和處理數據，并匯交到管理節(jié)點。BiGeo網絡總線負責管理節(jié)點與存儲運算節(jié)點及存儲運算節(jié)點之間的網絡通信。BiGeo存儲運算節(jié)點是獨立的數據庫實例，每個存儲運算節(jié)點存儲與計算一部分數據。

　　1.2分布式應急測繪專題數據庫

　　針對應急測繪工作需求，應急測繪專題數據來源于天地圖、地理國情、地理信息共享交換庫等項目，數據內容見表1。

　　根據應急專題數據及服務器實際情況，并為保證數據的高可用性，每個存儲運算節(jié)點創(chuàng)建相應的鏡像備份節(jié)點。實際部署情況如圖2所示。

　　如圖2所示，本次研究采用兩臺Dellx86服務器作為存儲運算節(jié)點服務器，部署分布式數據庫主節(jié)點及鏡像節(jié)點，兩臺服務器數據庫節(jié)點互為備份，每個數據庫節(jié)點存儲部分空間數據，根據服務器CPU及內存配置，每臺服務器按照16個存儲運算節(jié)點部署，共部署32個存儲運算節(jié)點。

　　由于硬件環(huán)境限制，從其中一臺Dellx86服務器中虛擬出一個Linux服務器作為數據庫管理節(jié)點運行環(huán)境。在實際生產環(huán)境中，可根據硬件環(huán)境情況，作為獨立服務器部署。

　　按照分布式數據庫建設思路，應急測繪專題數據是分布在不同的存儲運算節(jié)點之上。如圖3所示，本次研究采用Hash分布方式，根據數據主鍵(oid)創(chuàng)建Hash值均勻分布存儲數據。

　　2基于分布式數據庫的應急測繪專題分析系統(tǒng)

　　2.1系統(tǒng)設計

　　應急測繪專題分析系統(tǒng)采用BiGeo大數據平臺作為應急測繪專題數據存儲及分析基礎框架，未采用其他任何第三方商業(yè)GIS地理信息軟件，實現(xiàn)應急測繪專題數據快速存儲、分析、提取等功能。

　　系統(tǒng)采用C/S開發(fā)架構，數據庫與系統(tǒng)分離部署運行，總體架構如圖4所示。BiGeo空間信息大數據平臺提供空間數據分布式存儲、分析二次開發(fā)接口，本系統(tǒng)采用.NETC#API開發(fā)應急專題分析系統(tǒng)業(yè)務功能。選用開源地圖桌面框架SharpMap作為應急測繪專題分析系統(tǒng)研發(fā)框架。應急測繪專題分析系統(tǒng)功能架構如圖5所示。

　　2.2應急測繪專題分析

　　專題分析是系統(tǒng)的核心功能，設置災害名稱、災害范圍，選擇分析對象后即可開始專題分析，快速統(tǒng)計災害范圍內空間要素的數量、長度、面積等指標，為應急測繪處置工作提供數據支撐。

　　針對專題分析結果，可再次根據查詢對象字段進行統(tǒng)計，并可基于字段分組，如針對建筑物數據，可根據行政區(qū)統(tǒng)計建筑物面積，從而提供更加專業(yè)、深層次的分析。

　　推薦閱讀：中級測繪工程師評職稱發(fā)表幾篇論文

　　3結論

　　相比傳統(tǒng)基于ArcGISSDE+Oracle空間數據庫建庫方式，采用分布式數據的方式進行應急測繪專題分析的效率明顯提升。以4000萬條地理國情地表覆蓋數據(物理大小:20GB)測試裁剪操作(空間相交分析)為例，Oracle一體機測試結果見表2，本文分布式數據庫方式見表3。

　　從以上兩表測試結果可以看出，本文采用的分布式數據庫方式進行空間分析比Oracle一體機方式快10倍左右，并且隨著分布式節(jié)點的增加，分析效率明顯增加。

　　4結束語

　　本文采用分布式數據庫的方式進行應急測繪專題分析，在分析效率上明顯提升，可快速掌握突發(fā)事件后應急現(xiàn)場周邊道路、房屋、河流等地表特征，快速分發(fā)地理空間要素，對應急測繪保障工作具有重大意義�；�于本文研究，采用分布式數據建設地理空間數據的方式可推廣應用于時空大數據庫、地理國情統(tǒng)計分析、自然資源地理空間數據庫等項目。