國土資源大數(shù)據(jù)云存儲關(guān)鍵技術(shù)研究與實現(xiàn)

發(fā)布時間：2019-12-16所屬分類：科技論文瀏覽：1324次

摘 要： 摘 要 本文對國土資源數(shù)據(jù)結(jié)構(gòu)、云存儲、海量空間數(shù)據(jù)管理等方面進(jìn)行理論研究和關(guān)鍵技術(shù)分析，探索適合國土云環(huán)境下國土資源大數(shù)據(jù)存儲管理的結(jié)構(gòu)模型、組織規(guī)范、存儲環(huán)境和安全體系，借助云計算、大數(shù)據(jù)的新技術(shù)、新理念為國土資源一張圖云存儲提供技術(shù)參

　　摘 要 本文對國土資源數(shù)據(jù)結(jié)構(gòu)、云存儲、海量空間數(shù)據(jù)管理等方面進(jìn)行理論研究和關(guān)鍵技術(shù)分析，探索適合國土云環(huán)境下國土資源大數(shù)據(jù)存儲管理的結(jié)構(gòu)模型、組織規(guī)范、存儲環(huán)境和安全體系，借助云計算、大數(shù)據(jù)的新技術(shù)、新理念為國土資源一張圖云存儲提供技術(shù)參考和實現(xiàn)推廣。

　　關(guān)鍵詞 國土資源;大數(shù)據(jù);云存儲;地理信息

　　1 緒論

　　隨著高精度、高頻度、大范圍的超海量地理空間數(shù)據(jù)呈爆炸式增長 , 如何有效的組織和管理這些海量異構(gòu)的國土資源大數(shù)據(jù)，以便讓國土資源各業(yè)務(wù)部門能夠快捷高效的利用其數(shù)據(jù)信息，是目前急待解決的難題。與此同時，云計算和大數(shù)據(jù)技術(shù)的興起，給新一代空間信息基礎(chǔ)設(shè)施體系架構(gòu)的發(fā)展帶來了希望，其分布式存儲及并行計算的特征非常適合應(yīng)對海量數(shù)據(jù)存儲以及大規(guī)模數(shù)據(jù)處理等問題，這就為國土資源海量空間數(shù)據(jù)的存儲與處理提供了解決方案 [1]。本文利用國土云環(huán)境，面向國土資源一張圖海量空間數(shù)據(jù)云存儲技術(shù)展開研究，以提升國土資源數(shù)據(jù)存儲的高效性、可靠性和擴(kuò)展性，為解決超大規(guī)模海量國土資源數(shù)據(jù)存儲的難題，保障國土資源數(shù)據(jù)的及時更新、實現(xiàn)真正意義上的“一數(shù)一源”，為國土資源數(shù)據(jù)高效存儲與共享交換提供了思路。

　　2 總體架構(gòu)分析

　　通過 GIS 數(shù)據(jù)中心集成開發(fā)、網(wǎng)絡(luò)通信以及信息化技術(shù)，以國土資源的各類專題數(shù)據(jù)為基礎(chǔ)，以數(shù)據(jù)庫管理和數(shù)據(jù)提供利用為目標(biāo)的信息化標(biāo)準(zhǔn)規(guī)范體系和各級互通、共建共享的綜合數(shù)據(jù)管理利用服務(wù)體系，建設(shè)國土資源云存儲管理系統(tǒng)。基于 SOA 架構(gòu)的數(shù)據(jù)中心集成開發(fā)平臺，實現(xiàn)專題業(yè)務(wù)模塊的服務(wù)化、組件化、定制化管理;開發(fā)整合海量土地、礦產(chǎn)、地質(zhì)災(zāi)害專題數(shù)據(jù)和數(shù)據(jù)應(yīng)用，實現(xiàn)多年度、多專題、多比例尺、全區(qū)域的空間數(shù)據(jù)庫分布式運行和綜合管理;進(jìn)一步利用國家、省、市、縣四級的數(shù)據(jù)交換體系，實現(xiàn)系統(tǒng)內(nèi)的信息共享和效能監(jiān)督。其總體架構(gòu)圖如圖 1 所示。

　　3 基礎(chǔ)設(shè)施體系研究

　　對于硬件設(shè)計方面采取分層設(shè)計的思想，分析硬件系統(tǒng)的組成部分，通過對系統(tǒng)分解，找到最合理的服務(wù)環(huán)境，發(fā)揮出硬件設(shè)備最優(yōu)異的性能，并提供安全服務(wù) [2]。國土云通過應(yīng)用云計算虛擬化技術(shù)，減少信息化設(shè)備的冗余數(shù)量，節(jié)省大量的空間，便于硬件資源的有效利用，根據(jù)用戶的實際需要對其進(jìn)行合理分配。國土云環(huán)境包括了數(shù)據(jù)存儲區(qū)域、計算服務(wù)區(qū)域、局域網(wǎng)區(qū)域以及核心網(wǎng)絡(luò)區(qū)域四大模塊。如圖 2 所示：

　　4 數(shù)據(jù)存儲與組織模型研究

　　通過把結(jié)構(gòu)化與非結(jié)構(gòu)化的信息數(shù)據(jù)統(tǒng)一格式、統(tǒng)一基準(zhǔn)并空間化，導(dǎo)入到分布式文件系統(tǒng) HDFS 中，導(dǎo)入完成后分布式文件系統(tǒng)自動觸發(fā)檔案內(nèi)容提取流程，將辦公文檔、pdf、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)中的內(nèi)容提取出來，按照特定的約束方式存到 HBase 構(gòu)建的內(nèi)容庫中，同時將結(jié)構(gòu)化數(shù)據(jù)發(fā)布到 GIS 服務(wù)集群中，供數(shù)據(jù)管理層提取和訪問 [3]。

　　4.1 數(shù)據(jù)組織模型

　　大數(shù)據(jù)中心數(shù)據(jù)庫至下而上進(jìn)行劃分為物理層、邏輯層以及邏輯字庫層。邏輯字庫包含了基礎(chǔ)類、參考系、專業(yè)類以及管理類等數(shù)據(jù);邏輯層主要用來描述國土資源數(shù)據(jù)的專題圖件，細(xì)分包括防災(zāi)管理數(shù)據(jù)、地政管理數(shù)據(jù)以及礦政管理數(shù)據(jù);物理層主要用來描述另外兩層的關(guān)鍵要素，數(shù)據(jù)邏輯設(shè)計如圖 3 所示：

　　大數(shù)據(jù)中心核心庫數(shù)據(jù)需要把多種符合要求的數(shù)據(jù)按照順序入庫，由各類不同專題的業(yè)務(wù)數(shù)據(jù)組織構(gòu)建。在現(xiàn)行的市縣級國土資源數(shù)據(jù)管理體系中，分為市州級和區(qū)(縣)級進(jìn)行不同級別的管理，中心數(shù)據(jù)庫把縣級數(shù)據(jù)集當(dāng)做最小的管理單元，結(jié)合業(yè)務(wù)實際需求，選擇合適的粒度有機(jī)統(tǒng)一的進(jìn)行管理。如圖 4 所示：

　　大數(shù)據(jù)中心核心數(shù)據(jù)庫采用逐層管理的方式，對于不同類型的數(shù)據(jù)使用的描述格式也有所不同，與之對應(yīng)的數(shù)據(jù)元信息也有多種格式，因此在數(shù)據(jù)元數(shù)據(jù)進(jìn)行入庫管理之前，首先應(yīng)該建立一套完整的數(shù)據(jù)標(biāo)準(zhǔn)，以此確保所有數(shù)據(jù)可以正確入庫。

　　在核心數(shù)據(jù)庫中，每個元數(shù)據(jù)都對應(yīng)了一個數(shù)據(jù)模式，剛開始創(chuàng)建數(shù)據(jù)集的時候，應(yīng)該先把相同的文件模式進(jìn)行解析，并把獲得的數(shù)據(jù)加入到數(shù)據(jù)元庫中。在入庫的過程中還應(yīng)該提供詳細(xì)的日志信息，對數(shù)據(jù)的類型、圖 1 總體架構(gòu)圖 格式以及時間等內(nèi)容進(jìn)行統(tǒng)計，達(dá)到大幅度提高數(shù)據(jù)錄入的效率和準(zhǔn)確性 [4]。

　　4.2 數(shù)據(jù)存儲模型

　　空間大數(shù)據(jù)可考慮采用 GIS 平臺進(jìn)行管理，非空間大數(shù)據(jù)組織按照一定的方式和規(guī)則對多源大數(shù)據(jù)進(jìn)行歸并、存儲、處理的過程。根據(jù)非空間大數(shù)據(jù)種類較多等特性，大數(shù)據(jù)中心提供多種存儲方式來支撐非空間大數(shù)據(jù)的存儲組織。

　　非空間大數(shù)據(jù)的存儲主要采用 Hadoop 分布式文件系統(tǒng)，存儲策略主要包括三部分內(nèi)容：首先根據(jù)數(shù)據(jù)特點進(jìn)行屬性分類，將同屬同一類的小文件聚合成為一個大的文件，便于提高小文件的讀寫速度;然后在合并小文件的過程中，需要建立相對應(yīng)的檢索系統(tǒng)，以此快速訪問小文件 [5];最后建立合理的緩存的體系，對文件存放的數(shù)據(jù)塊進(jìn)行緩存，從而提高訪問小文件的效率，大大縮短了訪問的時間。

　　如圖 5 所示，通過構(gòu)建索引文件和數(shù)據(jù)文件兩個文件，對同一檔案下的小文件進(jìn)行合并存儲，索引文件中存儲小文件的相對路徑、名稱、大小、修改時間、數(shù)據(jù)區(qū)偏移量等基本信息，數(shù)據(jù)區(qū)存儲了每個小文件的二進(jìn)制數(shù)據(jù)流。針對系統(tǒng)經(jīng)常訪問文件元數(shù)據(jù)的需求，系統(tǒng)提供緩存模塊將對索引文件緩存到內(nèi)存中，實現(xiàn)高效訪問，當(dāng)系統(tǒng)需要讀取文件內(nèi)容時，先從檢索信息中獲取數(shù)據(jù)區(qū)偏移情況，根據(jù)偏移量從數(shù)據(jù)區(qū)中獲取文件二進(jìn)制內(nèi)容。

　　相關(guān)知識推薦：好投的國土資源土地管理類期刊有哪些

　　國土資源工作人員也是評職稱的重點人群，國土資源還包括了土地、礦產(chǎn)、勘查、地質(zhì)災(zāi)害、測繪等多方面的內(nèi)容，大家在評職稱時可以選擇其中一個方面進(jìn)行論文寫作，并選擇相應(yīng)的期刊，也有很多作者咨詢小編關(guān)于國土資源土地管理方向的刊物，小編查閱了相關(guān)數(shù)據(jù)庫，給大家分享了以下幾本好投的國土資源類刊物，認(rèn)可度比較高，需要評職的可以聯(lián)系本網(wǎng)站的編輯老師。

　　5 安全支撐體系研究

　　由于網(wǎng)絡(luò)、傳感設(shè)備的開放性，其即時在線的特征，會給信息安全帶來風(fēng)險。只有通過數(shù)據(jù)源頭即數(shù)據(jù)的存儲方面加強(qiáng)數(shù)據(jù)安全，才能保證國土資源信息化運行更加平穩(wěn)、安全、高效 [6]。

　　5.1 安全體系總體架構(gòu)

　　利用國土云平臺的優(yōu)勢為用戶提供多層次、立體化、基于不同安全技術(shù)實現(xiàn)的網(wǎng)絡(luò)安全縱深防御體系，其總體架構(gòu)如下圖 6 所示：

　　基于云計算安全架構(gòu)，結(jié)合省級國土資源政務(wù)信息系統(tǒng)架構(gòu)和特點，可按照以下原則規(guī)劃國土云的安全防護(hù)措施：

　　(一)內(nèi)外網(wǎng)安全隔離

　　將國土云分為兩個大的安全區(qū)域，一個是內(nèi)部服務(wù)區(qū)域，供內(nèi)部信息系統(tǒng)使用;一個是外部服務(wù)區(qū)域，供因特網(wǎng)信息系統(tǒng)使用。兩個區(qū)域之間通過多層次的隔離技術(shù)對云服務(wù)器、數(shù)據(jù)庫和存儲等計算和存儲資源進(jìn)行安全隔離，完全不能互訪。內(nèi)部信息系統(tǒng)不分配公網(wǎng) IP，因此無法從公網(wǎng)訪問內(nèi)部應(yīng)用。互聯(lián)網(wǎng)應(yīng)用分配公網(wǎng) IP，可以從公網(wǎng)發(fā)起訪問。

　　(二)區(qū)域內(nèi)安全隔離

　　服務(wù)區(qū)域內(nèi)的每一個信息系統(tǒng)作為一個單獨的安全域，安全域內(nèi)可以互相訪問，安全域之間默認(rèn)無法互訪;同一服務(wù)區(qū)域內(nèi)的不同應(yīng)用之間如果有互訪需要，則可以通過安全域防火墻授權(quán)訪問。

　　(三)互聯(lián)網(wǎng)應(yīng)用安全防護(hù)

　　由阿里云盾(包括防 DDoS、入侵防御、網(wǎng)站安全防護(hù)等功能模塊組成)保護(hù)互聯(lián)網(wǎng)入口。

　　(四)數(shù)據(jù)安全交換

　　國土云內(nèi)部服務(wù)區(qū)通過涉密專線接入省電子政務(wù)內(nèi)網(wǎng)，外部服務(wù)區(qū)通過專線或 VPN 連接到網(wǎng)閘等安全設(shè)備。國土云內(nèi)部服務(wù)區(qū)與省電子政務(wù)內(nèi)網(wǎng)的其他單位、機(jī)構(gòu)網(wǎng)絡(luò)間交互數(shù)據(jù)，通過密碼機(jī)進(jìn)行數(shù)據(jù)加解密傳輸進(jìn)行。

　　5.2 安全支撐體系框架設(shè)計

　　國土云平臺的安全支撐平臺能夠劃分為四個層面：基礎(chǔ)設(shè)施層、數(shù)據(jù)訪問層、信息交換層、應(yīng)用層。

　　基礎(chǔ)設(shè)施層包括了認(rèn)證基礎(chǔ)設(shè)施以及網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施。國土云是一種面向網(wǎng)絡(luò)的應(yīng)用體系架構(gòu)，所以國土云安全層中最根本、最底層的就是這兩個基礎(chǔ)設(shè)施。網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施能夠給內(nèi)部工作環(huán)境給予全面、多層的安全保護(hù)，其范圍包含：終端、網(wǎng)絡(luò)設(shè)施、外設(shè)等。認(rèn)證基礎(chǔ)設(shè)施可以提供環(huán)境中基本的認(rèn)證服務(wù)，能夠?qū)崿F(xiàn)身份認(rèn)證、數(shù)據(jù)傳輸、存儲的安全性和可靠性。

　　數(shù)據(jù)訪問層的作用涵蓋數(shù)據(jù)內(nèi)容的安全性、信息調(diào)用、傳送和獲取等的安全方面。為了強(qiáng)化數(shù)據(jù)訪問層的安全能力，需要借助安全基礎(chǔ)，通過安全基礎(chǔ)可以實現(xiàn)數(shù)據(jù)庫保存、調(diào)用各個平臺之間的數(shù)據(jù)信息 [7]。同時系統(tǒng)還應(yīng)該能夠按照等級不同制定不同的應(yīng)用權(quán)限，以實現(xiàn)對各類操作的記錄工作和開展回溯。

　　由于網(wǎng)絡(luò)的公開特征和網(wǎng)絡(luò)協(xié)議的風(fēng)險，黑客能夠通過在傳輸網(wǎng)絡(luò)中嵌入竊取工具，獲得網(wǎng)絡(luò)傳輸中的關(guān)鍵數(shù)據(jù)，并設(shè)法譯出其中信息，引發(fā)泄密或者數(shù)據(jù)遭到破壞等惡性事件;所以需要在信息交換層保障數(shù)據(jù)共享的安全，特別是保障數(shù)據(jù)傳輸過程中的防篡改、完整性和不可抵賴性，同時要防范數(shù)據(jù)在網(wǎng)絡(luò)傳輸時被竊取和失泄。

　　應(yīng)用層的重要作用在于確保操作用戶的審查、信任以及不可抵賴性。應(yīng)用層還應(yīng)該包括較好的雙向認(rèn)證體系，具備不可旁路性，以保證只有授權(quán)用戶才能登錄可信任的系統(tǒng)，開展權(quán)限范圍內(nèi)的應(yīng)用 [8];針對個人的操作開展完整的審計日志，以實現(xiàn)個人操作的不可否認(rèn)性;保障服務(wù)器端與客戶端的數(shù)據(jù)交互的安全，確保所有應(yīng)用模塊在操作過程中的完整性和可用性。

　　6 實現(xiàn)和展望

　　本文提出的理論與方法在湖南省國土資源一張圖信息發(fā)布系統(tǒng)建設(shè)中得到了部分應(yīng)用，也奠定了其進(jìn)一步開展研究實現(xiàn)的基礎(chǔ)。湖南省國土資源一張圖信息發(fā)布系統(tǒng)是本省“金土工程二期”的重要任務(wù)，該系統(tǒng)經(jīng)過多年的建設(shè)和推廣，目前已覆蓋至 12個市州、65 個縣的國土資源管理部門。其部分功能展示如圖 7。

　　國土資源信息是重要的基礎(chǔ)國情信息，在國家實施網(wǎng)絡(luò)強(qiáng)國戰(zhàn)略中發(fā)揮著不可替代的重要作用。國土資源海量數(shù)據(jù)存儲管理又是國土資源信息化的關(guān)鍵，其研究有著非常重要的理論意義和應(yīng)用價值。云存儲是下一代的存儲模式，云存儲與國土資源海量數(shù)據(jù)結(jié)合的國土云研究和應(yīng)用是國土資源事業(yè)改革發(fā)展的必然要求，國土云正處于建設(shè)應(yīng)用階段，尚有許多理論、技術(shù)有待進(jìn)一步深入研究。

声明:①文献来自知网、维普、万方等检索数据库，说明本文献已经发表见刊，恭喜作者.②如果您是作者且不想本平台展示文献信息,可联系学术顾问予以删除.