發(fā)布時(shí)間：2022-04-09所屬分類：計(jì)算機(jī)職稱論文瀏覽：1次
摘 要： 摘要: 為了提高電網(wǎng)數(shù)據(jù)處理的安全性和效率，提出基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法。依據(jù)智能電網(wǎng)時(shí)序大數(shù)據(jù)簡(jiǎn)析，結(jié)合 Map、Reduce 及 Partition 三個(gè)函數(shù)具備的過(guò)濾器和工廠法以及監(jiān)聽(tīng)器等一系列模式，實(shí)現(xiàn)數(shù)據(jù)清洗處理。依據(jù)分布式計(jì)算思想，結(jié)合近鄰分類
摘要: 為了提高電網(wǎng)數(shù)據(jù)處理的安全性和效率，提出基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法。依據(jù)智能電網(wǎng)時(shí)序大數(shù)據(jù)簡(jiǎn)析，結(jié)合 Map、Reduce 及 Partition 三個(gè)函數(shù)具備的過(guò)濾器和工廠法以及監(jiān)聽(tīng)器等一系列模式，實(shí)現(xiàn)數(shù)據(jù)清洗處理。依據(jù)分布式計(jì)算思想，結(jié)合近鄰分類法和 Map - Reduce 模型設(shè)計(jì)的并行分類混合法，實(shí)現(xiàn)數(shù)據(jù)分類處理。對(duì)分類數(shù)據(jù)進(jìn)行安全存儲(chǔ)，通過(guò)消息摘要算法針對(duì)需要存儲(chǔ)的智能電網(wǎng)時(shí)序大數(shù)據(jù)生成相應(yīng)數(shù)字摘要; 根據(jù)密鑰生成函數(shù)獲取隨機(jī)密鑰，同時(shí)利用上述密鑰針對(duì)待存儲(chǔ)數(shù)據(jù)實(shí)行加密，獲取對(duì)應(yīng)密文。針對(duì)獲取的隨機(jī)密鑰實(shí)行信息隱藏處理; 把密文存儲(chǔ)至云中; 當(dāng)密文成功存儲(chǔ)至云之后，把獲取的密鑰和數(shù)字摘要兩種信息并同文件名至 HBase 中，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。仿真結(jié)果表明，上述方法具有較強(qiáng)的安全性與時(shí)效性。
關(guān)鍵詞: 智能電網(wǎng); 時(shí)序大數(shù)據(jù); 處理
1 引言
分布全網(wǎng)的各種類型信息數(shù)據(jù)采集裝置生成了大規(guī)模時(shí)序數(shù)據(jù)，關(guān)于此類數(shù)據(jù)的存儲(chǔ)、處理等均面臨著嚴(yán)峻的挑戰(zhàn)[1 - 3]。由此，針對(duì)智能電網(wǎng)中的時(shí)序大數(shù)據(jù)進(jìn)行高效處理有著十分關(guān)鍵的作用和重要的意義。
曲朝陽(yáng)[4]等人將 Spark 應(yīng)用至電力設(shè)備監(jiān)測(cè)數(shù)據(jù)可視化處理中。過(guò)程中，以快速提取大數(shù)據(jù)環(huán)境下電力監(jiān)測(cè)數(shù)據(jù)整體狀態(tài)信息為目的，基于 Spark 大數(shù)據(jù)計(jì)算平臺(tái)，設(shè)計(jì)并構(gòu)建了設(shè)備狀態(tài)評(píng)價(jià)指標(biāo)體系和模糊 C 均值聚類算法下的電力設(shè)備狀態(tài)數(shù)據(jù)提取法。對(duì)數(shù)據(jù)具備的多維和時(shí)序等特征，構(gòu)建三維平行散點(diǎn)圖，實(shí)現(xiàn)數(shù)據(jù)可視化展示，完成電力設(shè)備狀態(tài)信息可視化處理。喻宜[5]等人以解決電力大數(shù)據(jù)背景下大規(guī)模時(shí)序數(shù)據(jù)無(wú)法高效處理的問(wèn)題為目的，結(jié)合當(dāng)前分布式技術(shù)框架設(shè)計(jì)并構(gòu)建真正意義上的 GAIA 大規(guī)模時(shí)序數(shù)據(jù)管控平臺(tái)，以此保障系統(tǒng)具備穩(wěn)定性與可靠性。根據(jù)具備可配置層次關(guān)系架構(gòu)的模型中心解決大規(guī)模測(cè)點(diǎn)管控問(wèn)題。依據(jù)時(shí)間分片和事件驅(qū)動(dòng)下前置數(shù)據(jù)采集平臺(tái)解決大規(guī)模終端實(shí)時(shí)數(shù)據(jù)采集處理問(wèn)題。張宇航[6]等人指出，智能電網(wǎng)具備的數(shù)字化建設(shè)能夠提供大規(guī)模數(shù)據(jù)信息，深度學(xué)習(xí)發(fā)展能夠?yàn)閿?shù)據(jù)價(jià)值提取提供可靠途徑。在研究過(guò)程中，先對(duì)深度學(xué)習(xí)發(fā)展史和基礎(chǔ)結(jié)構(gòu)進(jìn)行分析，并歸納了深度學(xué)習(xí)理論基礎(chǔ)與技術(shù)體系; 然后與電力系統(tǒng)實(shí)際需要相結(jié)合，將圖像數(shù)據(jù)和時(shí)空數(shù)據(jù)了兩種類型的數(shù)據(jù)當(dāng)作基礎(chǔ)，綜合描述了深度學(xué)習(xí)在電力數(shù)據(jù)處理中的應(yīng)用和具體價(jià)值，同時(shí)給出了一些相關(guān)發(fā)展建議。
電網(wǎng)時(shí)序數(shù)據(jù)具有規(guī)模大、實(shí)時(shí)性要求高和訪問(wèn)方式多變等特點(diǎn)，對(duì)其進(jìn)行處理需要注意的點(diǎn)比較多，其中包含安全性、效率。為此，提出基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法。
2 基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理
2. 1 智能電網(wǎng)時(shí)序大數(shù)據(jù)
實(shí)際生活中，智能電網(wǎng)時(shí)序大數(shù)據(jù)通常指的是根據(jù)設(shè)備或者儀表產(chǎn)生，利用傳感器進(jìn)行采集，和某個(gè)對(duì)象或者設(shè)備存在具體關(guān)聯(lián)性，在事件上先后關(guān)聯(lián)的一類數(shù)據(jù)。詳細(xì)如圖 1 所示，其中包含的電壓等即為典型時(shí)序數(shù)據(jù)。
2. 2 數(shù)據(jù)清洗
在基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法中，大數(shù)據(jù)清洗是不可或缺的一個(gè)步驟。針對(duì) Map 和 Reduce 及 Partition 三個(gè)函數(shù)均進(jìn)行了精心設(shè)計(jì)，通過(guò) xml 配置，實(shí)現(xiàn)對(duì)應(yīng)的清洗類動(dòng)態(tài)收集和清洗規(guī)則設(shè)定等。
數(shù)據(jù)清洗過(guò)程中，Map 函數(shù)是該架構(gòu)中最為核心的部分，把數(shù)據(jù)由原始狀態(tài)清洗到可利用數(shù)據(jù)。Map 設(shè)計(jì)中使用了過(guò)濾器和工廠法以及監(jiān)聽(tīng)器等一系列模式，能夠使清洗系統(tǒng)具備良好的擴(kuò)展性。圖 2 為 Map 函數(shù)核心設(shè)計(jì)示意圖。
圖 2 中，LogProcess 類主要負(fù)責(zé) Map 階段基礎(chǔ)性的配置文件前期準(zhǔn)備以及使用方案調(diào)用 Handler 類，梳理實(shí)際數(shù)據(jù)處理邏輯。其中，Handler 類為處理邏輯中實(shí)際控制類，均需在 Map 階段初始化環(huán)節(jié)完成。實(shí)際處理過(guò)程中根據(jù) Handler 調(diào)用圖 2 中的流程部分完成: 利用 FilterChain 以相似管道的模式進(jìn)行逐步解析與清洗，F(xiàn)ilterChain 主要作用為配置過(guò)濾條件。在 Map 設(shè)計(jì)過(guò)程中，所有類都使用了可配置方式，能夠基于實(shí)際數(shù)據(jù)清洗需求任意替換與修改。
在日志處理過(guò)程中，原始日志利用 JournalClean 類實(shí)現(xiàn)基礎(chǔ)處理，從而生成部分基礎(chǔ)字段，同時(shí)以 table 形式保存至 Journal，以此構(gòu)成 Journal 日志類，把該類在過(guò)濾器鏈中依據(jù)具體要求下的邏輯實(shí)行解析，生成最終所需字段，利用 JournalWriter 日志寫(xiě)入相應(yīng)文件，將最終數(shù)據(jù)輸出。
2. 3 數(shù)據(jù)分類
依據(jù)分布式計(jì)算思想，解決智能電網(wǎng)時(shí)序大數(shù)據(jù)分類問(wèn)題，根據(jù)近鄰分類法具備的優(yōu)勢(shì)，結(jié)合 Map - Reduce 模型和其融合設(shè)計(jì)一個(gè)并行的分類混合法—PCHA。
輸入: 要實(shí)現(xiàn) PCHA 算法，構(gòu)建接口提供 Map 函數(shù)與Reduce 函數(shù)，并表明輸入、輸出以及其它運(yùn)行參數(shù)。利用輸入環(huán)節(jié)把大數(shù)據(jù)集合分解成若干個(gè)獨(dú)立的數(shù)據(jù)集合，便于接下來(lái)的處理，在此設(shè)置為M'份數(shù)據(jù)集合，提交至 JobTracker 之后，利用對(duì)應(yīng)的 TaskTracker 執(zhí)行任務(wù)。
Map: 在 Map - Reduce 模型中通常分解一個(gè)大數(shù)據(jù)集變?yōu)樾?shù)據(jù)集合，該環(huán)節(jié)是針對(duì)每一組分解數(shù)據(jù)集合的{ ke， va } 對(duì)實(shí)行映射操作，此時(shí) TaskTracker 調(diào)用空閑數(shù)據(jù)資源執(zhí)行 Map 與 Reduce 任務(wù)。Map 過(guò)程重點(diǎn)是針對(duì)分類數(shù)據(jù)集合實(shí)行鍵值映射操作，任務(wù)基于各屬性規(guī)范化操作，同時(shí)依據(jù)重要性并獲得加權(quán)歐式距離結(jié)果，獲取( ( 節(jié)點(diǎn)，屬性) ，( 相似程度) ) 鍵值對(duì)，基于相似程度實(shí)現(xiàn)歸類。
Reduce: 該環(huán)節(jié)主要責(zé)任為遍歷所有 Map 環(huán)節(jié)處理之后生成的中間結(jié)果集合，依據(jù)同一( 節(jié)點(diǎn)，屬性) 值的排序和歸納，統(tǒng)一將( ( 節(jié)點(diǎn)，屬性) ，( 相似程度) ) 輸出，基于相似程度實(shí)現(xiàn)并行分類。
輸出: 該環(huán)節(jié)是和輸入環(huán)節(jié)相呼應(yīng)的，也就是功能為針對(duì) Reduce 環(huán)節(jié)的輸出結(jié)果集合實(shí)行輸出操作，同時(shí)將輸出保存到指定位置，該環(huán)節(jié)獲取的即為 PCHA 算法運(yùn)行所得的分類結(jié)果集合，方便下一步安全存儲(chǔ)處理。
2. 4 數(shù)據(jù)安全存儲(chǔ)
在基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)處理中，根據(jù)云安全實(shí)現(xiàn)數(shù)據(jù)的安全存儲(chǔ)。因云安全核心為密碼技術(shù)與加固技術(shù)，由此能夠通過(guò)密碼技術(shù)保護(hù)智能電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)具有保密性與完整性[9 - 10]。其中，摘要信息為消息簽名操作之后所得數(shù)據(jù)，密文為數(shù)據(jù)加密之后所得數(shù)據(jù)，密鑰信息為針對(duì)數(shù)據(jù)加密過(guò)程中用到的密鑰實(shí)行信息隱藏之后所得數(shù)據(jù)。
綜上，數(shù)據(jù)加密存儲(chǔ)的過(guò)程可表示以下幾步:
步驟 1: 生成摘要，通過(guò)消息摘要算法針對(duì)需要存儲(chǔ)的智能電網(wǎng)時(shí)序大數(shù)據(jù)生成相應(yīng)數(shù)字摘要。
步驟 2: 加密數(shù)據(jù)，根據(jù)密鑰生成函數(shù)獲取隨機(jī)密鑰，同時(shí)利用該密鑰針對(duì)待存儲(chǔ)數(shù)據(jù)實(shí)行加密，獲取對(duì)應(yīng)密文。
步驟 3: 隨機(jī)密鑰隱藏，針對(duì)上述獲取的隨機(jī)密鑰實(shí)行信息隱藏處理。
步驟 4: 存儲(chǔ)密文，把密文存儲(chǔ)至云中。
步驟 5: 保存有關(guān)信息數(shù)據(jù)，當(dāng)密文成功存儲(chǔ)至云之后，把上述步驟中獲取的密鑰和數(shù)字摘要兩種信息并同文件名至 HBase 中，實(shí)現(xiàn)數(shù)據(jù)保存。
隨機(jī)密鑰信息隱藏過(guò)程中，以解決對(duì)稱加密法密鑰管理相關(guān)問(wèn)題為目的，要針對(duì)隨機(jī)密鑰實(shí)行信息隱藏操作。加密為一種非常高效的信息隱藏策略。由此，為了針對(duì)隨機(jī)密鑰實(shí)行信息隱藏處理，設(shè)計(jì)如圖 3 所示的密鑰隱藏策略。
在上述策略中，通過(guò)數(shù)據(jù)源具備的各種屬性和一個(gè)填充數(shù)即可生成摘要信息，然后利用 Hash 函數(shù)生成數(shù)據(jù)加密所需密鑰。其中，屬性中能夠包括用戶密碼數(shù)據(jù)，在用戶修改密碼之后，可以使隨機(jī)密鑰也隨之修改，無(wú)需重加密，能夠有效提升效率。
結(jié)合隨機(jī)填充數(shù)目的為避免字典攻擊與預(yù)先計(jì)算攻擊等安全問(wèn)題。以增強(qiáng)保密性為目的，數(shù)據(jù)源屬性組合信息和詳細(xì) Hash 應(yīng)事先保密。以變電站為例，該變電站屬性將 Substation 類屬 性 當(dāng) 作 標(biāo) 準(zhǔn)，設(shè)計(jì)的密鑰生成架構(gòu)如圖 4 所示。
為了 把 密 鑰、摘要兩種信息存儲(chǔ)至 HBase 中，對(duì) 表MetaTable 結(jié)構(gòu)進(jìn)行設(shè)計(jì)。
其中，MetaTable 主要分為三列，分別為行關(guān)鍵字 RowKey 應(yīng)用至存儲(chǔ)文件名稱，時(shí)間戳 Timestamp 和列族 Metadata( 包括密鑰信息與摘要信息的保存標(biāo)簽) 。除此之外，針對(duì)無(wú)需進(jìn)行加密的數(shù)據(jù)而言，使用 hiddenKey 是全 0 進(jìn)行區(qū)分。
采用 HBase 主要原因?yàn)殡娋W(wǎng)中的數(shù)據(jù)采集及存儲(chǔ)頻率均非常高，一般關(guān)系數(shù)據(jù)庫(kù)無(wú)法承受此種壓力。HBase 查詢效率不會(huì)隨著數(shù)據(jù)庫(kù)中的數(shù)據(jù)量規(guī)模變大降低，其為一個(gè)具有可伸縮性能的分布式存儲(chǔ)系統(tǒng)。
數(shù)據(jù)讀取過(guò)程為:
步驟 1: 數(shù)據(jù)讀取，在分布式文件系統(tǒng)中讀取密文，在 HBase 中將有關(guān)數(shù)據(jù)讀取出來(lái)。
步驟 2: 確定數(shù)據(jù)類型，基于密鑰信息，判斷分布式文件系統(tǒng)中數(shù)據(jù)需要解密與否。假設(shè)密鑰信息為 0，那么表明數(shù)據(jù)為明文，無(wú) 需 進(jìn) 行 解 密，直 接 到 步 驟 4; 反 之，表 明 需 要解密。
步驟 3: 得到隨機(jī)密鑰，通過(guò)數(shù)據(jù)源屬性，也就是密鑰信息得到密 鑰，同時(shí)針對(duì)密鑰信息實(shí)行信息恢復(fù)獲取隨機(jī)密鑰。
步驟 4: 對(duì)數(shù)據(jù)進(jìn)行解密，利用上述獲取的密鑰針對(duì)密文實(shí)行解密。
步驟 5: 對(duì)數(shù)據(jù)完整性進(jìn)行檢查，生成密文數(shù)字摘要信息，同時(shí)和步驟 1 中的摘要信息進(jìn)行對(duì)比，確定數(shù)據(jù)完整性。假設(shè)不一致，那么表示云中數(shù)據(jù)已經(jīng)被篡改; 反之，說(shuō)明數(shù)據(jù)正常。
3 實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法有效性，進(jìn)行一次實(shí)驗(yàn)。實(shí)驗(yàn)在某省電科院實(shí)驗(yàn)室所搭建的 Hadoop 并行計(jì)算平臺(tái)上完成，該平臺(tái)由 23 個(gè)節(jié)點(diǎn)構(gòu)成。節(jié)點(diǎn)物理配置的 CPU 為 8 核、內(nèi)存為 32G，硬盤(pán)為 300G，網(wǎng)絡(luò)為千兆以太網(wǎng)。實(shí)驗(yàn)過(guò)程中，文件備份為 3。
相關(guān)知識(shí)推薦：大數(shù)據(jù)方面的期刊雜志
實(shí)驗(yàn)分別以 CPU 利用率和數(shù)據(jù)安全性為驗(yàn)證指標(biāo)。其中，以驗(yàn)證所提方法 CPU 利用率為目的，在大小不一的數(shù)據(jù)文件下開(kāi)展實(shí)驗(yàn)，為避免時(shí)間因素導(dǎo)致實(shí)驗(yàn)結(jié)果帶來(lái)的主觀性，本次實(shí)驗(yàn)將分別在三臺(tái)電腦上進(jìn)行，并在規(guī)定時(shí)間內(nèi)進(jìn)行檢測(cè)，測(cè)試時(shí)間為 19: 15 ～ 19: 33。依據(jù)智能電網(wǎng)數(shù)據(jù)量存在差異大的特性，分別取文件大小為 10MB、50MB、500MB 的條件下進(jìn)行實(shí)驗(yàn)，所得實(shí)驗(yàn)結(jié)果如 6 所示。
分析圖 5 可知，基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)安全存儲(chǔ)處理與直接存儲(chǔ)耗時(shí)相差不大，表現(xiàn)出了良好的運(yùn)行性能，存儲(chǔ)處理效率高。主要原因?yàn)閿?shù)據(jù)存儲(chǔ)過(guò)程中網(wǎng)絡(luò)傳輸時(shí)間占據(jù)了主導(dǎo)地位，其它時(shí)間在數(shù)據(jù)量比較大時(shí)影響不是很大，且數(shù)據(jù)的清洗和分類均為高效率存儲(chǔ)奠定了基礎(chǔ)，有效提高了電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)速度。
為進(jìn)一步驗(yàn)證本文方法的處理安全性，本次實(shí)驗(yàn)將在 500MB 的數(shù)據(jù)文件中加入字典攻擊與預(yù)先計(jì)算攻擊，并設(shè)置攻擊數(shù)據(jù)和異常數(shù)據(jù)大小為 20MB，檢驗(yàn)本文方法是否能夠有效、安全、準(zhǔn)確的查詢到系統(tǒng)原始數(shù)據(jù)，以此分析所提方法的安全性。實(shí)驗(yàn)結(jié)果如表 1 所示。
由表 1 可知，所提方法可高效抵御攻擊，保障數(shù)據(jù)安全性。在數(shù)據(jù)加密存儲(chǔ)過(guò)程中，結(jié)合了隨機(jī)填充數(shù)目的為避免字典攻擊與預(yù)先計(jì)算攻擊等安全問(wèn)題，并以增強(qiáng)保密性為目的，數(shù)據(jù)源屬性組合信息和詳細(xì) Hash 也做了保密。
4 結(jié)束語(yǔ)
鑒于現(xiàn)實(shí)需求，提出基于 Hadoop 的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法。在數(shù)據(jù)處理過(guò)程中，有效結(jié)合了數(shù)據(jù)清洗、分類、安全存儲(chǔ)幾個(gè)部分，并通過(guò)實(shí)驗(yàn)對(duì)該方法進(jìn)行測(cè)試，結(jié)果顯示，該方法抗攻擊性能強(qiáng)，且耗時(shí)少，是一種可行的電網(wǎng)數(shù)據(jù)處理方法。下一步可將跨節(jié)點(diǎn)計(jì)算并行化方面當(dāng)作重點(diǎn)進(jìn)行研究，進(jìn)一步提高數(shù)據(jù)處理效率。——論文作者：孫利宏
參考文獻(xiàn):
[1] 賀紅燕. 基于大數(shù)據(jù)的智能電網(wǎng)關(guān)鍵技術(shù)研究[J]. 電源技術(shù)，2016，40( 8) : 1713 - 1714.
[2] 陳敬德，盛戈皞，吳繼健，等. 大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用現(xiàn)狀及展望[J]. 高壓電器，2018，54( 1) : 35 - 43.
[3] 葛磊蛟，王守相，瞿海妮. 智能配用電大數(shù)據(jù)存儲(chǔ)架構(gòu)設(shè)計(jì)[J]. 電力自動(dòng)化設(shè)備，2016，36( 6) : 194 - 202.
[4] 曲朝陽(yáng)，熊澤宇，顏佳，等. 基于 Spark 的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化方法[J]. 電工電能新技術(shù)，2016，35( 11) : 72 - 80.
[5] 喻宜，呂志來(lái)，齊國(guó)印. 分布式海量時(shí)序數(shù)據(jù)管理平臺(tái)研究[J]. 電力系統(tǒng)保護(hù)與控制，2016，44( 17) : 165 - 170.
[6] 張宇航，邱才明，楊帆，等. 深度學(xué)習(xí)在電網(wǎng)圖像數(shù)據(jù)及時(shí)空數(shù)據(jù)中的應(yīng)用綜述[J]. 電網(wǎng)技術(shù)，2019，43( 6) : 1865 - 1873.
[7] 李俊楠，李偉，李會(huì)君，等. 基于大數(shù)據(jù)云平臺(tái)的電力能源大數(shù)據(jù)采集 與 應(yīng) 用 研 究[J]. 電 測(cè) 與 儀 表，2018，56 ( 12 ) : 104 - 109.
[8] 余容，黃劍，何朝明. 基于 SM4 并行加密的智能電網(wǎng)監(jiān)控與安全傳輸系統(tǒng)[J]. 電子技術(shù)應(yīng)用，2016，42( 11) : 66 - 69.
[9] 張思佳，顧春華，溫蜜. 智能電網(wǎng)中的數(shù)據(jù)聚合方案分類研究[J]. 計(jì)算機(jī)工程與應(yīng)用，2019，55( 12) : 83 - 89.
[10] 張子棟，張杰敏，茅劍. 大數(shù)據(jù)處理警示性圖像顏色紋理特征選取仿真[J]. 計(jì)算機(jī)仿真，2019，36( 5) : 434 - 437，470.
