任務(wù)調(diào)度在郵政信息項目的應(yīng)用

發(fā)布時間：2017-03-22所屬分類：管理論文瀏覽：1次

摘 要： 這篇中國郵政投稿論文發(fā)表了任務(wù)調(diào)度在郵政信息項目的應(yīng)用，在郵政信息項目中如何順利實施數(shù)據(jù)處理作業(yè)任務(wù)呢?論文根據(jù)信息項目的特點和需求，探討了自動任務(wù)調(diào)度管理系統(tǒng)的建設(shè)意義及實現(xiàn)方式，并對未來的應(yīng)用前景進行了展望。

　　這篇中國郵政投稿論文發(fā)表了任務(wù)調(diào)度在郵政信息項目的應(yīng)用，在郵政信息項目中如何順利實施數(shù)據(jù)處理作業(yè)任務(wù)呢?論文根據(jù)信息項目的特點和需求，探討了自動任務(wù)調(diào)度管理系統(tǒng)的建設(shè)意義及實現(xiàn)方式，并對未來的應(yīng)用前景進行了展望。
 

　　關(guān)鍵詞：中國郵政投稿,數(shù)據(jù)挖掘,任務(wù)調(diào)度,業(yè)務(wù)邏輯

　　隨著郵政信息化建設(shè)的不斷深入，數(shù)據(jù)是企業(yè)的重要資產(chǎn)這一理念已成為共識。通過深入挖掘各業(yè)務(wù)系統(tǒng)累積的業(yè)務(wù)數(shù)據(jù)，保障批量任務(wù)程序高效運行，具有可靠性、可擴展的自動任務(wù)調(diào)度系統(tǒng)的開發(fā)與應(yīng)用顯得尤為重要。

　　1郵政金融數(shù)據(jù)挖掘信息項目的特點

　　目前各省開發(fā)的郵政金融數(shù)據(jù)挖掘信息項目，從原始的數(shù)據(jù)下載系統(tǒng)到最終的目標(biāo)應(yīng)用系統(tǒng)，必然要經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換、加載(以下簡稱“ETL”)的數(shù)據(jù)流轉(zhuǎn)過程。但在實際的數(shù)據(jù)分析和項目開發(fā)過程中發(fā)現(xiàn)，與一般意義上的ETL過程相比，郵政金融數(shù)據(jù)挖掘信息項目有其自身特點。郵政金融數(shù)據(jù)下載系統(tǒng)的數(shù)據(jù)來源主要有兩部分：一是各郵政金融生產(chǎn)系統(tǒng)直接生成的接口數(shù)據(jù)，二是郵政金融客戶管理系統(tǒng)經(jīng)過歸集的數(shù)據(jù)。數(shù)據(jù)下載系統(tǒng)已將下發(fā)數(shù)據(jù)全部加載到數(shù)據(jù)庫中，相對于一般意義上的數(shù)據(jù)挖掘，數(shù)據(jù)質(zhì)量明顯改善。在省內(nèi)信息項目中，主要數(shù)據(jù)處理通常包括篩選、歸集、計算等再加工流程，一般無需再進行專門的數(shù)據(jù)清洗等操作，而且基本不需要考慮數(shù)據(jù)庫之外的數(shù)據(jù)源。在日常數(shù)據(jù)分析過程中，各省信息技術(shù)部門積累了大量對數(shù)據(jù)提取、歸集的結(jié)構(gòu)化查詢語言(以下簡稱“SQL”)腳本。在做信息項目的過程中，項目需求與日常數(shù)據(jù)提取工作有一定的重疊性。在一些簡單的信息項目中，借鑒日常數(shù)據(jù)提取的工作經(jīng)驗，可以較快地生成相應(yīng)數(shù)據(jù)處理的數(shù)據(jù)庫存儲過程，但缺乏一個簡單、便捷的調(diào)度管理工具，將這些存儲過程組織在一起。

　　2自動任務(wù)調(diào)度管理系統(tǒng)的重要作用

　　ETL作為郵政數(shù)據(jù)挖掘信息項目的基礎(chǔ)，按照一定的規(guī)則集成并提高數(shù)據(jù)的價值，是從原始數(shù)據(jù)向業(yè)務(wù)模型轉(zhuǎn)化的過程，是項目實施的關(guān)鍵步驟，但往往被人們忽視。如在日常工作中，經(jīng)常會用到調(diào)度腳本來周期性完成計劃任務(wù)的方式，但這種方式只適用于少量作業(yè)的簡單場景，根本無法滿足實際項目過程中復(fù)雜的依賴關(guān)系、異常控制及恢復(fù)等重要功能需求。對于省內(nèi)常見的小型信息項目來說，采用現(xiàn)有的ETL工具意味著較大的投資成本和后續(xù)的跟進維護及二次開發(fā)等問題。且現(xiàn)實中很多信息項目業(yè)務(wù)邏輯存在差異性，為獲得最佳性能，很多任務(wù)都需另外開發(fā)。而作業(yè)調(diào)度則不同，每個信息項目都需要通過作業(yè)調(diào)度將作業(yè)任務(wù)有效組織起來。因此，ETL是信息系統(tǒng)的基礎(chǔ)，而調(diào)度是ETL的靈魂。中國郵政集團公司山西省信息技術(shù)局(以下簡稱“山西省郵政信息技術(shù)局”)在項目建設(shè)實踐中，經(jīng)過不斷的總結(jié)提升，最終形成一套統(tǒng)一的、相對獨立的自動任務(wù)調(diào)度管理系統(tǒng)，基本實現(xiàn)了將業(yè)務(wù)邏輯封裝在定制的存儲過程中，通過任務(wù)列表進行統(tǒng)一管理調(diào)用。在自動任務(wù)調(diào)度平臺基礎(chǔ)上，只要進行存儲過程的開發(fā)配置，就可以快速實現(xiàn)基本的數(shù)據(jù)流轉(zhuǎn)，通過實際應(yīng)用，完全可以滿足一般小型信息項目的需求。

　　3自動任務(wù)調(diào)度管理系統(tǒng)的實現(xiàn)方式

　　3.1對業(yè)務(wù)邏輯進行封裝

　　由于實際業(yè)務(wù)邏輯的差異性、復(fù)雜性，為了便于管理，同時將調(diào)度管理系統(tǒng)與具體業(yè)務(wù)處理進行隔離，通常要將業(yè)務(wù)邏輯封裝在一系列獨立的作業(yè)任務(wù)中，在調(diào)度管理系統(tǒng)看來只是作業(yè)任務(wù)，對于作業(yè)的內(nèi)部邏輯，調(diào)度管理系統(tǒng)并不關(guān)心。從實際的運行經(jīng)驗看，需要將作業(yè)任務(wù)拆分細(xì)化為獨立、較小的事務(wù)，或成功提交，或失敗回滾。這樣有利于異常中斷的恢復(fù)，同時拆分為多個較小的事務(wù)，實際處理效率較高。

　　3.2統(tǒng)一的作業(yè)調(diào)度接口

　　為了實現(xiàn)相對獨立的通用任務(wù)管理平臺，需要對作業(yè)任務(wù)定義統(tǒng)一的作業(yè)調(diào)度接口。目前的作業(yè)調(diào)度接口只定義了基本的返回代碼和錯誤信息兩個域，主要實現(xiàn)任務(wù)調(diào)度的管理需求。顯然這兩個基本字段無法滿足復(fù)雜的業(yè)務(wù)邏輯需求。通過分析歸納系統(tǒng)需求發(fā)現(xiàn)，最主要的調(diào)用內(nèi)容是數(shù)據(jù)日期類的調(diào)用，而對于一個特定的業(yè)務(wù)系統(tǒng)來說，大多數(shù)據(jù)日期是相同的，通過在信息系統(tǒng)中設(shè)置參數(shù)表，定義相應(yīng)的日期參數(shù)、業(yè)務(wù)參數(shù)，可以將這些參數(shù)的訪問、維護也封裝在作業(yè)任務(wù)中。這樣完全可以在滿足業(yè)務(wù)邏輯的前提下，實現(xiàn)基本的統(tǒng)一作業(yè)調(diào)度接口。

　　3.3任務(wù)隊列配置

　　依賴關(guān)系是ETL作業(yè)最重要的內(nèi)容，目前采用的方式是在數(shù)據(jù)庫中創(chuàng)建任務(wù)列表，通過專門的存儲過程對任務(wù)列表進行維護。任務(wù)列表通過任務(wù)序號體現(xiàn)任務(wù)間的順序執(zhí)行依賴關(guān)系，同時通過對任務(wù)列表的維護，實現(xiàn)任務(wù)的觸發(fā)，執(zhí)行狀態(tài)、異常場景的保存等。在任務(wù)調(diào)度的不同階段，可能存在復(fù)雜的依賴及并發(fā)關(guān)系。為了提高執(zhí)行效率，在任務(wù)列表中對并發(fā)調(diào)度進行了細(xì)化，對每個任務(wù)對應(yīng)的應(yīng)用模塊執(zhí)行順序、是否可并發(fā)執(zhí)行、并發(fā)執(zhí)行的階段序號進行了靈活的動態(tài)配置。這樣根據(jù)任務(wù)的特性及依賴關(guān)系，可以靈活地按順序執(zhí)行或者分階段多線程并發(fā)執(zhí)行，對計算量大的步驟還實現(xiàn)了步驟內(nèi)按機構(gòu)并發(fā)執(zhí)行，顯著提高了后臺計算的執(zhí)行效率。

　　3.4任務(wù)觸發(fā)

　　任務(wù)觸發(fā)可以分為定時周期性觸發(fā)和事件觸發(fā)。目前省內(nèi)依托數(shù)據(jù)下載系統(tǒng)的信息項目，最主要的觸發(fā)條件是數(shù)據(jù)下發(fā)情況和依賴步驟的完成情況，以周期性觸發(fā)為主。具體方式為定時調(diào)用調(diào)度平臺，檢查數(shù)據(jù)下發(fā)情況，同時檢查任務(wù)列表的完成情況，對可滿足執(zhí)行條件的任務(wù)進行篩選，對有前后依賴的步驟按配置的優(yōu)先順序逐一進行調(diào)用。對于沒有依賴的任務(wù)，進行并發(fā)調(diào)用。對于時效性要求較高的任務(wù)，也可采用事件觸發(fā)的模式進行調(diào)度，將調(diào)度平臺作為后臺服務(wù)駐留在內(nèi)存中，對關(guān)心的事件進行輪詢。當(dāng)有觸發(fā)事件發(fā)生時，調(diào)用對應(yīng)的任務(wù)進行作業(yè)處理。

　　3.5多系統(tǒng)協(xié)同

　　在實際應(yīng)用環(huán)境中，一個信息系統(tǒng)的處理結(jié)果可能會應(yīng)用到另一個信息系統(tǒng)中，即各系統(tǒng)之間存在數(shù)據(jù)交互。如積分回饋系統(tǒng)的數(shù)據(jù)明細(xì)，就是作為代理金融客戶分戶管理系統(tǒng)的數(shù)據(jù)源，即上游數(shù)據(jù)提供系統(tǒng)的任務(wù)完成情況，觸發(fā)了下游目標(biāo)系統(tǒng)的任務(wù)處理。但這種協(xié)同關(guān)系不宜過多，否則建議將作業(yè)流程獨立，再分別將需要的數(shù)據(jù)集提供給目標(biāo)系統(tǒng)。

　　3.6意外情況的處理機制

　　實際開發(fā)中，可能出現(xiàn)的異常主要來自系統(tǒng)資源問題和數(shù)據(jù)異常情況。通過異常處理機制，異常原因會通過調(diào)用接口返回到調(diào)度平臺，對任務(wù)異常中斷、正常結(jié)束等狀態(tài)進行標(biāo)記，通過查看日志和任務(wù)列表的任務(wù)狀態(tài)和備注信息可實現(xiàn)異常的定位和處理。如常見的回滾段或內(nèi)存資源不足導(dǎo)致異常，只要調(diào)整資源配置或減少并發(fā)數(shù)配置后，修改任務(wù)狀態(tài)為就緒，即可實現(xiàn)后續(xù)任務(wù)的恢復(fù)處理。

　　3.7數(shù)據(jù)流轉(zhuǎn)效率

　　對于批量任務(wù)來說，由于數(shù)據(jù)量巨大，數(shù)據(jù)處理效率成為決定項目成敗的重要指標(biāo)。對任務(wù)處理的優(yōu)化工作，基本貫穿于整個項目過程，具體可以分為單個作業(yè)任務(wù)內(nèi)的優(yōu)化和整體效率的優(yōu)化兩方面。3.7.1單個處理任務(wù)優(yōu)化采用并發(fā)查詢語句和SQL數(shù)據(jù)分析函數(shù)，簡化SQL語句的復(fù)雜度，提高處理效率。利用數(shù)據(jù)庫表分區(qū)，將數(shù)據(jù)拆分到小的分區(qū)中，縮小檢索范圍。對于大批量修改的任務(wù)，酌情采用創(chuàng)建臨時表的模式，取代直接批量修改的方式。對于跨系統(tǒng)的數(shù)據(jù)抽取，采取在遠端數(shù)據(jù)庫創(chuàng)建視圖的方法，只抽取視圖的查詢結(jié)果，減少網(wǎng)絡(luò)壓力。對于某些大批量數(shù)據(jù)計算，由調(diào)度平臺實現(xiàn)多線程并發(fā)處理，并對并發(fā)度進行參數(shù)化設(shè)置。3.7.2整體任務(wù)效率優(yōu)化對于整個批量處理的整體效率，由調(diào)度平臺的任務(wù)間并發(fā)進行優(yōu)化。通過配置任務(wù)列表，調(diào)度平臺篩選出可以并發(fā)的任務(wù)列表并加載到線程池，分階段進行多線程并發(fā)調(diào)用處理。經(jīng)過一系列的項目實踐，基本滿足了項目要求。

　　4自動任務(wù)調(diào)度管理系統(tǒng)在信息項目中的實際應(yīng)用

　　自數(shù)據(jù)下載系統(tǒng)上線以來，為促進郵政金融業(yè)務(wù)的發(fā)展，實現(xiàn)以客戶為核心的精細(xì)化服務(wù)，提升客戶體驗，特別是在網(wǎng)點轉(zhuǎn)型跨越發(fā)展的新形勢下，山西省郵政信息技術(shù)局先后開發(fā)了一系列郵政金融信息項目，并推廣到兄弟省，為郵政金融業(yè)務(wù)的快速健康發(fā)展起到了積極作用。在上述系統(tǒng)的開發(fā)建設(shè)中，業(yè)務(wù)需求各有側(cè)重，前臺的實現(xiàn)方式不盡相同，但在后臺的數(shù)據(jù)處理方面，經(jīng)過不斷的總結(jié)提升，最終形成了統(tǒng)一的、相對獨立的自動任務(wù)調(diào)度管理系統(tǒng)，作為基礎(chǔ)平臺，應(yīng)用于上述各系統(tǒng)中。

　　4.1實現(xiàn)了數(shù)據(jù)流轉(zhuǎn)的基礎(chǔ)平臺

　　山西省郵政信息技術(shù)局自行開發(fā)的任務(wù)調(diào)度管理系統(tǒng)，基本形成了將業(yè)務(wù)邏輯封裝在定制的存儲過程中，通過任務(wù)列表進行統(tǒng)一管理調(diào)用的模式，實現(xiàn)了與業(yè)務(wù)邏輯的隔離。在實際的項目開發(fā)中，只需關(guān)注具體業(yè)務(wù)邏輯的開發(fā)，通過任務(wù)配置即可實現(xiàn)數(shù)據(jù)處理過程，項目開發(fā)效率明顯提高。將業(yè)務(wù)邏輯進行封裝，通過任務(wù)隊列進行動態(tài)管理，靈活地實現(xiàn)了任務(wù)流程的定制。只需調(diào)整任務(wù)列表配置，無需修改代碼，就能實現(xiàn)任務(wù)按先后次序約束執(zhí)行，或無關(guān)聯(lián)的任務(wù)并發(fā)執(zhí)行。對于異常情況，系統(tǒng)可以直接指定從某個任務(wù)開始恢復(fù)后續(xù)任務(wù)的執(zhí)行。甚至對于一些臨時需求，也可簡單訂制臨時任務(wù)，通過調(diào)度管理系統(tǒng)實現(xiàn)對業(yè)務(wù)的快速響應(yīng)。在數(shù)據(jù)挖掘信息項目中，處理單個批量任務(wù)的數(shù)據(jù)量達千萬筆。經(jīng)過多方面的優(yōu)化處理，系統(tǒng)運行效率基本滿足了項目要求。通過多年的實際運行和開發(fā)實踐，對于目前省內(nèi)依托數(shù)據(jù)下載系統(tǒng)開發(fā)的小型信息項目，任務(wù)調(diào)度管理系統(tǒng)的模式完全可以滿足現(xiàn)有功能需求，加快開發(fā)進度。

　　4.2多方位支持郵政金融業(yè)務(wù)發(fā)展

　　4.2.1開發(fā)積分回饋系統(tǒng)，加強對現(xiàn)有客戶的維系2012年上線的積分回饋系統(tǒng)實現(xiàn)了對所有儲蓄客戶的積分累積，需處理的數(shù)據(jù)量有上千萬筆。同時，各積分指標(biāo)周期不同，積分規(guī)則可能會根據(jù)業(yè)務(wù)發(fā)展的實際情況進行動態(tài)調(diào)整，其計算流程相當(dāng)于多個積分指標(biāo)的計算流程相疊加。通過將批量任務(wù)的組織管理單獨分離出來，交于調(diào)度平臺處理，并對大數(shù)據(jù)量的任務(wù)處理實現(xiàn)了多線程并發(fā)計算，原來經(jīng)過幾十個小時未能完成的作業(yè)任務(wù)，在多線程處理后幾個小時內(nèi)即可完成，圓滿完成了項目建設(shè)任務(wù)，同時為后續(xù)信息項目的開發(fā)提供了平臺支持。4.2.2開發(fā)郵政儲蓄網(wǎng)點客戶管理信息系統(tǒng)，推動金融網(wǎng)點轉(zhuǎn)型工作為推動郵政代理金融網(wǎng)點轉(zhuǎn)型工作順利開展，2013年山西省郵政信息技術(shù)局開發(fā)建設(shè)了郵政儲蓄網(wǎng)點客戶管理信息系統(tǒng)。由于系統(tǒng)業(yè)務(wù)指標(biāo)多，后臺作業(yè)步驟多，依賴關(guān)系復(fù)雜，即便是簡單的順序執(zhí)行，一次完整的數(shù)據(jù)處理也需要運行幾天時間。山西省郵政信息技術(shù)局一方面通過建立遠端視圖，只抽取經(jīng)過歸集的結(jié)果數(shù)據(jù)，提高了任務(wù)處理效率，另一方面將整個任務(wù)處理分為幾個階段，在階段內(nèi)進行無關(guān)聯(lián)任務(wù)的并發(fā)處理，最終在一晚時間完成整個數(shù)據(jù)處理，保證了網(wǎng)點人員對系統(tǒng)的正常使用。4.2.3開發(fā)儲蓄業(yè)績認(rèn)定系統(tǒng)，激勵員工營銷工作2014年7月，為系統(tǒng)性解決儲蓄余額積分計獎問題，山西省郵政信息技術(shù)局開發(fā)了儲蓄業(yè)績認(rèn)定系統(tǒng)。系統(tǒng)計算的業(yè)務(wù)邏輯較為復(fù)雜，基于任務(wù)調(diào)度管理平臺的支持，項目開發(fā)重點關(guān)注具體業(yè)務(wù)邏輯的實現(xiàn)，完成了作業(yè)任務(wù)發(fā)布及單元測試。項目上線后，對于一些特殊的臨時需求，定置臨時任務(wù)隊列，快速響應(yīng)了業(yè)務(wù)管理需求，在金融市場競爭日趨激烈的情況下，為山西省郵政儲蓄業(yè)務(wù)的穩(wěn)定發(fā)展起到了重要作用。

　　5前景展望

　　隨著郵政業(yè)務(wù)的迅猛發(fā)展，市場競爭日趨激烈，如何更好地做好技術(shù)支撐工作，為業(yè)務(wù)發(fā)展、經(jīng)營決策服務(wù)，是中國郵政亟需解決的重要課題。只有積極跟進業(yè)務(wù)發(fā)展的實際需求，不斷拓展應(yīng)用功能，持續(xù)優(yōu)化大數(shù)據(jù)量處理效率，提升對復(fù)雜場景下數(shù)據(jù)流轉(zhuǎn)的支持力度，才能更加靈活、穩(wěn)定、高效地為業(yè)務(wù)經(jīng)營活動提供支持，在信息技術(shù)推動業(yè)務(wù)增長、提高企業(yè)經(jīng)營管理水平和節(jié)能增效等方面多出成果。

　　作者：吳家光 單位：中國郵政集團公司山西省信息技術(shù)局

　　推薦閱讀：《中國郵政》(月刊)創(chuàng)刊于1976年，是由中華人民共和國國家郵政局主管、主辦，郵政綜合性刊物。集中反映我國郵政通信建設(shè)、業(yè)務(wù)技術(shù)發(fā)展?fàn)顩r、經(jīng)營管理、服務(wù)水平、職工生活、教育訓(xùn)練、古代郵驛和集郵等內(nèi)容。