政務(wù)數(shù)據(jù)共享交換中的創(chuàng)新應(yīng)用：微服務(wù)總線+分布式數(shù)據(jù)區(qū)

來源：數(shù)據(jù)觀 時間：2018-11-07 15:54:08 作者：

微服作為一種新興的軟件架構(gòu)，把一個大型的單個應(yīng)用程序和服務(wù)拆分為數(shù)十個的支持微服務(wù)，系統(tǒng)中的各個微服務(wù)可被獨立部署，各個微服務(wù)之間是松耦合的。每個微服務(wù)僅關(guān)注于完成一件任務(wù)并能很好地完成該任務(wù)。

與傳統(tǒng)ESB架構(gòu)相比，微服務(wù)架構(gòu)主要用于實現(xiàn)業(yè)務(wù)系統(tǒng)之間的松散耦合框架，ESB僅僅幫助實現(xiàn)系統(tǒng)間的緊耦合；微服務(wù)架構(gòu)屬于有狀態(tài)框架，而ESB屬于無狀態(tài)的業(yè)務(wù)框架。因此，采用微服務(wù)架構(gòu)、云平臺、Docker技術(shù)的組合可以摒棄原有ESB的缺點。比如：基于SOA的ESB實現(xiàn)服務(wù)是一種粗粒度的服務(wù)，而微服務(wù)屬于細(xì)粒度的服務(wù)。針對微服務(wù)的技術(shù)特點，我們可以在電子政務(wù)共享交換實際應(yīng)用過程中，對每一個數(shù)據(jù)項建立標(biāo)準(zhǔn)接口，對數(shù)據(jù)接口進(jìn)行二次封裝，提供規(guī)范化、標(biāo)準(zhǔn)化、統(tǒng)一化的發(fā)布、訪問管理，以及推送用戶數(shù)據(jù)、消息隊列等服務(wù)。微服務(wù)架構(gòu)基于云平臺和Docker之類虛擬容器，允許不同語言開發(fā)，方便輕量集成，這也減少集成或接入第三方軟件數(shù)據(jù)時候的開發(fā)成本，提高響應(yīng)速度。

在現(xiàn)有的電子政務(wù)數(shù)據(jù)共享交換應(yīng)用場景中，建設(shè)以微服務(wù)技術(shù)為支撐的數(shù)據(jù)服務(wù)體系，通過微服務(wù)總線技術(shù)模式，實現(xiàn)數(shù)據(jù)共享交換服務(wù)。對于數(shù)據(jù)遷移中不能或不愿進(jìn)行數(shù)據(jù)搬家的數(shù)據(jù)生產(chǎn)者源數(shù)據(jù)，可以建設(shè)分步式數(shù)據(jù)區(qū)。這種“微服務(wù)總線+數(shù)據(jù)區(qū)”創(chuàng)新應(yīng)用模式，也為現(xiàn)有政務(wù)數(shù)據(jù)共享交換模式提出了全新的實踐路線。

圖：微服務(wù)總線+數(shù)據(jù)區(qū)邏輯架構(gòu)示意圖

微服務(wù)總線作為基于微服務(wù)架構(gòu)所呈現(xiàn)的一種形態(tài)，微服務(wù)總線的建立，可以滿足塊調(diào)度中心數(shù)據(jù)調(diào)度過程的可控、可溯，對經(jīng)由微服務(wù)總線的所有數(shù)據(jù)接口、數(shù)據(jù)流進(jìn)行全程監(jiān)控，并能夠?qū)φw流程進(jìn)行審計。

微服務(wù)總線建設(shè)目的是通過接管標(biāo)準(zhǔn)接口，形成服務(wù)目錄、數(shù)據(jù)目錄和安全目錄，通過服務(wù)目錄、數(shù)據(jù)目錄及安全目錄的協(xié)同使用，有效避免了服務(wù)交換過程中不可監(jiān)督、不可視、不可追溯、不可控所導(dǎo)致的數(shù)據(jù)濫用、冒用和復(fù)用。在政務(wù)數(shù)據(jù)共享交換中，微服務(wù)總線應(yīng)具備以下能力：

1、服務(wù)交換能力

基于微服務(wù)架構(gòu)的數(shù)據(jù)調(diào)度，實際是對數(shù)據(jù)資源的細(xì)粒度管理。因此，服務(wù)交換需要建設(shè)微服務(wù)總線實現(xiàn)服務(wù)交換功能。微服務(wù)總線在提供服務(wù)交換功能的同時，還需提供安全作用。微服務(wù)總線還需要將權(quán)限控制這些較重的非業(yè)務(wù)邏輯內(nèi)容遷移到服務(wù)路由層面，使得服務(wù)集群主體能夠具備更高的可復(fù)用性和可測試性。

從實際應(yīng)用中來看，微服務(wù)總線具有服務(wù)目錄、服務(wù)交互、服務(wù)路由的管理能力，在對外提供服務(wù)的時候，只需要通過開放微服務(wù)總線的地址就可以讓調(diào)用方統(tǒng)一的來訪問我們的服務(wù)，而不需要了解具體提供服務(wù)的主機(jī)信息。

2、接口管控能力

政務(wù)數(shù)據(jù)調(diào)度平臺核心能力除了包括服務(wù)交換外，還具備相應(yīng)的管控手段。因此，需要充分的考慮管理員需要具備的對當(dāng)前數(shù)據(jù)資源接口的管理和控制手段，使其可以對所有接口進(jìn)行管控，進(jìn)而提升數(shù)據(jù)資源的安全性。管控接口需要涉及統(tǒng)計信息與狀態(tài)、消息跟蹤，消息重新傳遞等功能。同時，為了保證系統(tǒng)的安全性以及可靠性，系統(tǒng)還提供警報機(jī)制以及故障切換功能。

3、操作日志管控能力

微服務(wù)總線需提供服務(wù)管理日志、系統(tǒng)監(jiān)控日志功能，用來分析和審計系統(tǒng)及事件日志的管理，能夠?qū)θW(wǎng)范圍內(nèi)的服務(wù)器、數(shù)據(jù)庫以及各種應(yīng)用服務(wù)等產(chǎn)生的日志，進(jìn)行全面收集和細(xì)致分析，通過統(tǒng)一的控制臺進(jìn)行實時可視化的呈現(xiàn)。通過定義日志篩選規(guī)則和策略，幫助用戶從海量日志數(shù)據(jù)中精確查找關(guān)鍵有用的事件數(shù)據(jù)，準(zhǔn)確定位故障并提前識別安全威脅，從而降低系統(tǒng)宕機(jī)時間、提升服務(wù)性能、保障服務(wù)的運行安全。

4、安全管理能力

微服務(wù)總線需要確保將正確的數(shù)據(jù)發(fā)送給正確的用戶。微服務(wù)總線需要保障數(shù)據(jù)的訪問安全，所以微服務(wù)總線須具備訪問控制、安全認(rèn)證以及高可用服務(wù)功能。

5、級聯(lián)管理能力

微服務(wù)總線可實行多級部署，在多級部署的形式下，依然要保證數(shù)據(jù)調(diào)度功能的統(tǒng)一性。所以為了實現(xiàn)數(shù)據(jù)資源的統(tǒng)一調(diào)度指揮，需要上級微服務(wù)總線具備通過級聯(lián)功能與下級微服務(wù)總線連接的功能，并且最終在上級微服務(wù)總線實現(xiàn)統(tǒng)一管控。

微服務(wù)總線的建設(shè)目的是接管標(biāo)準(zhǔn)接口，而數(shù)據(jù)區(qū)建設(shè)目的是建立標(biāo)準(zhǔn)接口。尤其是針對無法物理集中的系統(tǒng)和數(shù)據(jù)資源的原始數(shù)據(jù)，建立專門的數(shù)據(jù)區(qū)進(jìn)行數(shù)據(jù)的分庫分表存儲。然后對數(shù)據(jù)接口進(jìn)行二次封裝，實現(xiàn)交付規(guī)范化、標(biāo)準(zhǔn)化的訪問接口。分布式數(shù)據(jù)區(qū)的組件整合所有數(shù)據(jù)通道，并且針對數(shù)據(jù)庫服務(wù)、文件服務(wù)、消息服務(wù)、結(jié)構(gòu)化數(shù)據(jù)服務(wù)進(jìn)行底層數(shù)據(jù)目錄的原數(shù)據(jù)收集。因此數(shù)據(jù)區(qū)建設(shè)需具備以下能力：

1、數(shù)據(jù)接入方式多樣能力

政務(wù)系統(tǒng)的建設(shè)周期很長，因此政務(wù)系統(tǒng)中包含了各種各樣的數(shù)據(jù)形式，為了整合數(shù)據(jù)，完成對各類數(shù)據(jù)的收集工作。分布式數(shù)據(jù)區(qū)系統(tǒng)功能需要支持同步消息通道、異步消息通道、數(shù)據(jù)庫通道和文件通道，以滿足數(shù)據(jù)收集的需求。

2、整合相關(guān)聯(lián)數(shù)據(jù)能力

政務(wù)數(shù)據(jù)管理或調(diào)度平臺一個非常重要的功能就是整合分散在各個單位的數(shù)據(jù)進(jìn)行統(tǒng)一的對比分析，為政府工作提供更加精確的數(shù)據(jù)支撐。所以分布式數(shù)據(jù)區(qū)系統(tǒng)需要支持關(guān)系型數(shù)據(jù)庫的合庫合表，在創(chuàng)建分布式數(shù)據(jù)庫后，分布式數(shù)據(jù)區(qū)系統(tǒng)需要按照指定的鍵生成合庫合表規(guī)則，實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)整合。

3、優(yōu)化數(shù)據(jù)庫讀寫性能能力

隨著數(shù)據(jù)訪問量的不斷提高。為了滿足進(jìn)一步的查詢需求，需要進(jìn)行分布式數(shù)據(jù)庫的讀寫分離，通過使用關(guān)系型數(shù)據(jù)庫，只讀實例或者備機(jī)實現(xiàn)讀寫分離，幫助應(yīng)用解決事務(wù)、只讀實例、指定主備訪問等細(xì)節(jié)問題，對應(yīng)用無侵入，在分布式數(shù)據(jù)區(qū)系統(tǒng)控制臺完成讀寫分離相關(guān)操作。

4、性能和容量的平滑擴(kuò)展能力

當(dāng)分布式數(shù)據(jù)區(qū)的數(shù)量出現(xiàn)訪問量以及容量瓶頸時，分布式數(shù)據(jù)區(qū)系統(tǒng)作為底層性能支持工具，需要具備支持存儲容量和查詢性能的平滑擴(kuò)展，并且擴(kuò)容無需進(jìn)行應(yīng)用改造，擴(kuò)容進(jìn)度支持可視化跟蹤。

5、指令集運維功能能力

提供運維人員對分布式數(shù)據(jù)區(qū)系統(tǒng)進(jìn)行運維指令的發(fā)布，包括SHOW SLOW、TRACE、SHOW NODE 等指令，快速發(fā)現(xiàn)和定位問題，提高運維效率。

6、統(tǒng)一身份認(rèn)證體系能力

分布式數(shù)據(jù)區(qū)系統(tǒng)為了確保不同角色的賬號操作安全，需要支持統(tǒng)一的數(shù)據(jù)賬號和權(quán)限體系，提高數(shù)據(jù)接入的安全性。

7、保證數(shù)據(jù)庫一致性能力

分布式數(shù)據(jù)區(qū)系統(tǒng)作為一個可以實現(xiàn)分布式數(shù)據(jù)庫功能的中間件系統(tǒng)，需要支持分布式事務(wù)，同時結(jié)合分布式事務(wù)套件GTS，保證分布式數(shù)據(jù)庫數(shù)據(jù)一致性。

8、數(shù)據(jù)庫監(jiān)控和報警機(jī)制能力

分布式數(shù)據(jù)區(qū)系統(tǒng)作為數(shù)據(jù)采集端需支持對核心資源指標(biāo)和數(shù)據(jù)庫實例指標(biāo)的實時監(jiān)控和報警。

【關(guān)于國路安科技】

國路安科技公司成立于 2009 年，是一家專注于大數(shù)據(jù)領(lǐng)域，為政府、行業(yè)、企業(yè)提供數(shù)據(jù)整合共享平臺、配套產(chǎn)品研發(fā)、一體化解決方案的高新技術(shù)企業(yè)?？偛吭O(shè)于西藏，在北京、上海、貴州等11個地區(qū)設(shè)有分支機(jī)構(gòu)，目前已形成“兩個中心，七大區(qū)域平臺，多行業(yè)縱深發(fā)展”的全國性戰(zhàn)略布局。

國路安作為工信部“全國信標(biāo)委大數(shù)據(jù)工作組”工作組成員之一，創(chuàng)新性的提出以“微服務(wù)架構(gòu)+分布式數(shù)據(jù)區(qū)”為核心技術(shù)的數(shù)據(jù)整合共享解決方案，并將該方案以及相關(guān)產(chǎn)品、技術(shù)先后在某人力資源社會保障廳基礎(chǔ)支撐平臺建設(shè)、某省級數(shù)據(jù)交換平臺建設(shè)、某部委數(shù)據(jù)資產(chǎn)梳理等項目中獲得成功應(yīng)用。

責(zé)任編輯：陳近梅