大數(shù)據(jù)融合發(fā)展看貴州 ▏數(shù)據(jù)工廠：“建管”一體化 為數(shù)據(jù)靈活賦能

來源：數(shù)據(jù)觀 時間：2019-05-01 11:32:08 作者：朱靜、李蘭松

大數(shù)據(jù)時代，“大數(shù)據(jù)”既是一項技術也是一種資源。作為資源，研究機構Gartner給出的定義是：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。而作為技術，大數(shù)據(jù)是采集、處理、存儲龐大數(shù)據(jù)并進行分析、應用的信息技術手段。隨著新一代信息技術的迅速發(fā)展與普及，全球數(shù)據(jù)以“井噴式”的速度生產(chǎn)，據(jù)IDC發(fā)布的《數(shù)據(jù)時代2025》顯示，全球每年產(chǎn)生的數(shù)據(jù)將從2018年的33ZB（1ZB=10萬億億字節(jié)）增長到175ZB，相當于每天產(chǎn)生491EB的數(shù)據(jù)。

相關數(shù)據(jù)顯示，我國擁有全球最多的移動互聯(lián)網(wǎng)用戶，無時無刻不在產(chǎn)生數(shù)據(jù)，積累沉淀了豐富的數(shù)據(jù)資源。但是，目前市場上大量的數(shù)據(jù)生產(chǎn)出來后停滯在數(shù)據(jù)庫，即使有使用，大多僅停留在淺度的應用中，于是出現(xiàn)了信息源采集單一、數(shù)據(jù)不精準、難以調(diào)度等問題。

作為新時代的戰(zhàn)略性資源，數(shù)據(jù)若只能停留在數(shù)據(jù)庫中沒有得到更好的利用，那將是一大損失。那么，該如何把這些數(shù)據(jù)合理利用起來呢？在貴州有這樣一個產(chǎn)品，或許是該痛點的一劑良藥，它就是由年華數(shù)據(jù)科技有限公司（以下簡稱“年華數(shù)據(jù)”）耗時多年研發(fā)出的數(shù)據(jù)工廠（SDAP）。

“建管”一體化 全面服務數(shù)據(jù)處理

基于數(shù)據(jù)價值無法得到充分發(fā)揮的痛點，SDAP將數(shù)據(jù)生產(chǎn)和數(shù)據(jù)管理合二為一，旨在實現(xiàn)企業(yè)大數(shù)據(jù)生產(chǎn)領域的“建管”一體化的服務產(chǎn)品。年華數(shù)據(jù)總經(jīng)理姚滔告訴記者，SDAP中的建管一體化可以從兩個方面來理解，其中，“建”主要指大數(shù)據(jù)平臺數(shù)據(jù)生產(chǎn)線的建設；“管”主要是指數(shù)據(jù)治理運營。

據(jù)年華數(shù)據(jù)副總經(jīng)理王剛介紹，SDAP在研發(fā)之初主要考慮到兩個方面的問題：一是數(shù)據(jù)生產(chǎn)，二是數(shù)據(jù)治理。在數(shù)據(jù)生產(chǎn)層面，主要是指SDAP與大數(shù)據(jù)平臺的數(shù)據(jù)資源和存儲介質(zhì)進行融合的問題。目前該產(chǎn)品可支持實時/非實時數(shù)據(jù)資源接入，支持Hadoop、Vertica MPP、DB2、GBase等多種數(shù)倉跨平臺生產(chǎn)，同時還可以利用產(chǎn)品的開放能力進行二次開發(fā)，最終確保數(shù)據(jù)生產(chǎn)高效和透明，為各行業(yè)企業(yè)級客戶提供穩(wěn)定和高效的數(shù)據(jù)生產(chǎn)能力。而數(shù)據(jù)治理方面，從元模型設計、元數(shù)據(jù)開發(fā)、生產(chǎn)調(diào)度、工程運維進行全流程治理，將治理辦法和管控手段100%落地在平臺，通過技術手段進行數(shù)據(jù)治理，確保治理的效果可量化、可評估、可追溯。

王剛介紹到，通過數(shù)據(jù)生產(chǎn)和數(shù)據(jù)治理兩層面的深度融合，目前，SDAP已實現(xiàn)數(shù)據(jù)生產(chǎn)與數(shù)據(jù)治理一體化管理，進而實現(xiàn)模型可視化設計、配置化開發(fā)、可視化調(diào)度、可視化運維，進而為企業(yè)實現(xiàn)管理的降本增效愿景。

數(shù)據(jù)的“加工廠”，讓數(shù)據(jù)實現(xiàn)“從有到用”

如果將數(shù)據(jù)比作原材料，那么SDAP就是“加工廠”，SDAP通過建設數(shù)據(jù)生產(chǎn)線，讓數(shù)據(jù)個性化生產(chǎn)、數(shù)據(jù)工業(yè)化生產(chǎn)，將成品數(shù)據(jù)提供給運營分析決策，讓數(shù)據(jù)“說話”，讓數(shù)據(jù)創(chuàng)造價值。

往往很多未轉型的傳統(tǒng)企業(yè)沒有意識到數(shù)據(jù)加工的重要性，常以“手工”或“作坊式”的手段進行采集和處理數(shù)據(jù)，數(shù)據(jù)生產(chǎn)效率和數(shù)據(jù)質(zhì)量過渡依賴于人工，無法滿足企業(yè)級用戶對數(shù)據(jù)生產(chǎn)的及時性、正確性的需求。此外，目前市場上很多數(shù)據(jù)存在被“裸放”的情況，很多公司或單位，即使收集到了大量的數(shù)據(jù)，但不知道如何高效利用，把數(shù)據(jù)資產(chǎn)放滯在數(shù)據(jù)庫，使其成為無效資產(chǎn)而造成資源浪費。但是，如果將這些數(shù)據(jù)收集起來，結合企業(yè)的業(yè)務場景，通過SDAP對數(shù)據(jù)進行“加工處理”，對底層存儲資源、計算資源的統(tǒng)一調(diào)度和管理，就能讓數(shù)據(jù)實現(xiàn)“從有到用”的轉變。

姚滔介紹道：“數(shù)據(jù)工業(yè)化生產(chǎn)，數(shù)據(jù)可管、可控、可視化生產(chǎn)是SDAP最大的特色。”傳統(tǒng)的“作坊式”數(shù)據(jù)生產(chǎn)在現(xiàn)階段可以滿足大部分企業(yè)級客戶的需求，但隨著數(shù)據(jù)量的增加、模型量的增加、人員的更替，數(shù)據(jù)生產(chǎn)、數(shù)據(jù)管理、數(shù)據(jù)運營層面會有越來越多的問題困擾的企業(yè)管理人員、數(shù)據(jù)管理人員。對于企業(yè)而言，數(shù)據(jù)作為一種資產(chǎn)是存在生命周期的，企業(yè)需要對數(shù)據(jù)的規(guī)劃、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)優(yōu)化、數(shù)據(jù)退役進行全流程的管理，而在這個生命周期內(nèi)，如何積極響應市場變化和業(yè)務需求、如何優(yōu)化數(shù)據(jù)生成的質(zhì)量和效率、怎樣及時清退落后的產(chǎn)能是企業(yè)級數(shù)據(jù)生產(chǎn)必須要考慮的內(nèi)容，而SDAP正是解決企業(yè)級數(shù)據(jù)生產(chǎn)和管理的工具。

SDAP可打破數(shù)據(jù)加工過程的技術壁壘，實現(xiàn)大數(shù)據(jù)生產(chǎn)多源采集、跨平臺生產(chǎn)調(diào)度、加工過程可視化，可有效節(jié)省時間、物力、財力，讓數(shù)據(jù)生產(chǎn)及時化、個性化、高效化。SDAP能靈活應用于各行各業(yè)，為其賦能，得益于其底層“數(shù)據(jù)對象”和“模型驅(qū)動”機制，滿足不同行業(yè)客戶使用SDAP做數(shù)據(jù)處理的需求，只要涉及到數(shù)據(jù)“輸入、處理、輸出”，SDAP就可以為使用者“加工”出滿意的成品。

大數(shù)據(jù)沃土中茁壯成長

談及貴州大數(shù)據(jù)，年華數(shù)據(jù)董事長趙定喜說到：“年華數(shù)據(jù)是貴州的本土企業(yè)，公司作為享受到貴州大數(shù)據(jù)發(fā)展紅利的一員，感到十分的榮幸。公司在2011年開始逐步轉型向發(fā)展大數(shù)據(jù)靠齊，與貴州的大數(shù)據(jù)發(fā)展戰(zhàn)略相得益彰，是一個明智的決定?！贝髷?shù)據(jù)時代的到來，給了貴陽一個千載難逢的“彎道取直、后發(fā)趕超”機遇，近年來，貴陽堅持高一格快一步深一層推動大數(shù)據(jù)戰(zhàn)略行動，培育了大批優(yōu)秀的大數(shù)據(jù)企業(yè)，年華數(shù)據(jù)作為其中一員，在貴州大數(shù)據(jù)這片沃土中快速成長。

同時，對于貴州如何發(fā)展好大數(shù)據(jù)，趙定喜也提出了自己的看法：首先，人才是關鍵，他認為貴州有了好的大數(shù)據(jù)發(fā)展環(huán)境，對于大多數(shù)的企業(yè)來說人才問題亟待解決；其次，也是最重要的就是加強打造大數(shù)據(jù)產(chǎn)業(yè)生態(tài)圈，他認為貴州大數(shù)據(jù)的發(fā)展離不開融合開放的產(chǎn)業(yè)生態(tài)圈，提高產(chǎn)業(yè)鏈聚集度，共同探索多元化合作運營模式，促進整個產(chǎn)業(yè)生態(tài)圈繁榮，使其中每個個體都能在這片大數(shù)據(jù)土壤中受益。（朱靜 李蘭松）

責任編輯：李蘭松