數(shù)字冰雹創(chuàng)始人鄧瀟：2017大數(shù)據(jù)可視化的關(guān)鍵技術(shù)及行業(yè)應(yīng)用

來源：中國(guó)網(wǎng) 時(shí)間：2017-02-09 10:23:27 作者：數(shù)字冰雹

　　大數(shù)據(jù)可視化的內(nèi)涵與意義

　　大數(shù)據(jù)可視化就是利用視覺的方式將那些巨大的、復(fù)雜的、枯燥的、潛邏輯的數(shù)據(jù)展現(xiàn)出來，無(wú)論通過地理空間、時(shí)間序列，還是邏輯關(guān)系等不同維度，最終使讀者在短時(shí)間內(nèi)理解數(shù)據(jù)背后的規(guī)律與價(jià)值。她是探討、交流和洞察數(shù)據(jù)的最佳方式。

　　數(shù)據(jù)可視化改變了傳統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)呈現(xiàn)復(fù)雜枯燥，難以理解的困境，實(shí)現(xiàn)了信息的有效傳達(dá)，將藝術(shù)性與功能性并重，通過多樣、恰當(dāng)、精細(xì)的展現(xiàn)、交互方式，高效能的呈現(xiàn)出數(shù)據(jù)背后隱藏的趨勢(shì)、規(guī)律和關(guān)系。

　　大數(shù)據(jù)可視化的關(guān)鍵技術(shù)

　　數(shù)據(jù)可視化系統(tǒng)是與用戶直接對(duì)話、幫助用戶完成決策的載體工具；一個(gè)優(yōu)秀的數(shù)據(jù)可視化系統(tǒng)，完美體驗(yàn)加高顏值的外表之下，隱藏著大數(shù)據(jù)整個(gè)產(chǎn)業(yè)鏈領(lǐng)域的融會(huì)貫通：從數(shù)據(jù)清理集成，到數(shù)據(jù)存儲(chǔ)整合，再到數(shù)據(jù)分析挖掘，之后進(jìn)行可視化呈現(xiàn)，最終完成人機(jī)交互的完美體驗(yàn)，整個(gè)過程缺一不可。

　　

　　一、數(shù)據(jù)集成處理

　　原始數(shù)據(jù)來源龐雜，各式各樣，可能來自傳感器、業(yè)務(wù)人員操作記錄、網(wǎng)絡(luò)日志等各種不同來源；可能是結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)也有可能是圖像、視頻等，大數(shù)據(jù)的特點(diǎn)決定了這些數(shù)據(jù)會(huì)存在著不一致、重復(fù)、含噪聲等問題。在數(shù)據(jù)應(yīng)用之前，需要通過數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約等手段對(duì)這些問題進(jìn)行處理，以達(dá)到可以用于數(shù)據(jù)分析的目的。

　　二、數(shù)據(jù)存儲(chǔ)管理

　　由于大數(shù)據(jù)具備4V的特點(diǎn)（即Volume、Variety、Value和Velocity，意為數(shù)據(jù)體量巨大、數(shù)據(jù)類型繁多、價(jià)值密度低和處理速度快），僅依賴傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)已經(jīng)無(wú)法完成相應(yīng)的存儲(chǔ)、管理任務(wù)。而需要引入鍵值數(shù)據(jù)庫(kù)、列存數(shù)據(jù)庫(kù)、圖存數(shù)據(jù)庫(kù)、文檔型數(shù)據(jù)庫(kù)等非機(jī)構(gòu)化數(shù)據(jù)庫(kù)數(shù)據(jù)技術(shù)，同時(shí)運(yùn)用分布式、云存儲(chǔ)等技術(shù)對(duì)數(shù)據(jù)加以存儲(chǔ)和管理，實(shí)現(xiàn)海量批處理和高速流處理。

　　面對(duì)這樣復(fù)雜的數(shù)據(jù)管理機(jī)制，則需要一個(gè)統(tǒng)一的數(shù)據(jù)管理平臺(tái)，在應(yīng)用層面對(duì)數(shù)據(jù)存儲(chǔ)資源進(jìn)行統(tǒng)一管理控制。

　　三、數(shù)據(jù)分析、挖掘

　　1、多維聯(lián)動(dòng)分析

　　不止可視化數(shù)據(jù)，更要可視化觀點(diǎn)。通過專業(yè)的統(tǒng)計(jì)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)方法，理清海量數(shù)據(jù)指標(biāo)與維度，按主題、成體系呈現(xiàn)復(fù)雜數(shù)據(jù)背后的聯(lián)系；將多個(gè)視圖整合，展示同一數(shù)據(jù)在不同維度下呈現(xiàn)的數(shù)據(jù)背后的規(guī)律，幫助用戶從不同角度分析數(shù)據(jù)、縮小答案的范圍、展示數(shù)據(jù)的不同影響。具備顯示結(jié)果的形象化和使用過程的互動(dòng)性，便于用戶及時(shí)捕捉其關(guān)注的數(shù)據(jù)信息。

　　包括：

　　多視圖整合，交互聯(lián)動(dòng)

　　任意多維度分析

　　數(shù)據(jù)上卷下鉆，多層鉆取

　　多樣的指標(biāo)計(jì)算模型

　　可配置的Dashboard

　　2、算法及模型嵌入

　　除了內(nèi)置常見的統(tǒng)計(jì)算法，還需要針對(duì)不同行業(yè)的業(yè)務(wù)需求，嵌入行業(yè)專用的指標(biāo)分析模型、仿真模型和預(yù)測(cè)模型等業(yè)務(wù)模型，運(yùn)用深度學(xué)習(xí)算法等前沿科技成果，以適應(yīng)行業(yè)用戶的不同業(yè)務(wù)需求。

　　3、數(shù)據(jù)挖掘

　　數(shù)據(jù)挖掘是一種高級(jí)的數(shù)據(jù)分析方法，側(cè)重解決四類數(shù)據(jù)分析問題：分類、聚類、關(guān)聯(lián)和預(yù)測(cè)，重點(diǎn)在尋找模式與規(guī)律。數(shù)據(jù)挖掘往往是目標(biāo)不是很清楚，在實(shí)現(xiàn)目標(biāo)的過程中采用什么方法不能確定，所以數(shù)據(jù)挖掘比數(shù)據(jù)分析難度要高很多。優(yōu)異的數(shù)據(jù)可視化決策系統(tǒng)，應(yīng)該具備優(yōu)異的數(shù)據(jù)發(fā)現(xiàn)、相關(guān)性分析等功能支持，并且提供友好的交互方式和直觀的可視化呈現(xiàn)表達(dá)手段。

　　四、數(shù)據(jù)可視化

　　數(shù)據(jù)可視化將各種類型的數(shù)據(jù)，通過不同的呈現(xiàn)方式，包括結(jié)合地理信息系統(tǒng)、數(shù)據(jù)統(tǒng)計(jì)圖表、三維建模、時(shí)空態(tài)勢(shì)展示等豐富的展現(xiàn)形式，將數(shù)據(jù)直觀地呈現(xiàn)給用戶。

　　一個(gè)成熟的可視化產(chǎn)品平臺(tái)是基礎(chǔ)技術(shù)保障，能夠保證系統(tǒng)的交付質(zhì)量與效率。比如數(shù)字冰雹的可視化產(chǎn)品包括了人機(jī)交互引擎、數(shù)據(jù)驅(qū)動(dòng)引擎、圖像渲染引擎、多維分析引擎等一系列基礎(chǔ)產(chǎn)品平臺(tái)；這些基礎(chǔ)產(chǎn)品來自于數(shù)年技術(shù)與經(jīng)驗(yàn)的積累，在應(yīng)用當(dāng)中不斷完善，確保了項(xiàng)目高水準(zhǔn)的實(shí)施與交付。

　　五、人機(jī)交互

　　數(shù)據(jù)最終是要和人打交道，人機(jī)交互設(shè)計(jì)是非常重要的。一個(gè)良好的數(shù)據(jù)可視化分析環(huán)境，是要從推開門那一剎那開始體驗(yàn)的，即人機(jī)交互包括最終的數(shù)據(jù)可視化軟件系統(tǒng)，也包括了用于數(shù)據(jù)呈現(xiàn)或交互的各種顯示、控制設(shè)備。一個(gè)適用的人機(jī)交互方案，要根據(jù)用戶的使用情境來設(shè)計(jì)，針對(duì)形象展示廳到大型指控中心等不同環(huán)境，以及各個(gè)應(yīng)用行業(yè)的各類需求，都會(huì)有不同的交互解決方案。

　　數(shù)據(jù)可視化行業(yè)應(yīng)用

　　大數(shù)據(jù)可視化系統(tǒng)最終是要應(yīng)用到行業(yè)中去的，數(shù)字冰雹基于多年來積累的基礎(chǔ)可視化產(chǎn)品組件，又與行業(yè)深度結(jié)合，基于各個(gè)行業(yè)不同的需求，形成針對(duì)各行業(yè)的基礎(chǔ)產(chǎn)品。

　　航天軍工可視化系統(tǒng)

　　數(shù)字冰雹的航天軍工態(tài)勢(shì)感知平臺(tái)是面向航天軍工領(lǐng)域的高級(jí)可視化仿真解決方案。平臺(tái)擁有幾近寫實(shí)的視覺效果，實(shí)時(shí)動(dòng)態(tài)的戰(zhàn)場(chǎng)環(huán)境與態(tài)勢(shì)仿真，靈活自由的大屏多屏操作模式，強(qiáng)大的數(shù)據(jù)多維分析，無(wú)以倫比的大數(shù)據(jù)性能，以及對(duì)無(wú)邊界的復(fù)雜場(chǎng)景的支持。

　　戰(zhàn)場(chǎng)態(tài)勢(shì)可視化擁有全三維戰(zhàn)場(chǎng)態(tài)勢(shì)，多樣化的二維電子地圖，支持海陸空天電大規(guī)模聯(lián)合作戰(zhàn)的戰(zhàn)略、戰(zhàn)役、戰(zhàn)術(shù)全層面可視化，同時(shí)支持復(fù)雜電磁態(tài)勢(shì)、作戰(zhàn)輔助信息的呈現(xiàn)。

　　智慧城市大數(shù)據(jù)可視化系統(tǒng)

　　數(shù)字冰雹的智慧城市大數(shù)據(jù)可視化系統(tǒng)，能夠?qū)⒊鞘羞\(yùn)行核心系統(tǒng)的各項(xiàng)關(guān)鍵數(shù)據(jù)進(jìn)行可視化呈現(xiàn)，從而對(duì)包括應(yīng)急指揮、城市管理、公共安全、環(huán)境保護(hù)、智能交通、基礎(chǔ)設(shè)施等領(lǐng)域進(jìn)行管理決策支持，進(jìn)而實(shí)現(xiàn)城市智慧式管理和運(yùn)行。

　　系統(tǒng)支持集成包括地理信息、GPS數(shù)據(jù)、建筑物三維數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)、攝像頭采集畫面等多類數(shù)據(jù)，可以把政府各個(gè)部門、各種類型的數(shù)據(jù)融合打通，包括市政、警務(wù)、消防、交通、通訊、商業(yè)等，匯集在此統(tǒng)一的大數(shù)據(jù)平臺(tái)之上，用于綜合管理監(jiān)控城市整體運(yùn)行態(tài)勢(shì)。

　　網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)

　　數(shù)字冰雹的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)，能夠?qū)⒊橄蟮木W(wǎng)絡(luò)和系統(tǒng)數(shù)據(jù)進(jìn)行可視化呈現(xiàn)，從而對(duì)網(wǎng)絡(luò)中的安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)、操作系統(tǒng)等整體環(huán)境進(jìn)行安全狀態(tài)監(jiān)測(cè)，幫助用戶快速掌握網(wǎng)絡(luò)狀況，識(shí)別網(wǎng)絡(luò)異常、入侵，把握網(wǎng)絡(luò)安全事件發(fā)展趨勢(shì)，全方位感知網(wǎng)絡(luò)安全態(tài)勢(shì)。

　　系統(tǒng)功能包括網(wǎng)絡(luò)安全態(tài)勢(shì)感知、IT運(yùn)維可視化、信息資產(chǎn)監(jiān)測(cè)、安全決策駕駛艙以及安全數(shù)據(jù)情報(bào)分析等。

　　企業(yè)管理可視化平臺(tái)

　　數(shù)字冰雹的商業(yè)智能可視化平臺(tái)，能夠結(jié)合各行各業(yè)獨(dú)特的指標(biāo)和 KPI 表示方式，通過數(shù)據(jù)多維度、可交互聯(lián)動(dòng)分析，實(shí)時(shí)解答用戶問題，對(duì)政府、金融、零售、電商、環(huán)保、電信、醫(yī)療、房地產(chǎn)等領(lǐng)域進(jìn)行管理決策支持。

　　系統(tǒng)將數(shù)據(jù)按主題、成體系地加以呈現(xiàn)，統(tǒng)計(jì)數(shù)據(jù)既可以加載于綜合頁(yè)面之上，也可單獨(dú)形成專門的數(shù)據(jù)統(tǒng)計(jì)分析主題頁(yè)面，展示數(shù)據(jù)在不同維度下呈現(xiàn)的數(shù)據(jù)背后的規(guī)律，幫助用戶從不同角度觀察、分析數(shù)據(jù)，聚焦趨勢(shì)規(guī)律。

　　工業(yè)監(jiān)控可視化平臺(tái)

　　數(shù)字冰雹提供的工業(yè)監(jiān)控可視化平臺(tái)，可以實(shí)現(xiàn)與用戶原有的自動(dòng)控制系統(tǒng)相結(jié)合，通過虛擬現(xiàn)實(shí)和數(shù)據(jù)儀表盤等多種展現(xiàn)手段，為大數(shù)據(jù)時(shí)代的工業(yè)生產(chǎn)監(jiān)控和虛擬制造應(yīng)用，提供效果最優(yōu)異的可視化解決方案。

　　系統(tǒng)支持將虛擬現(xiàn)實(shí)技術(shù)有機(jī)融入到工業(yè)監(jiān)控系統(tǒng)，以真實(shí)廠房生產(chǎn)線的仿真場(chǎng)景為基礎(chǔ)，對(duì)各個(gè)工段、重要設(shè)備的形態(tài)進(jìn)行復(fù)原，并實(shí)時(shí)反映其運(yùn)行狀態(tài)。針對(duì)各種運(yùn)行數(shù)據(jù)，例如設(shè)備溫度、轉(zhuǎn)速、電流、電壓以及各種實(shí)時(shí)產(chǎn)能、統(tǒng)計(jì)匯總數(shù)據(jù)的監(jiān)控，我們充分發(fā)揮數(shù)據(jù)儀表盤中各種圖表的展現(xiàn)優(yōu)勢(shì)，針對(duì)不同崗位監(jiān)控的需要對(duì)數(shù)據(jù)儀表進(jìn)行合理分組，以實(shí)現(xiàn)快速狀態(tài)切換，適應(yīng)不同場(chǎng)景。

　　數(shù)據(jù)可視化是科學(xué)、藝術(shù)和設(shè)計(jì)的結(jié)合，當(dāng)枯燥隱晦的數(shù)據(jù)被數(shù)據(jù)科學(xué)家們以優(yōu)雅、簡(jiǎn)明、直觀的視覺方式呈現(xiàn)時(shí)，帶給人們的不僅僅是一種全新的觀察世界的方法。數(shù)字冰雹希望通過我們的努力，真正幫助客戶實(shí)現(xiàn)“駕馭數(shù)據(jù)、洞悉價(jià)值”的目標(biāo)，用好大數(shù)據(jù)，切實(shí)提升決策效率與能力。

　　分享嘉賓：鄧瀟

　　北京數(shù)字冰雹信息技術(shù)有限公司創(chuàng)始人、董事長(zhǎng)。曾在眾多國(guó)際計(jì)算機(jī)技術(shù)大賽中屢獲桂冠，被比爾蓋茨親自授予“創(chuàng)新英雄”獎(jiǎng)。在大數(shù)據(jù)可視化及人機(jī)交互開發(fā)領(lǐng)域擁有十余年經(jīng)驗(yàn)，對(duì)行業(yè)有著深刻的理解與認(rèn)知。帶領(lǐng)團(tuán)隊(duì)自主研發(fā)的核心平臺(tái)產(chǎn)品AVE（Advanced Visualization Engine先進(jìn)可視化引擎）是國(guó)內(nèi)首屈一指的數(shù)據(jù)可視化系統(tǒng)產(chǎn)品，在業(yè)內(nèi)已擁有一定影響力和良好的聲譽(yù)，廣泛應(yīng)用到航天戰(zhàn)場(chǎng)、智慧城市、網(wǎng)絡(luò)安全、工業(yè)監(jiān)控、企業(yè)管理等領(lǐng)域。

?點(diǎn)擊進(jìn)入 數(shù)字冰雹 在數(shù)據(jù)觀的企業(yè)欄目>>>

?

責(zé)任編輯：陳近梅