精品无人区无码乱码毛片国产_性做久久久久久免费观看_天堂中文在线资源_7777久久亚洲中文字幕

首頁 自媒自媒體 THU數(shù)據(jù)派正文

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?導(dǎo)讀:2017年2月18日下午,清華大數(shù)據(jù)“應(yīng)用·創(chuàng)新”系列講座新年第一講——數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航在清華大學(xué)FIT樓成功舉辦。

?本期演講嘉賓邀請(qǐng)到清華校友、清數(shù)-DAMA數(shù)據(jù)治理委員會(huì)秘書長(zhǎng)劉晨。劉晨先生從數(shù)據(jù)治理的意義出發(fā),講解了數(shù)據(jù)治理相關(guān)的國(guó)內(nèi)外趨勢(shì)、國(guó)際方法與本地實(shí)踐,結(jié)合企業(yè)信息化建設(shè)環(huán)境和歷程介紹了數(shù)據(jù)治理相關(guān)領(lǐng)域的發(fā)展歷史與現(xiàn)狀,并結(jié)合大數(shù)據(jù)時(shí)代熱點(diǎn)問題從數(shù)據(jù)治理角度為數(shù)據(jù)資產(chǎn)保駕護(hù)航提出建議。

?以下內(nèi)容為劉晨先生作的題為“數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航”的主題報(bào)告原文(下篇)。在不改變?cè)獾那疤嵯?,部分?nèi)容有刪改。

?昨天的發(fā)文中,我們講了由誰來做數(shù)據(jù)治理和組織機(jī)構(gòu)管理。今天我們講更細(xì)致的,每一部分專員具體的職責(zé),怎么選擇這些專員。這是更細(xì)的話題,也就是數(shù)據(jù)治理具體的方法。

?究竟用什么樣的方式開展數(shù)據(jù)治理工作?這里強(qiáng)調(diào)數(shù)據(jù)的生命周期。數(shù)據(jù)生命周期在市面上有三四種不同的理解,這里提兩種:

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?第一, 從空間視角看數(shù)據(jù)的生命周期。黃仁宇的中國(guó)大歷史,里面強(qiáng)調(diào)中國(guó)為什么是一個(gè)政權(quán)上相對(duì)集權(quán)的國(guó)家呢?這和歷史有關(guān)系,和地理也有關(guān)系。因?yàn)橹袊?guó)要經(jīng)常治理水患,黃河一發(fā)水,不管究竟是幾國(guó),也不管邊界,是四處流的,想把水患治理好,要有一個(gè)集中權(quán)力來調(diào)動(dòng)不同領(lǐng)域、不同省、不同國(guó)之間的資源,去對(duì)黃河進(jìn)行疏堵或?qū)﹄y民進(jìn)行處理,所以要有一個(gè)相對(duì)集權(quán)的政權(quán)來處理水患,久而久之就衍生成為政權(quán)上面也是一個(gè)集權(quán)。這是從水的流動(dòng)方面。治理水,要有一個(gè)集權(quán)的組織。數(shù)據(jù)也是一樣的,從各個(gè)業(yè)務(wù)系統(tǒng)生成數(shù)據(jù),到數(shù)據(jù)平臺(tái)加工,再流向不同的業(yè)務(wù)部門,數(shù)據(jù)也是流動(dòng)的,數(shù)據(jù)不應(yīng)該有這么多邊界,要想把流動(dòng)的數(shù)據(jù)治理好,相對(duì)也要有一個(gè)集中統(tǒng)籌規(guī)劃的職能去對(duì)數(shù)據(jù)進(jìn)行管理。這一點(diǎn)從空間角度來看數(shù)據(jù)的生命周期。

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?第二,從時(shí)間視角來理解。也就是數(shù)據(jù)的生成是從哪開始,變化在哪,呈現(xiàn)、使用在哪,最終銷毀在哪。數(shù)據(jù)的生命周期最開始也沒有得到大家的重視,最開始做系統(tǒng)開發(fā)時(shí),我們關(guān)心的是系統(tǒng)本身的生命周期,一個(gè)信息系統(tǒng)無論是做一個(gè)OA或者做CRM系統(tǒng),還是做一個(gè)數(shù)據(jù)倉庫、數(shù)據(jù)平臺(tái),我們關(guān)心的都是系統(tǒng)功能。當(dāng)有了系統(tǒng)之后,我們就可以去用數(shù)據(jù)了,基于這個(gè)系統(tǒng)去創(chuàng)建數(shù)據(jù)、采集數(shù)據(jù)、數(shù)據(jù)的維護(hù)使用、數(shù)據(jù)的歸檔清除等等,這是比較短的數(shù)據(jù)生命周期。但是當(dāng)數(shù)據(jù)有了系統(tǒng)之后再考慮數(shù)據(jù),數(shù)據(jù)生成之后再去管它的質(zhì)量其實(shí)已經(jīng)晚了,因?yàn)檫@時(shí)候數(shù)據(jù)已經(jīng)定義好了,這時(shí)候數(shù)據(jù)庫結(jié)構(gòu),數(shù)據(jù)的架構(gòu)方式已經(jīng)定義好了,這時(shí)候再想看數(shù)據(jù)滿足不滿足你的質(zhì)量要求已經(jīng)有些晚了,還要強(qiáng)調(diào)把數(shù)據(jù)藍(lán)色部分的生命周期再往前,系統(tǒng)規(guī)劃階段要考慮數(shù)據(jù)架構(gòu)的規(guī)劃,在系統(tǒng)的需求分析和設(shè)計(jì)階段要考慮數(shù)據(jù)標(biāo)準(zhǔn),考慮數(shù)據(jù)質(zhì)量滿足什么需求,數(shù)據(jù)的安全、數(shù)據(jù)保留時(shí)間,要在這個(gè)階段考慮。真正系統(tǒng)上線之后,數(shù)據(jù)常態(tài)使用時(shí),再做數(shù)據(jù)常態(tài)質(zhì)量監(jiān)控、數(shù)據(jù)保留歸檔等。元數(shù)據(jù)的管理,數(shù)據(jù)的定義從前到后,從規(guī)劃到最后使用都要串起來,元數(shù)據(jù)要貫穿在整個(gè)過程當(dāng)中。剛才圖里的職能就被分散在整個(gè)系統(tǒng)開發(fā)的不同時(shí)間段里,很多企業(yè)其實(shí)在這個(gè)系統(tǒng)規(guī)劃和設(shè)計(jì)的階段比較少考慮數(shù)據(jù)的需求,這是大家以后回去工作時(shí)要重視的。我們?cè)谝粋€(gè)系統(tǒng)建設(shè)的時(shí)候就把這個(gè)系統(tǒng)里面有哪些數(shù),這些數(shù)據(jù)的定義,規(guī)格,需要滿足什么質(zhì)量規(guī)定出來。數(shù)據(jù)治理就是從空間和時(shí)間兩個(gè)角度來看生命周期,然后對(duì)數(shù)據(jù)進(jìn)行統(tǒng)籌的管理。

?下面來講一些日常工作中與數(shù)據(jù)治理高度相關(guān)的領(lǐng)域。

?一、數(shù)據(jù)架構(gòu)

?我們首先來講一下數(shù)據(jù)架構(gòu)。架構(gòu)這個(gè)詞比較虛,比如給每人發(fā)一個(gè)小紙條寫寫什么是數(shù)據(jù)架構(gòu),收上來100份,可能是100個(gè)不同定義。好的地方是,DAMA這本書里對(duì)于數(shù)據(jù)架構(gòu)是什么,給出了三個(gè)明確的內(nèi)容。第一,要有企業(yè)級(jí)的數(shù)據(jù)模型,要有概念模型和邏輯模型,可能做過數(shù)據(jù)庫設(shè)計(jì)的同學(xué)都知道,這是一個(gè)了解的內(nèi)容。第二,要有一個(gè)信息價(jià)值鏈的分析,這個(gè)分析是把數(shù)據(jù)和業(yè)務(wù)流程能夠匹配起來。第三,要有數(shù)據(jù)平臺(tái)的架構(gòu),可能建大數(shù)據(jù)平臺(tái),可能建數(shù)據(jù)倉庫的平臺(tái),更多強(qiáng)調(diào)的是有哪些模塊,數(shù)據(jù)從哪采集,怎么樣加工,強(qiáng)調(diào)的是一些大的平臺(tái)的架構(gòu)的設(shè)計(jì),但是平臺(tái)架構(gòu)里面可能對(duì)于上面的模型和信息價(jià)值鏈分析考慮就少。在國(guó)內(nèi)做數(shù)據(jù)倉庫各種平臺(tái)建設(shè)時(shí),大部分時(shí)候考慮都是數(shù)據(jù)平臺(tái)的架構(gòu),對(duì)于上面這兩部分內(nèi)容考慮的都欠缺。這也是造成我們后面數(shù)據(jù)定義不夠細(xì),數(shù)據(jù)問題在系統(tǒng)上線之后多發(fā)的主要原因。架構(gòu)管理在系統(tǒng)規(guī)劃設(shè)計(jì)階段需要把這幾部分內(nèi)容都考慮清楚。

?示例:有企業(yè)數(shù)據(jù)模型,分成主區(qū)域模型、概念模型、邏輯數(shù)據(jù)模型。概念模型是不帶屬性的,比如員工、客戶、客戶的基本信息、客戶的行為信息等等。邏輯數(shù)據(jù)模型把客戶的名稱、聯(lián)系方式、地址、性別等等屬性信息加進(jìn)來,形成我們一個(gè)邏輯數(shù)據(jù)模型。建議在每個(gè)企業(yè)都能夠持續(xù)維護(hù)一套自己的企業(yè)級(jí)數(shù)據(jù)模型,而不是今天做這個(gè)系統(tǒng)就做這個(gè)系統(tǒng)的模型;明天做那個(gè)系統(tǒng),再面向那個(gè)應(yīng)用做一套模型,這兩套模型之間可能會(huì)有一些不一致的內(nèi)容。應(yīng)該有一個(gè)統(tǒng)一的數(shù)據(jù)模型參照的藍(lán)圖,這是我們企業(yè)級(jí)的數(shù)據(jù)模型。

?有了企業(yè)級(jí)數(shù)據(jù)模型之后,做信息價(jià)值鏈的分析,我們要把業(yè)務(wù)流程能夠和數(shù)據(jù)映射起來。舉例,保險(xiǎn)公司核心業(yè)務(wù)流程是要開發(fā)保險(xiǎn)產(chǎn)品,要做保險(xiǎn)產(chǎn)品的營(yíng)銷,要做客戶關(guān)系管理,這是它的核心業(yè)務(wù)活動(dòng),這個(gè)過程中這個(gè)公司會(huì)產(chǎn)生數(shù)據(jù),有保險(xiǎn)代理人的數(shù)據(jù)、有相關(guān)金融機(jī)構(gòu)/風(fēng)險(xiǎn)監(jiān)管部門的數(shù)據(jù),這是一些數(shù)據(jù)的類型。在開發(fā)產(chǎn)品環(huán)節(jié),會(huì)創(chuàng)建我的產(chǎn)品數(shù)據(jù),會(huì)讀我的客戶數(shù)據(jù),使用什么數(shù)據(jù),生成什么數(shù)據(jù)。在營(yíng)銷產(chǎn)品的時(shí)候,可能要去創(chuàng)建我的客戶數(shù)據(jù),創(chuàng)建我的保險(xiǎn)代理機(jī)構(gòu)的數(shù)據(jù)。做客戶關(guān)系管理時(shí),要更新數(shù)據(jù),這個(gè)數(shù)據(jù)在不同業(yè)務(wù)活動(dòng)當(dāng)中,有的被使用,有的被更新,有的被創(chuàng)建,可能還會(huì)有刪除的情況。有了這樣一個(gè)矩陣,大家很容易識(shí)別什么樣的業(yè)務(wù)活動(dòng)會(huì)用什么數(shù),會(huì)產(chǎn)生什么數(shù),哪些數(shù)據(jù)是在什么業(yè)務(wù)活動(dòng)里生成的,兩個(gè)關(guān)系就會(huì)很清楚。

?比如公司都很關(guān)注客戶數(shù)據(jù)的管理,在三個(gè)環(huán)節(jié)都會(huì)對(duì)客戶數(shù)據(jù)產(chǎn)生變化,營(yíng)銷環(huán)節(jié)可能是在產(chǎn)品部門或市場(chǎng)部門進(jìn)行更新數(shù)據(jù),風(fēng)險(xiǎn)部分是在風(fēng)險(xiǎn)部門更新數(shù)據(jù),這就要引起警惕,可能同樣一個(gè)數(shù)據(jù)就會(huì)被覆蓋,或前面一個(gè)部門改的結(jié)果被另外一個(gè)部門沖掉,兩邊數(shù)據(jù)不一致。有了這樣一個(gè)矩陣,會(huì)比較好的幫助你識(shí)別數(shù)據(jù)權(quán)威的業(yè)務(wù)源頭,識(shí)別權(quán)威的業(yè)務(wù)部門,對(duì)于數(shù)據(jù)的質(zhì)量也更容易去保證,這是一個(gè)信息價(jià)值鏈分析。這個(gè)工作在我們看到的很多企業(yè)里面都是不做的,現(xiàn)在說起來做數(shù)據(jù)治理,大家都在亡羊補(bǔ)牢,都在梳理這個(gè)內(nèi)容,究竟什么數(shù)據(jù)是在什么業(yè)務(wù)部門產(chǎn)生的,誰對(duì)它經(jīng)常會(huì)去修改,這個(gè)修改會(huì)不會(huì)產(chǎn)生一些數(shù)據(jù)不一致的風(fēng)險(xiǎn),現(xiàn)在都是事后在做這個(gè)工作。

?二、數(shù)據(jù)標(biāo)準(zhǔn)

?國(guó)內(nèi)很多企業(yè)都在做數(shù)據(jù)標(biāo)準(zhǔn),但是究竟什么是數(shù)據(jù)標(biāo)準(zhǔn)?這個(gè)詞在國(guó)外很少提到。對(duì)數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值的統(tǒng)一定義,可以叫做數(shù)據(jù)標(biāo)準(zhǔn)。目的是為了把應(yīng)該一致但是不一致的數(shù)據(jù)進(jìn)行統(tǒng)一,這就是數(shù)據(jù)的標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)究竟有哪些?按照數(shù)據(jù)不同的粒度進(jìn)行細(xì)分,最上面有業(yè)務(wù)術(shù)語的標(biāo)準(zhǔn),比如清數(shù)和清華大數(shù)據(jù)是兩個(gè)詞,這兩個(gè)詞的含義可能是一樣的。對(duì)于一個(gè)企業(yè)來說,有的叫做客戶,有的叫做用戶,這兩個(gè)是不是一個(gè)詞?有可能不是一個(gè)詞,客戶可能有企業(yè)客戶,有個(gè)人客戶,用戶指的是真正用你企業(yè)產(chǎn)品的人,但它可能不是為這個(gè)產(chǎn)品買單的人,含義上有差異。為了把數(shù)據(jù)管理好、使用好,最基礎(chǔ)的是要把業(yè)務(wù)術(shù)語管理好,這在國(guó)外是很受到重視的一個(gè)領(lǐng)域,但是國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域不太重視這個(gè)業(yè)務(wù)術(shù)語,是基礎(chǔ)工作,不太容易見效。相當(dāng)于修字典一樣,需要花大量的人力精力去進(jìn)行精確的定義,然后還看不到立竿見影的效果,所以國(guó)內(nèi)企業(yè)重視程度不高,但是現(xiàn)在也慢慢好了。

?指標(biāo)的標(biāo)準(zhǔn)化,是指對(duì)統(tǒng)計(jì)指標(biāo)本身做標(biāo)準(zhǔn)化。再宏觀一點(diǎn)要對(duì)數(shù)據(jù)模型做標(biāo)準(zhǔn)化,比如員工的數(shù)據(jù)、客戶的數(shù)據(jù),在各個(gè)系統(tǒng)都應(yīng)該有一套一致的規(guī)格,然后要有數(shù)據(jù)模型的標(biāo)準(zhǔn)化。 數(shù)據(jù)元素的標(biāo)準(zhǔn)化,某一個(gè)字段,比如身分證號(hào)碼必須是18位,是數(shù)值型的,取值范圍應(yīng)該是什么,不能出現(xiàn)什么,最后還有校驗(yàn)之類的。再細(xì)的可能是參考數(shù)據(jù)的標(biāo)準(zhǔn)化,不同的編碼,比如某一個(gè)訂單有五個(gè)狀態(tài)還是七個(gè)狀態(tài),每個(gè)狀態(tài)都是什么樣的編碼,ABCDE,中文含義是什么,要把這些內(nèi)容標(biāo)準(zhǔn)化。比如性別數(shù)據(jù),這個(gè)系統(tǒng)里用0表示男,1表示女;到公安系統(tǒng)里,性別還有未知;阿里系統(tǒng)里面可能有十幾個(gè)性別,購(gòu)物行為的性別,還有實(shí)際生理的性別;FBI性別還有變性記錄,以前是男,現(xiàn)在是女,都有標(biāo)記。

?我們從宏觀、偏業(yè)務(wù)到微觀具體某一個(gè)代碼取值都需要做標(biāo)準(zhǔn)化,這些內(nèi)容其實(shí)就是我們通常意義上的數(shù)據(jù)標(biāo)準(zhǔn)。大家在做數(shù)據(jù)應(yīng)用、數(shù)據(jù)開發(fā)時(shí),可能很多時(shí)候沒有這個(gè)標(biāo)準(zhǔn),要去定義標(biāo)準(zhǔn);或者沒有標(biāo)準(zhǔn)時(shí)應(yīng)用就做了,但是后面兩個(gè)系統(tǒng)集成時(shí)可能對(duì)不起來,都是因?yàn)闃?biāo)準(zhǔn)的缺失,這是治理工作里面應(yīng)當(dāng)重視的一個(gè)工作。

?三、元數(shù)據(jù)的管理

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?元數(shù)據(jù)是對(duì)數(shù)據(jù)的描述,比如2.18,有業(yè)務(wù)的理解,有日期的理解,也可以是身高等等。數(shù)據(jù)可以從業(yè)務(wù)去解釋,讓業(yè)務(wù)人員懂它的名稱、含義、取數(shù)口徑。如果從技術(shù)角度描述,這個(gè)數(shù)據(jù)在哪個(gè)數(shù)據(jù)庫存著,量有多大,什么時(shí)候更新的,這些都是屬于面向技術(shù)人員的技術(shù)員數(shù)據(jù)。面向管理人員,這個(gè)數(shù)據(jù)權(quán)威的定義部門是誰,哪個(gè)人對(duì)它負(fù)責(zé)管理和維護(hù),數(shù)據(jù)質(zhì)量規(guī)則是什么,這些是面向數(shù)據(jù)管理人員的管理員數(shù)據(jù)。同樣一個(gè)數(shù)據(jù)可以從不同視角對(duì)它進(jìn)行描述。

?在企業(yè)內(nèi)部做元數(shù)據(jù)管理時(shí),會(huì)做一個(gè)元數(shù)據(jù)的存儲(chǔ)庫,目的是把分散在不同工具、不同系統(tǒng)當(dāng)中的這些數(shù)據(jù)描述統(tǒng)一起來,給所有數(shù)據(jù)用戶、所有數(shù)據(jù)生成方、IT開發(fā)人員一個(gè)全景的數(shù)據(jù)地圖,類似字段級(jí)血緣分析、查詢,可以看這一個(gè)大數(shù)據(jù)平臺(tái)有哪些輸入的數(shù)據(jù)文件,這些數(shù)據(jù)文件經(jīng)過哪些處理,得到了什么樣的中間結(jié)果,又從大數(shù)據(jù)平臺(tái)遷移到了數(shù)據(jù)倉庫,數(shù)據(jù)倉庫又做了什么分析,最后出了什么樣的報(bào)表,就會(huì)形成一個(gè)完整的數(shù)據(jù)地圖,這是元數(shù)據(jù)管理很重要的一項(xiàng)工作。

?四、數(shù)據(jù)質(zhì)量管理

?數(shù)據(jù)質(zhì)量管理強(qiáng)調(diào)數(shù)據(jù)質(zhì)量的一些維度,比如數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、合理性、數(shù)據(jù)取值規(guī)范性。身分證號(hào)碼必須是18位,不能是17位,這就是數(shù)據(jù)長(zhǎng)度的規(guī)范性,這些都屬于數(shù)據(jù)質(zhì)量的范疇。

?數(shù)據(jù)質(zhì)量管理也是管理上的PDCA的循環(huán),我們需要做數(shù)據(jù)質(zhì)量需求的管理,進(jìn)行數(shù)據(jù)質(zhì)量的實(shí)施、檢查,日常監(jiān)控,出現(xiàn)問題之后對(duì)數(shù)據(jù)質(zhì)量進(jìn)行改進(jìn),有一個(gè)PDCA的改進(jìn)循環(huán)。

?例如,數(shù)據(jù)質(zhì)量的規(guī)則。你是一個(gè)VIP客戶,公司要給你生日時(shí)發(fā)短信祝福,這時(shí)候要求你對(duì)數(shù)據(jù)用戶的生日、手機(jī)號(hào)碼、以及這個(gè)客戶是不是一個(gè)VIP客戶等信息進(jìn)行標(biāo)記,如果這些字段是空的話,其實(shí)這個(gè)數(shù)據(jù)質(zhì)量是不好的,無法支撐公司用戶大數(shù)據(jù)關(guān)系維護(hù)。

?再比如,現(xiàn)在供應(yīng)鏈金融要給一個(gè)企業(yè)上下游供應(yīng)鏈相關(guān)方進(jìn)行貸款,我們要判斷某一個(gè)企業(yè)是不是我自己上下游的企業(yè),這家企業(yè)的經(jīng)營(yíng)范圍是什么,貸款額度應(yīng)該是多少,有一些屬性,必須要有值,這些值是要準(zhǔn)確的,數(shù)據(jù)質(zhì)量要有保證,這時(shí)候才能做供應(yīng)鏈金融業(yè)務(wù)上的操作。這是一些業(yè)務(wù)規(guī)則。

?另外一些數(shù)據(jù)質(zhì)量規(guī)則是和業(yè)務(wù)沒有關(guān)系的,是純技術(shù)的規(guī)則,比如一個(gè)字段是否是空的,主鍵是不是唯一的,數(shù)據(jù)類型和數(shù)據(jù)格式是否符合數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)的取值范圍是否正確,這些可能和一個(gè)業(yè)務(wù)場(chǎng)景沒有直接關(guān)系,從技術(shù)層面就可以做檢查,這是技術(shù)上的規(guī)則。這些規(guī)則,現(xiàn)在無論做傳統(tǒng)的數(shù)據(jù)倉庫還是做大數(shù)據(jù)平臺(tái),都有很多的校驗(yàn)。

?那么數(shù)據(jù)質(zhì)量該如何提升呢?

?我在這里為大家介紹一個(gè)“十步法”。數(shù)據(jù)質(zhì)量的檢查、規(guī)則,開發(fā)一個(gè)系統(tǒng)做自動(dòng)化的集合,出數(shù)據(jù)質(zhì)量報(bào)告都是相對(duì)技術(shù)人員比較熟悉的。我們之前沒太關(guān)注的是什么?定義業(yè)務(wù)需求和方法,剛才講了很多業(yè)務(wù)規(guī)則,要去看某一個(gè)數(shù)據(jù)究竟在哪些業(yè)務(wù)場(chǎng)景用,這些數(shù)據(jù)如果不好的話,哪些業(yè)務(wù)人員會(huì)受到影響。如果VIP客戶生日信息沒有的話,銷售部或者大客戶部工作就會(huì)受到影響,大客戶可能就會(huì)流失,這些都是直接的業(yè)務(wù)影響,我們要去判斷我們業(yè)務(wù)需求是什么,我們有哪些業(yè)務(wù)場(chǎng)景。然后我們要去評(píng)估某些有數(shù)據(jù)質(zhì)量問題或數(shù)據(jù)不好對(duì)業(yè)務(wù)上直接的影響是什么,最好還能量化地算出來,如果大客戶生日信息沒有填好,完整率不高的話,可能造成客戶流失比例是多少,這些大客戶流失給收入下降帶來多少。如果能算出來的話,很容易讓公司領(lǐng)導(dǎo)和業(yè)務(wù)部門去支持?jǐn)?shù)據(jù)質(zhì)量、數(shù)據(jù)治理的工作,但是往往我們偏I(xiàn)T、偏技術(shù)人員不太擅長(zhǎng)做這方面的評(píng)估和分析,就會(huì)造成反正領(lǐng)導(dǎo)覺得數(shù)據(jù)治理就是技術(shù)的工作,可能單獨(dú)補(bǔ)充一個(gè)生日也沒有什么太大的意義,他的重視程度就沒有那么高。所以

?我們比較強(qiáng)調(diào)把數(shù)據(jù)的業(yè)務(wù)場(chǎng)景、數(shù)據(jù)質(zhì)量問題的業(yè)務(wù)影響,以及相關(guān)的人員、相關(guān)的業(yè)務(wù)流程進(jìn)行評(píng)估,這樣更容易讓數(shù)據(jù)治理工作得到認(rèn)同。這是一個(gè)提升的方法。

?五、主數(shù)據(jù)管理

?主數(shù)據(jù)實(shí)際上描述的是業(yè)務(wù)對(duì)象,人、物這些內(nèi)容。對(duì)于一個(gè)公司來說,可能客戶、供應(yīng)商、產(chǎn)品、位置、組織機(jī)構(gòu)、員工這些都是最關(guān)鍵的主數(shù)據(jù)。

?例如,同一個(gè)客戶,對(duì)于一家公司來說,有很多和這個(gè)客戶的接觸點(diǎn)??蛻粼诰€買東西和客戶支付時(shí),公司的ERP和財(cái)務(wù)系統(tǒng)里面會(huì)有客戶信息;買了東西之后客戶服務(wù)里面也有這個(gè)信息。一個(gè)企業(yè)在多個(gè)點(diǎn)、多個(gè)系統(tǒng)里面都會(huì)和這個(gè)客戶有接觸點(diǎn),這時(shí)候不同的系統(tǒng)里面維護(hù)的客戶信息就不一致,可能名稱不一致,地址不一致,手機(jī)號(hào)不一致。有的系統(tǒng)里留了郵箱,有的沒有留郵箱,或者留的不是同一個(gè)郵箱,這就涉及到跨多個(gè)系統(tǒng)進(jìn)行統(tǒng)一。如果這些客戶數(shù)據(jù)得不到統(tǒng)一,可想而知在倉庫做分析時(shí),這個(gè)人叫“張三”,那個(gè)人叫“張三’”,這兩個(gè)人能不能合并到一起,會(huì)對(duì)后續(xù)數(shù)據(jù)分析以及客戶關(guān)系的維系產(chǎn)生很大的困擾,這時(shí)候就需要把客戶主數(shù)據(jù)管理好。

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?上圖是一個(gè)主數(shù)據(jù)平臺(tái)參考架構(gòu)。因?yàn)椴煌到y(tǒng)里面都會(huì)有主數(shù)據(jù)的信息,這些信息就需要集中到一個(gè)主數(shù)據(jù)平臺(tái)上面,在這個(gè)主數(shù)據(jù)平臺(tái)進(jìn)行一些數(shù)據(jù)質(zhì)量的校驗(yàn)、數(shù)據(jù)的匹配、數(shù)據(jù)的清洗,把校驗(yàn)、匹配之后的黃金數(shù)據(jù)統(tǒng)一結(jié)果能夠再推送給使用數(shù)據(jù)的這些系統(tǒng),這樣每個(gè)系統(tǒng)里面,“張三”、“張三’”都統(tǒng)一,聯(lián)系方式、地址、用戶行為等等都一致了。這是主數(shù)據(jù)管理的一個(gè)系統(tǒng)。

?下面,我們用一張圖來回顧一下剛才講過的這些概念和他們之間的關(guān)系。一個(gè)企業(yè)有自己的業(yè)務(wù)活動(dòng),無論是在銷售還是做員工招聘還是做產(chǎn)品開發(fā),有了這些業(yè)務(wù)活動(dòng)之后,公司要去建數(shù)據(jù)架構(gòu)的規(guī)劃,我們開發(fā)企業(yè)的數(shù)據(jù)模型。業(yè)務(wù)活動(dòng)當(dāng)中究竟都產(chǎn)生什么數(shù)據(jù)、用什么數(shù)據(jù),我們需要用企業(yè)數(shù)據(jù)模型對(duì)它進(jìn)行表達(dá),這是規(guī)劃的工作。

?那么業(yè)務(wù)數(shù)據(jù)在規(guī)劃當(dāng)中應(yīng)怎么映射呢?這就要講到信息價(jià)值鏈分析。當(dāng)企業(yè)想去建任何一個(gè)信息系統(tǒng)的時(shí)候,我們要去參照企業(yè)的數(shù)據(jù)模型,有可能要建的是一個(gè)客戶關(guān)系管理系統(tǒng),是一個(gè)操作型系統(tǒng);有可能建一個(gè)大數(shù)據(jù)平臺(tái),是一個(gè)數(shù)據(jù)倉庫,是一個(gè)分析型系統(tǒng)。不管建什么系統(tǒng),這些系統(tǒng)里處理的都是主數(shù)據(jù)、交易數(shù)據(jù)、參考數(shù)據(jù)、處理數(shù)據(jù),這些數(shù)據(jù)模型的結(jié)構(gòu)、含義應(yīng)該很大程度上去遵循你的企業(yè)數(shù)據(jù)模型的定義。如果這個(gè)系統(tǒng)當(dāng)中出現(xiàn)了新的數(shù)據(jù),要反向更新這個(gè)企業(yè)數(shù)據(jù)模型。

?六、數(shù)據(jù)系統(tǒng)

?系統(tǒng)建好了,我們業(yè)務(wù)活動(dòng)通過系統(tǒng)支撐起來了,系統(tǒng)就可以正常運(yùn)行,把業(yè)務(wù)活動(dòng)當(dāng)中的這些數(shù)據(jù)及時(shí)采集過來,這是一個(gè)活動(dòng)。但是對(duì)于很多企業(yè)來說沒有做企業(yè)數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型的設(shè)計(jì),直接就建了這個(gè)系統(tǒng),這個(gè)系統(tǒng)有可能自己開發(fā),有可能用的外購(gòu)軟件,這時(shí)候給他很大的困擾是系統(tǒng)當(dāng)中信息不清楚,分布在哪兒不知道,我們希望通過用元數(shù)據(jù)把系統(tǒng)當(dāng)中數(shù)據(jù)的庫表結(jié)構(gòu)等描述理解清楚,我們就去做元數(shù)據(jù)管理相關(guān)工作。有了元數(shù)據(jù),就進(jìn)一步做數(shù)據(jù)質(zhì)量的檢查、數(shù)據(jù)質(zhì)量的提升的工作,元數(shù)據(jù)可以把數(shù)據(jù)描述清楚,然后去輔助進(jìn)行數(shù)據(jù)質(zhì)量的檢查。

?檢查當(dāng)中,我們會(huì)發(fā)現(xiàn)有一些數(shù)據(jù)質(zhì)量的問題,這些數(shù)據(jù)質(zhì)量的問題可能需要去進(jìn)行定義一些數(shù)據(jù)的標(biāo)準(zhǔn),這時(shí)候我們提到要建五類數(shù)據(jù)的標(biāo)準(zhǔn),有業(yè)務(wù)術(shù)語、模型等標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)在建的過程中,會(huì)從業(yè)務(wù)活動(dòng)中來,從模型中來,從元數(shù)據(jù)來,總之方方面面的來源會(huì)幫助你去把數(shù)據(jù)標(biāo)準(zhǔn)建好,之后會(huì)形成數(shù)據(jù)質(zhì)量檢查的依據(jù)。

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?這張圖基本把我們剛才講過的各種知識(shí)都融匯在一起了,數(shù)據(jù)的分類、數(shù)據(jù)標(biāo)準(zhǔn)的分類、數(shù)據(jù)模型、數(shù)據(jù)架構(gòu)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量。

?再回到最開始講什么是數(shù)據(jù),數(shù)據(jù)的定義,在企業(yè)范疇內(nèi),數(shù)據(jù)實(shí)際上就是在描述一個(gè)企業(yè)的業(yè)務(wù)活動(dòng)。我們做各種大數(shù)據(jù)的分析,其實(shí)分析的都是一些業(yè)務(wù)活動(dòng),只不過這些活動(dòng)有的是在企業(yè)內(nèi),有的是在企業(yè)外的微博、微信上的數(shù)據(jù),都要進(jìn)行分析。

?七、數(shù)據(jù)治理的實(shí)施

?數(shù)據(jù)治理實(shí)施時(shí)有兩種路徑,第一種是事后的,企業(yè)沒有做數(shù)據(jù)架構(gòu)模型的設(shè)計(jì),直接有了信息系統(tǒng),我們通過元數(shù)據(jù)對(duì)系統(tǒng)里面的數(shù)據(jù)進(jìn)行描述、做質(zhì)量檢查,質(zhì)量檢查出來之后把結(jié)果再反向改造我們現(xiàn)有的系統(tǒng)。因?yàn)闄z查出了數(shù)據(jù)質(zhì)量的問題,要去定標(biāo)準(zhǔn),標(biāo)準(zhǔn)要在系統(tǒng)當(dāng)中落地,這是事后的過程。做得更好一點(diǎn)的企業(yè)其實(shí)應(yīng)該能夠做到事前的規(guī)劃,就是在做一個(gè)大的信息化建設(shè)項(xiàng)目之前,就把業(yè)務(wù)活動(dòng)梳理清楚,業(yè)務(wù)活動(dòng)里面的數(shù)據(jù)模型設(shè)計(jì)好,基于這個(gè)數(shù)據(jù)模型去進(jìn)行我的系統(tǒng)開發(fā),這個(gè)效果就會(huì)更好一些。當(dāng)然這要看契機(jī),不是很多企業(yè)都有全面進(jìn)行數(shù)據(jù)系統(tǒng)建設(shè)的時(shí)機(jī),這是兩個(gè)思路,大部分企業(yè)都在做事后思路。一些好的企業(yè),像去年我們開會(huì)時(shí),建設(shè)銀行借助它“十二五”期間整個(gè)公司戰(zhàn)略提升,從業(yè)務(wù)上去提升,做了全面信息化系統(tǒng)的重新建設(shè),這時(shí)候像企業(yè)數(shù)據(jù)模型、企業(yè)數(shù)據(jù)架構(gòu)就得到了很好的全面實(shí)踐。但對(duì)于很多企業(yè)來說,能否實(shí)施全面的事前規(guī)范的思路,可能我們還要再看時(shí)機(jī)。

?數(shù)據(jù)治理,相關(guān)工具也不可或缺。元數(shù)據(jù)管理有元數(shù)據(jù)管理的工具,數(shù)據(jù)質(zhì)量、主數(shù)據(jù)、數(shù)據(jù)的集成、術(shù)語的管理都有相關(guān)的工具。有工具是好事情,有工具可以讓我們的效率更高,但是國(guó)內(nèi)做數(shù)據(jù)治理工作一個(gè)誤區(qū)是大家認(rèn)為買一個(gè)工具、買一套平臺(tái)就能夠解決數(shù)據(jù)的問題。但其實(shí)經(jīng)過前面剛才那些內(nèi)容的講解,大家發(fā)現(xiàn)可能不是這樣的,有很多工作需要人想清楚,需要人去定義規(guī)范。有一些觀點(diǎn),我們做數(shù)據(jù)治理工作不要著急去買工具,而是要先去嘗試這個(gè)工作本身開展,人、組織、工作先建起來,如果沒有做過數(shù)據(jù)治理工作直接買工具的話,可能很大程度上就是一種浪費(fèi)。

?八、數(shù)據(jù)治理的實(shí)例

?數(shù)據(jù)治理在國(guó)內(nèi)大家是第一次聽。在國(guó)外,DAMA年會(huì)每年4月份左右會(huì)在美國(guó)召開,去年是第20屆,今年是第21屆,可見這個(gè)領(lǐng)域在國(guó)外已經(jīng)有20年以上、將近30年的發(fā)展歷程。在這個(gè)會(huì)上都會(huì)談什么內(nèi)容?有數(shù)據(jù)治理、CDO、數(shù)據(jù)戰(zhàn)略、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)等剛才這些內(nèi)容都是會(huì)上最核心的議題。比如在美國(guó),信息化很早,信息化程度很高,DAMA開了20多年的年會(huì),這些話題仍然是這個(gè)領(lǐng)域的數(shù)據(jù)人熱議的一個(gè)話題,可見這項(xiàng)工作不是大家聽了一個(gè)講座或者回去做了兩個(gè)項(xiàng)目就能夠掌握、企業(yè)就能很快具備這種能力的,需要一個(gè)持續(xù)的建設(shè)。

?在國(guó)內(nèi),我能找到最早的數(shù)據(jù)標(biāo)準(zhǔn)的資料是2004年11月份銀行的數(shù)據(jù)標(biāo)準(zhǔn)制定的項(xiàng)目的資料。通信方面,有2006年元數(shù)據(jù)的規(guī)范。銀行方面近幾年的發(fā)展,有2011年銀監(jiān)會(huì)開行業(yè)性數(shù)據(jù)治理的會(huì),也是五年多以前。銀行業(yè)在國(guó)內(nèi)做數(shù)據(jù)治理是非常早的,其他行業(yè)現(xiàn)在還很少有普遍性的數(shù)據(jù)治理整體工作的推進(jìn),還是值得去向銀行業(yè)學(xué)習(xí)的。大概在12年以前,2003、2004年的時(shí)候國(guó)內(nèi)開始數(shù)據(jù)治理的工作,是在通信和銀行這樣的行業(yè)開始數(shù)據(jù)治理的工作,那時(shí)候剛剛開始做數(shù)據(jù)倉庫。

?《銀行數(shù)據(jù)治理》這本書推薦給大家。去年國(guó)內(nèi)有17個(gè)人去了DAMA年會(huì),阿里在上面專門做了一個(gè)演講。經(jīng)過十多年的發(fā)展,國(guó)內(nèi)的數(shù)據(jù)治理現(xiàn)在已經(jīng)有成果出來了,通過請(qǐng)進(jìn)來、走出去各種方式,也有更多國(guó)際交流了,是挺好的一個(gè)現(xiàn)狀。當(dāng)然我們也需要看到還是有很多人不知道這個(gè)概念,特別是在大數(shù)據(jù)這么熱的情況下,可能數(shù)據(jù)治理這個(gè)基礎(chǔ)工作還不被大家所知道,還需要得到更多的重視。這是一個(gè)行業(yè)性的發(fā)展現(xiàn)狀。

?銀行業(yè)數(shù)據(jù)治理政策。在“十二五”規(guī)劃時(shí),有專門的數(shù)據(jù)治理和數(shù)據(jù)標(biāo)準(zhǔn)的專題,提出來銀行的數(shù)據(jù)治理的幾個(gè)組成部分,標(biāo)準(zhǔn)、質(zhì)量、安全、架構(gòu)、保障機(jī)制,要以業(yè)務(wù)需求為驅(qū)動(dòng),要面向金融穩(wěn)定、競(jìng)爭(zhēng)力提升等等,這是框架性介紹。銀監(jiān)會(huì)有專門的統(tǒng)計(jì)數(shù)據(jù)質(zhì)量良好標(biāo)準(zhǔn)的行業(yè)性評(píng)估手冊(cè),這個(gè)評(píng)估商業(yè)銀行每年要做,三年一滾動(dòng),商業(yè)銀行還要自查等等,從組織機(jī)構(gòu)制度的設(shè)計(jì)、平臺(tái)的設(shè)計(jì)、數(shù)據(jù)治理的檢查、數(shù)據(jù)標(biāo)準(zhǔn)方方面面提出了很多評(píng)估的要求。

?在去年底,銀行業(yè)信息科技“十三五”規(guī)劃時(shí),還是在強(qiáng)調(diào)制定大數(shù)據(jù)戰(zhàn)略,支持大數(shù)據(jù)方向,夯實(shí)數(shù)據(jù)治理基礎(chǔ),數(shù)據(jù)治理保障作用必須要加強(qiáng)。也提到大數(shù)據(jù)的頂層設(shè)計(jì),數(shù)據(jù)管理的部門、數(shù)據(jù)的架構(gòu)、數(shù)據(jù)的標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量這些工作仍然得到重視。如果大家數(shù)據(jù)治理做得不錯(cuò)的話,可以考慮到甲方去,這也是一種職業(yè)發(fā)展的方式。

下篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?再舉一些國(guó)外的案例。這個(gè)實(shí)施數(shù)據(jù)治理的策略特別好,非常值得借鑒,跟國(guó)內(nèi)實(shí)施有很大的區(qū)別。它的路徑分成四步:第一步制定一個(gè)企業(yè)級(jí)的數(shù)據(jù)管理的藍(lán)圖;第二步做了一個(gè)數(shù)據(jù)定義的項(xiàng)目;第三步做了一個(gè)試點(diǎn);第四步做了一個(gè)體系化的實(shí)施。

?國(guó)內(nèi)一般做數(shù)據(jù)治理的時(shí)候是以項(xiàng)目制的方式,通過半年甚至一年的時(shí)間,全面對(duì)所有數(shù)據(jù)進(jìn)行清理、制定標(biāo)準(zhǔn),這是國(guó)內(nèi)一種大而全、自上而下的方式。但是國(guó)外的案例是一個(gè)非常小步前進(jìn)的方式,特別務(wù)實(shí)、特別容易見效的一種方式。首先做一個(gè)藍(lán)圖規(guī)劃,相對(duì)來說國(guó)內(nèi)比較擅長(zhǎng),數(shù)據(jù)治理這個(gè)領(lǐng)域究竟分成了哪些,跟剛才DAMA的圖是類似的,這是一個(gè)指引性、方向性的。

?怎么啟動(dòng)數(shù)據(jù)治理很值得借鑒。究竟這個(gè)企業(yè)是不是所有的數(shù)據(jù)都要治理,究竟對(duì)哪些數(shù)據(jù)進(jìn)行治理,或者優(yōu)先級(jí)是什么,哪些數(shù)據(jù)更重要,哪些沒有那么重要。這個(gè)做了一個(gè)企業(yè)數(shù)據(jù)定義的項(xiàng)目,回答哪些數(shù)據(jù)是企業(yè)級(jí)數(shù)據(jù),國(guó)內(nèi)的還沒有想清楚,有這么多數(shù)據(jù),上萬張表,上百萬的字段,這些是都要去治理的信息嗎?不是。這家企業(yè)做了一個(gè)項(xiàng)目,2萬多個(gè)字段,對(duì)這些表和字段進(jìn)行一些過濾和篩選,篩選原則是哪些表和字段是跨業(yè)務(wù)領(lǐng)域共享的。如果某個(gè)數(shù)據(jù)只在系統(tǒng)內(nèi)部使用的話,暫時(shí)不能夠稱之為企業(yè)級(jí)的數(shù)據(jù),也不是我們治理的優(yōu)先級(jí)最重要的。所以這時(shí)候就做了這么一個(gè)篩選和識(shí)別。篩選完了之后,數(shù)據(jù)標(biāo)的數(shù)量降低了70%,字段數(shù)量降低了85%,一下就把一個(gè)企業(yè)數(shù)據(jù)海洋聚焦到一個(gè)數(shù)據(jù)的小島,就知道在汪洋大海當(dāng)中,這一些小數(shù)據(jù)是你需要管好的,其他數(shù)據(jù)重要性沒有那么高。聚焦,選擇最重要的數(shù)據(jù)。

?之后又做了一個(gè)局部試點(diǎn),剛才說有3000多個(gè)數(shù)據(jù)項(xiàng),從其中選了7個(gè)數(shù)據(jù)項(xiàng)去進(jìn)行試點(diǎn)項(xiàng)目,這也是非常難得的。一般在國(guó)內(nèi)做數(shù)據(jù)治理的項(xiàng)目,能選擇某一個(gè)主題域,比如選組織機(jī)構(gòu)做試點(diǎn)已經(jīng)很不容易了,但是這兒只選了7個(gè)數(shù)據(jù)項(xiàng),這是一個(gè)特別局部的試點(diǎn),用了三個(gè)月的時(shí)間,范圍非常非常小。第二,這7個(gè)數(shù)據(jù)項(xiàng)的選擇特別值得我們借鑒。剛才我們講十步法時(shí)強(qiáng)調(diào),要去理解這個(gè)數(shù)據(jù)的業(yè)務(wù)場(chǎng)景和數(shù)據(jù)的業(yè)務(wù)價(jià)值,明確價(jià)值之后,再去做質(zhì)量的提升。這邊體現(xiàn)的非常明顯,選擇提升收入的數(shù)據(jù)項(xiàng),控制成本相關(guān)的數(shù)據(jù)項(xiàng),是銀行的話,支持監(jiān)管合規(guī)的數(shù)據(jù)項(xiàng),把這些數(shù)據(jù)項(xiàng)想清楚,和業(yè)務(wù)部門、公司領(lǐng)導(dǎo)溝通時(shí),很容易得到認(rèn)同。因?yàn)檫@個(gè)數(shù)據(jù)項(xiàng)管不好,貸款人可能就保留不住,就到別家貸款了,做貸款審核的成本、貸后檢查的成本可能就很高,這是一些關(guān)鍵性字段,就選了這么7個(gè)字段。通過這些字段的業(yè)務(wù)調(diào)研、問題分析,去明確這個(gè)數(shù)據(jù)質(zhì)量問題是什么,怎么樣去改進(jìn)。改進(jìn)的方法和問題是什么不是最重要的,最值得我們?nèi)ソ梃b的是:聚焦這個(gè)范圍是和業(yè)務(wù)高度相關(guān)的,這兩點(diǎn)如果做到了,很多數(shù)據(jù)項(xiàng)目,無論做數(shù)據(jù)應(yīng)用還是做數(shù)據(jù)的質(zhì)量提升,對(duì)咱們都會(huì)有幫助,非常容易去推動(dòng),這是很重要的建議。不要搞大而全,而是搞一些小而精,點(diǎn)狀要有一些突破。

?經(jīng)過試點(diǎn)項(xiàng)目之后,才去進(jìn)行整體數(shù)據(jù)治理的體系設(shè)計(jì),包括政策、流程,包括開發(fā)公司內(nèi)部的數(shù)據(jù)治理門戶,包括數(shù)據(jù)治理組織機(jī)構(gòu)、數(shù)據(jù)治理整個(gè)戰(zhàn)略,對(duì)這些方面才做整體性的宏觀設(shè)計(jì)。國(guó)內(nèi)對(duì)于點(diǎn)狀局部突破行動(dòng)的推動(dòng)是有欠缺的,這個(gè)案例給我們很大的一個(gè)啟示就是在這兒。

?九、建議

?下面給個(gè)人和所在公司提一些建議。數(shù)據(jù)治理這項(xiàng)工作經(jīng)過我自己這幾年的實(shí)踐,是對(duì)人的綜合能力要求非常高的一項(xiàng)工作。

?頂天立地

?頂天部分體現(xiàn)在哪兒?會(huì)有數(shù)據(jù)的戰(zhàn)略,要理解公司業(yè)務(wù)的戰(zhàn)略,信息化的戰(zhàn)略,數(shù)據(jù)的戰(zhàn)略,給公司建一些管理制度、管理流程,從大干快上變成小步快跑、穩(wěn)扎穩(wěn)打的節(jié)奏,這個(gè)變革當(dāng)中要有人把握一些度,選擇一些策略。立地部分,要關(guān)心數(shù)據(jù)模型、數(shù)據(jù)架構(gòu),關(guān)心實(shí)體、表、字段,關(guān)心字段取值,還要會(huì)做一些數(shù)據(jù)處理、質(zhì)量規(guī)則能檢查。在這個(gè)過程中,大家可以去選擇自己的職業(yè)方向往哪走。

?他的成長(zhǎng)路徑最開始是技術(shù)操作能力,是一個(gè)成員;后面會(huì)帶一些數(shù)據(jù)的項(xiàng)目,帶一些人;再往上做數(shù)據(jù)架構(gòu)的整體規(guī)劃、數(shù)據(jù)戰(zhàn)略的實(shí)施;再往上做到CDO,可能有數(shù)據(jù)戰(zhàn)略的規(guī)劃能力,能夠和業(yè)務(wù)、公司領(lǐng)導(dǎo)有更好的溝通,去實(shí)施整個(gè)企業(yè)級(jí)的數(shù)據(jù)治理的項(xiàng)目,他的能力要求也是一點(diǎn)一點(diǎn)在上升的。其實(shí)他應(yīng)該是一個(gè)企業(yè)必需的人或者一類人,每個(gè)企業(yè)內(nèi)部其實(shí)都應(yīng)該有常態(tài)的這種數(shù)據(jù)治理的團(tuán)隊(duì)。如果大家愿意做這個(gè)事情的話,至少對(duì)個(gè)人綜合能力提升還是挺有好處的。

?書籍建議,包括DAMA的書、《首席數(shù)據(jù)官》。還有比較老的一些書,2001年《信息資源規(guī)劃》,這里面很多思想,很多數(shù)據(jù)管理相關(guān)的思想,是國(guó)外在80年代初、80年代末,國(guó)外一些專家寫的書,這些書很難買,有點(diǎn)像學(xué)術(shù)上的考古,但會(huì)發(fā)現(xiàn)很多思想在那時(shí)候國(guó)外都已經(jīng)提出了,國(guó)內(nèi)可能不了解這些思想,更沒有實(shí)踐。從書的數(shù)量上可以看到,國(guó)內(nèi)現(xiàn)在越來越重視這個(gè)領(lǐng)域了。

?企業(yè)能力提升

?企業(yè)能力提升:數(shù)據(jù)能力成熟度評(píng)估模型。這是我們參與編寫,信標(biāo)委大數(shù)據(jù)標(biāo)準(zhǔn)化工作組正在報(bào)批的國(guó)家標(biāo)準(zhǔn)。把數(shù)據(jù)戰(zhàn)略、治理、架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)生命周期等等領(lǐng)域做了一個(gè)等級(jí)的設(shè)定,去評(píng)價(jià)一個(gè)企業(yè)究竟自己的數(shù)據(jù)管理、數(shù)據(jù)能力怎么樣,現(xiàn)在是三級(jí)還是二級(jí),怎么樣提升。我們?cè)谌ツ曩F陽數(shù)博會(huì)之前做了一個(gè)評(píng)估,可以看到通信運(yùn)營(yíng)商的數(shù)據(jù)能力在行業(yè)橫向?qū)Ρ葋碚f還是比較領(lǐng)先的,但是距離數(shù)據(jù)管理本身的量化管理,還有向更高級(jí)的行業(yè)實(shí)踐、形成行業(yè)標(biāo)準(zhǔn)還是有一些差距,基本能反映國(guó)內(nèi)一些水平。在國(guó)外,很多企業(yè)能做到4或5,時(shí)間更早、更完善一些。這個(gè)工作在今年會(huì)逐步開展,我們也配合工信部標(biāo)準(zhǔn)院做這部分工作。

?對(duì)于一個(gè)企業(yè)來說,做數(shù)據(jù)治理工作,最重要的是要開始能持續(xù)去做,并不是某一個(gè)數(shù)據(jù)治理的項(xiàng)目可能花了多少錢,用了幾個(gè)月的時(shí)間,投入多少人,就完了。建設(shè)銀行、運(yùn)營(yíng)商都是十幾年之前就開始了,而且一直都沒有停止做這項(xiàng)工作,才能夠取得剛才說的成績(jī)出來,是需要持續(xù)投入的工作。前面的培訓(xùn)評(píng)估也好,整體規(guī)劃也好,都是可以按照項(xiàng)目的方式來做,但后續(xù)一定要有常態(tài)的團(tuán)隊(duì)、工作機(jī)制去保證持續(xù)性,數(shù)據(jù)治理在很多企業(yè)內(nèi)部都是持續(xù)性不太夠。

?提到數(shù)據(jù)治理領(lǐng)域,國(guó)內(nèi)整體發(fā)展還應(yīng)該有更多的行業(yè)性能力的提升,大家可以積極去交流、去貢獻(xiàn)大家的經(jīng)驗(yàn)。回顧之前數(shù)據(jù)治理工作在國(guó)內(nèi)發(fā)展時(shí),最開始就是在基層,有一些數(shù)據(jù)問題要解決,慢慢到處級(jí),現(xiàn)在我感覺很多部門級(jí)領(lǐng)導(dǎo)都比較重視了,公司級(jí)領(lǐng)導(dǎo)也開始逐漸重視起來了,還是要感謝大數(shù)據(jù),雖然大數(shù)據(jù)里面有一些泡沫的成分在,但隨著大數(shù)據(jù)概念的普吉,數(shù)據(jù)治理慢慢得到重視。

?部門,以前是IT部門,現(xiàn)在慢慢到了有的企業(yè)有數(shù)據(jù)部門,業(yè)務(wù)部門更多在參與。最近我接觸到了一些銀行或電網(wǎng)公司,他們的業(yè)務(wù)部門都已經(jīng)開始設(shè)置專門的數(shù)據(jù)團(tuán)隊(duì),要么是科,要么是處,專門做數(shù)據(jù)管理的工作。這個(gè)很難得的,至少在兩年之前還沒有,現(xiàn)在業(yè)務(wù)部門越來越重視數(shù)據(jù)治理的工作。

?討論的內(nèi)容,以前更多是數(shù)據(jù)技術(shù)層面,慢慢開始有流程組織方面的,現(xiàn)在國(guó)家有了大數(shù)據(jù)戰(zhàn)略的規(guī)劃,企業(yè)也開始慢慢重視自己企業(yè)數(shù)據(jù)戰(zhàn)略的規(guī)劃,工作內(nèi)容上也越來越豐富了。

?交流的范圍,以前都是一個(gè)企業(yè)內(nèi)部的討論,偶爾有些行業(yè)、銀行業(yè)的交流。我們?nèi)ツ甑组_數(shù)據(jù)治理大會(huì)時(shí),跨行業(yè)的交流也已經(jīng)開始了,而且?guī)追蕉紱Q定把數(shù)據(jù)治理的會(huì)每年都開,變成一個(gè)常態(tài)的交流溝通的平臺(tái),交流范圍也越來越擴(kuò)大。也可以反過來看到這幾年發(fā)展的一些進(jìn)步。

?去年11月6號(hào),國(guó)內(nèi)第一次在數(shù)據(jù)治理領(lǐng)域召開大會(huì),DAMA已經(jīng)有20年了,國(guó)內(nèi)沒有這樣的會(huì)議,我們希望每年都能持續(xù)去開。2017年第二屆預(yù)計(jì)放在秋天開。在去年大會(huì)上,我們成立了清數(shù)-DAMA數(shù)據(jù)治理委員會(huì)。清華大數(shù)據(jù)產(chǎn)業(yè)聯(lián)合會(huì)是國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域很領(lǐng)先的聯(lián)盟性質(zhì),雙方合作,更好地在國(guó)內(nèi)推動(dòng)數(shù)據(jù)治理、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量的理念,讓整個(gè)領(lǐng)域本身發(fā)展壯大,同時(shí)能夠幫助大數(shù)據(jù)行業(yè)相對(duì)穩(wěn)健地發(fā)展,這是成立這么一個(gè)委員會(huì)專門的目的。

?我們啟動(dòng)一個(gè)獎(jiǎng)項(xiàng)的評(píng)選,同時(shí)也發(fā)了一個(gè)關(guān)注數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)治理工作的倡議書,在數(shù)據(jù)派上也可以下載到,大家可以關(guān)注一下,我們可以把相關(guān)文章在群里發(fā)一下。提到這個(gè)獎(jiǎng)項(xiàng),為什么要設(shè)計(jì)這個(gè)獎(jiǎng)勵(lì)?點(diǎn)擊查看:首屆中國(guó)數(shù)據(jù)標(biāo)準(zhǔn)化及治理大會(huì)在清華園成功舉辦 開啟中國(guó)數(shù)據(jù)標(biāo)準(zhǔn)化及治理研討序幕

?一方面從行業(yè)經(jīng)驗(yàn)的集聚上來看,現(xiàn)在除了《銀行業(yè)數(shù)據(jù)治理》那本書,很少看到國(guó)內(nèi)究竟數(shù)據(jù)治理有哪些好的實(shí)踐,我們希望通過這個(gè)獎(jiǎng),把國(guó)內(nèi)一些比較好的實(shí)踐方法、實(shí)踐經(jīng)驗(yàn)匯集上來。另外以前做數(shù)據(jù)治理的從業(yè)者IT部門的居多,這項(xiàng)工作特別辛苦,特別基層,不太容易受到業(yè)務(wù)部門和領(lǐng)導(dǎo)的認(rèn)可。我們希望通過聯(lián)合會(huì)的性質(zhì),給這些辛辛苦苦一直堅(jiān)持做數(shù)據(jù)治理的人員以及他們?nèi)〉玫某煽?jī)給一個(gè)外部的認(rèn)可,能夠幫助更多的人重視和參與到這項(xiàng)工作當(dāng)中去。

?有數(shù)據(jù)治理領(lǐng)導(dǎo)力獎(jiǎng),是給甲方中高層的領(lǐng)導(dǎo),一直推動(dòng)數(shù)據(jù)治理工作的。

?有數(shù)據(jù)治理優(yōu)秀實(shí)踐獎(jiǎng),是給已經(jīng)做好的有亮點(diǎn)的案例評(píng)的獎(jiǎng)。

?數(shù)據(jù)治理的專家,甲方乙方都會(huì)有一些數(shù)據(jù)治理的專家,他們也可以個(gè)人得到一個(gè)認(rèn)可。

?獲獎(jiǎng)之后,我們會(huì)把這個(gè)獎(jiǎng)項(xiàng)在媒體上公布,在9月份大會(huì)時(shí)發(fā)證書,獲獎(jiǎng)個(gè)人或單位會(huì)有演講的機(jī)會(huì)。同時(shí)如果愿意的話,我們會(huì)在DAMA國(guó)際上申請(qǐng),給大家去參與下一年DAMA的機(jī)會(huì),如2018年DAMA的會(huì),如果大家在國(guó)內(nèi)獲了獎(jiǎng),可以申請(qǐng)去演講的機(jī)會(huì)。獲獎(jiǎng)案例會(huì)進(jìn)入到清數(shù)和IVEY大數(shù)據(jù)案例中心,同時(shí)會(huì)把這些單位、個(gè)人相關(guān)的介紹案例集成書出版,推出來,對(duì)于企業(yè)和個(gè)人影響力以及權(quán)威性的提升都是有挺大幫助的。

?2月底截止提交,3月份初評(píng),4月份投票,9月份的第二次大會(huì)時(shí)公布出來。

?以上是我今天給大家介紹的數(shù)據(jù)治理的內(nèi)容,我們從什么是數(shù)據(jù),為什么做數(shù)據(jù)治理,從大數(shù)據(jù)應(yīng)用、小數(shù)據(jù)應(yīng)用,再到數(shù)據(jù)治理的方法框架,再到企業(yè)內(nèi)部實(shí)際案例,行業(yè)性,數(shù)據(jù)治理在國(guó)內(nèi)發(fā)展歷程,都做了全面性的介紹。它不是一個(gè)技術(shù)操作的,希望能夠幫助大家全面了解這個(gè)領(lǐng)域,了解它的發(fā)展,了解我們正在做的事情,能夠一塊參與到這個(gè)領(lǐng)域的交流、學(xué)習(xí)和共同成長(zhǎng)當(dāng)中來。謝謝大家!

?【相關(guān)鏈接

?上篇 ▏數(shù)據(jù)治理為數(shù)據(jù)資產(chǎn)保駕護(hù)航(實(shí)錄+PPT+視頻)

?數(shù)據(jù)治理是一個(gè)一般意義上的管理活動(dòng),雖然我們是大數(shù)據(jù)的論壇,很多面孔都是很年輕的,可能對(duì)于大數(shù)據(jù)、對(duì)于數(shù)據(jù)的應(yīng)用,比較關(guān)注偏技術(shù)、偏操作方面,對(duì)于像治理、管理是帶著興趣想去了解和學(xué)習(xí)的。其實(shí)數(shù)據(jù)治理是理論和經(jīng)驗(yàn)的結(jié)合,就像管理學(xué)者說管理既是科學(xué)也是藝術(shù),最終是一個(gè)手藝。治理也是一樣,也是有理論支持的。同時(shí)也需要大量實(shí)踐經(jīng)驗(yàn),今天我們也會(huì)講一些案例,需要大家把理論的學(xué)習(xí)和實(shí)操經(jīng)驗(yàn)結(jié)合起來,才能真正感受到治理的重要性。怎么樣把它做好,同時(shí)也需要一些技術(shù)能力,需要對(duì)數(shù)據(jù)有一些理解,有了數(shù)據(jù)開發(fā)、數(shù)據(jù)庫設(shè)計(jì)、數(shù)據(jù)處理這些切身的工作經(jīng)驗(yàn)之后,對(duì)治理的重要性和怎么樣做能體會(huì)的更深。

?

責(zé)任編輯:陳近梅

分享: