阿里資深技術(shù)專(zhuān)家姚濱暉：EB級(jí)別體量之下的高效數(shù)據(jù)賦能

來(lái)源：阿里巴巴 時(shí)間：2017-10-19 15:25:47 作者：

　　本內(nèi)容編輯自阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部資深技術(shù)專(zhuān)家姚濱暉在“2017云棲大會(huì)·阿里大數(shù)據(jù)分論壇”上的演講。

　　演講人：姚濱暉（阿里巴巴資深技術(shù)專(zhuān)家）

　　總體來(lái)看，阿里巴巴的生態(tài)可以分為六個(gè)業(yè)務(wù)板塊：電商、物流、健康、文娛、金融，以及云計(jì)算。阿里巴巴通過(guò)這些業(yè)務(wù)，服務(wù)了數(shù)億用戶(hù)，上千萬(wàn)的小微企業(yè)，以及上千萬(wàn)的商家。伴隨著我們的業(yè)務(wù)服務(wù)，同時(shí)截止目前，我們已經(jīng)沉淀的數(shù)據(jù)量高達(dá)E B級(jí)規(guī)模。

　　通過(guò)全域數(shù)據(jù)體系，我們建設(shè)、融合、鏈接了這些來(lái)自不同業(yè)態(tài)的數(shù)據(jù)。下面這張圖，勾勒了阿里巴巴大數(shù)據(jù)體系。

　　從下往上看，最底層的是全域數(shù)據(jù)，第二層是基礎(chǔ)數(shù)據(jù)建設(shè)，它包括了人工智能的一些算法。在基礎(chǔ)數(shù)據(jù)建設(shè)的上面分別是各種數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)。

　　從圖中我們也可以發(fā)現(xiàn)，我們的數(shù)據(jù)產(chǎn)品和服務(wù)，實(shí)際上是通過(guò)各類(lèi)不同的應(yīng)用場(chǎng)景來(lái)達(dá)到服務(wù)阿里小二、阿里商家、消費(fèi)者、合作伙伴的目的。

　　所以，數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)，它與應(yīng)用場(chǎng)景是強(qiáng)相關(guān)，直接連接，他們的主要作用是把底層建設(shè)完的數(shù)據(jù)、算法，生產(chǎn)成可以直接賦能業(yè)務(wù)和用戶(hù)的應(yīng)用。

part1

數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)的關(guān)系

　　數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)的關(guān)系就像齒輪一樣，它們是相互依存的一個(gè)整體。

　　為什么這么說(shuō)？

　　從業(yè)務(wù)角度來(lái)看：業(yè)務(wù)使用數(shù)據(jù)有兩個(gè)最核心的場(chǎng)景：

業(yè)務(wù)本身需要數(shù)據(jù)。這時(shí)候，業(yè)務(wù)會(huì)通過(guò)數(shù)據(jù)服務(wù)來(lái)直接獲取數(shù)據(jù)，這是第一個(gè)場(chǎng)景。業(yè)務(wù)中的運(yùn)營(yíng)、分析師，他們需要使用數(shù)據(jù)來(lái)更好地提升數(shù)據(jù)賦能的效能，

　　這時(shí)候，這些運(yùn)營(yíng)和分析師，就會(huì)通過(guò)相應(yīng)的數(shù)據(jù)產(chǎn)品，來(lái)使用數(shù)據(jù)。所以，這就是數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)承擔(dān)的主要職責(zé)。

　　所以通過(guò)這兩個(gè)核心的數(shù)據(jù)賦能業(yè)務(wù)的場(chǎng)景，我們可以發(fā)現(xiàn)數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)，之間相關(guān)依存的關(guān)系。

　　從優(yōu)勢(shì)角度來(lái)看：將數(shù)據(jù)服務(wù)好和數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)組合起來(lái)，它們可以體現(xiàn)三個(gè)優(yōu)勢(shì)：

通過(guò)這樣的一個(gè)組合，能夠打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘，這里要強(qiáng)調(diào)的是它們打破的不是在底層的數(shù)據(jù)壁壘，而是打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘，因?yàn)?大業(yè)務(wù)板塊，所產(chǎn)生的數(shù)據(jù)形態(tài)、含義、結(jié)構(gòu)都有很大差異。在底層完成了整個(gè)數(shù)據(jù)打通之后，打破壁壘就是為了在業(yè)務(wù)層上，讓數(shù)據(jù)在各個(gè)業(yè)務(wù)間像水一樣來(lái)流通。滿(mǎn)足靈活多變的數(shù)據(jù)需求。全域流通和按需自助實(shí)現(xiàn)。這個(gè)組合可以實(shí)現(xiàn)所有用戶(hù)可以去按需自助來(lái)完成，而不需要專(zhuān)業(yè)開(kāi)發(fā)、產(chǎn)品來(lái)介入。

Part2

數(shù)據(jù)服務(wù)介紹

　　數(shù)據(jù)服務(wù)主要由四個(gè)核心能力組成：首先，基礎(chǔ)數(shù)據(jù)服務(wù)，它主要是提供基礎(chǔ)數(shù)據(jù)能力，實(shí)現(xiàn)上萬(wàn)數(shù)據(jù)指標(biāo)跨域獲??；其次，標(biāo)簽畫(huà)像服務(wù)，通過(guò)這個(gè)服務(wù)，可以給用戶(hù)提供上百個(gè)標(biāo)簽刻畫(huà)；第三是人群透視服務(wù)，這個(gè)服務(wù)其實(shí)是在標(biāo)簽智商最的提煉，在營(yíng)銷(xiāo)場(chǎng)景中，可以通過(guò)接入這個(gè)服務(wù)，來(lái)實(shí)現(xiàn)人群的圈選等；第四、除了上述三種服務(wù)之外，還有算法模型服務(wù)，通過(guò)一鍵服務(wù)化的方式，把算法能力通過(guò)服務(wù)透出。

?
　　上圖展示了數(shù)據(jù)服務(wù)的架構(gòu)。

　　從上往下看，portal是一個(gè)門(mén)戶(hù)，通過(guò)它可以發(fā)現(xiàn)，整個(gè)阿里巴巴公共層，有多少基礎(chǔ)的指標(biāo)可以去獲取，并且這些指標(biāo)現(xiàn)在已經(jīng)被哪些業(yè)務(wù)部門(mén)通過(guò)什么樣的方式來(lái)獲取。

　　用戶(hù)只需要按照同樣的方式，就能夠獲取到對(duì)應(yīng)的數(shù)據(jù)，極大縮短用戶(hù)發(fā)現(xiàn)數(shù)據(jù)、獲取數(shù)據(jù)以及使用數(shù)據(jù)的路徑。

　　中間這層是DSL，通過(guò)DSL我們把用戶(hù)獲取數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范進(jìn)行了統(tǒng)一，整個(gè)DSL之下有一些大的核心能力。QueryEngine實(shí)現(xiàn)所有跟查詢(xún)相關(guān)的能力輸出； PushEngine提供實(shí)時(shí)數(shù)據(jù)推送的能力；DAG可視化，可配置編排業(yè)務(wù)邏輯。Algorithm Engine輸出算法和人工智能的能力。

DSL&DAG實(shí)例

　　現(xiàn)在，我們的數(shù)據(jù)服務(wù)的主要有三大應(yīng)用場(chǎng)景：第一個(gè)是阿里集團(tuán)內(nèi)部，諸如搜索、推薦、營(yíng)銷(xiāo)等場(chǎng)景；第二就是數(shù)據(jù)大屏，大家在雙11看到酷炫大屏，它其實(shí)就是通過(guò)數(shù)據(jù)服務(wù)來(lái)實(shí)現(xiàn)的；第三就是商業(yè)化數(shù)據(jù)產(chǎn)品，被商家熟知的生意參謀，它所展示的數(shù)據(jù)也是通過(guò)數(shù)據(jù)服務(wù)來(lái)實(shí)現(xiàn)的。

Part3

數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)介紹

　　我們構(gòu)建數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)最核心的目的就是，讓非專(zhuān)業(yè)的開(kāi)發(fā)人員，也可以根據(jù)自己的需求，來(lái)搭建數(shù)據(jù)產(chǎn)品，從而實(shí)現(xiàn)自己使用數(shù)據(jù)的目的。

　　那么數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)，它主要對(duì)外提供了四個(gè)能力。

用戶(hù)可以完成數(shù)據(jù)分析；用戶(hù)可以去自助實(shí)現(xiàn)報(bào)表配置；非開(kāi)發(fā)人員可以利用它去實(shí)現(xiàn)產(chǎn)品配置；開(kāi)發(fā)人員可以通過(guò)它，開(kāi)發(fā)一些更加復(fù)雜、更加個(gè)性化、更加定制化的一些數(shù)據(jù)產(chǎn)品。

　　具體來(lái)看數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)的架構(gòu)，整個(gè)架構(gòu)的核心能力依然由兩個(gè)部分組成。應(yīng)用端和服務(wù)端。

　　在應(yīng)用和服務(wù)中間是DSL,所有的應(yīng)用和服務(wù)，最終都會(huì)按照DSL標(biāo)準(zhǔn)來(lái)配置。通過(guò)數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)構(gòu)建完成的應(yīng)用和服務(wù)，并不是一個(gè)獨(dú)立運(yùn)行的實(shí)體，它實(shí)際上是一個(gè)配置，渲染引擎、執(zhí)行引擎等可以加載和運(yùn)行這個(gè)配置；通過(guò)構(gòu)建引擎生成一個(gè)配置，來(lái)實(shí)現(xiàn)不同國(guó)家、不同機(jī)房、不同終端都能運(yùn)行的目的。

　　事實(shí)上，整個(gè)數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)的構(gòu)建思路主要由兩個(gè)核心點(diǎn)：什么是變的以及什么是不變的。

　　其實(shí)我們只要能夠?qū)?shù)據(jù)使用過(guò)程分析、分解出變和不變這兩個(gè)要素，就能夠比較快速地解決問(wèn)題。

　　舉個(gè)例子。

　　應(yīng)用的布局、樣式、分析思路……這些都是不變的；但應(yīng)用中的組件，可以是一個(gè)圖表、可以是功能區(qū)域，也可以是一個(gè)不可見(jiàn)的邏輯……這些是變化的。

　　繼續(xù)分析一個(gè)組件：組件的類(lèi)型、屬性是不變的；但是每個(gè)組件它所能夠表達(dá)的數(shù)據(jù)，是可以變化的；同理推導(dǎo)數(shù)據(jù)：對(duì)于一個(gè)數(shù)據(jù)來(lái)講，格式是、權(quán)限是不變的；但是數(shù)據(jù)是從哪個(gè)服務(wù)能夠獲取到數(shù)據(jù)，這個(gè)是可以變化的。

　　最后到服務(wù)這一層，服務(wù)里面有兩部分組成：通過(guò)SQL獲取的原始數(shù)據(jù)和業(yè)務(wù)邏輯；通過(guò)業(yè)務(wù)邏輯對(duì)原始數(shù)據(jù)的加工和編排，最后以服務(wù)化的方式，把數(shù)據(jù)開(kāi)放給上層應(yīng)用。

　　了解思路之后，我們?cè)賮?lái)看一下整個(gè)平臺(tái)的構(gòu)建過(guò)程，它們分別是在應(yīng)用端和在服務(wù)端的構(gòu)建引擎。

　　對(duì)于應(yīng)用端的構(gòu)建引擎，需要注意的是非開(kāi)發(fā)人員，通過(guò)構(gòu)建引擎，只需要輸入四個(gè)要素——樣式、布局、組件以及分析思路，就能構(gòu)建出一個(gè)基于DSL描述的一個(gè)應(yīng)用；同理，在服務(wù)端也是一樣的，非開(kāi)發(fā)人員通過(guò)輸入SQL，和一些業(yè)務(wù)邏輯的實(shí)現(xiàn)，就能夠生成一個(gè)基于DSL描述的服務(wù)。在應(yīng)用層，上述的服務(wù)是可以實(shí)現(xiàn)PC、無(wú)線(xiàn)和大屏的跨端。

　　在使用過(guò)程中，下圖是一個(gè)使用過(guò)程的示意：就是通過(guò)兩個(gè)引擎：渲染引擎和執(zhí)行引擎，它們都會(huì)去加載DSL描述的應(yīng)用和服務(wù)，然后進(jìn)行交互來(lái)完成整個(gè)這個(gè)產(chǎn)品的實(shí)現(xiàn)。

　　目前，數(shù)據(jù)產(chǎn)品開(kāi)發(fā)平臺(tái)在阿里的應(yīng)用對(duì)象主要是四塊：首先是業(yè)務(wù)運(yùn)營(yíng)，在日常運(yùn)營(yíng)中，運(yùn)營(yíng)人員可以通過(guò)這個(gè)平臺(tái)去自助的去生成所需要的產(chǎn)品；第二塊是決策分析，分析師會(huì)幫助行業(yè)來(lái)進(jìn)行業(yè)務(wù)分析指導(dǎo)，他們會(huì)通過(guò)整個(gè)平臺(tái)來(lái)使用和開(kāi)發(fā)自己的數(shù)據(jù)分析產(chǎn)品，完成決策分析；第三，后端營(yíng)銷(xiāo)其實(shí)也可以通過(guò)它來(lái)搭建產(chǎn)品；最后就是剛才提到的——生意參謀，這是通過(guò)這個(gè)平臺(tái)開(kāi)發(fā)商業(yè)應(yīng)用產(chǎn)品，目前已經(jīng)累積服務(wù)了2千萬(wàn)商家。

　　注：本文由阿里巴巴投稿至數(shù)據(jù)觀(guān)并授權(quán)發(fā)布，轉(zhuǎn)載請(qǐng)注明來(lái)源及作者信息。

　　

責(zé)任編輯：陳近梅