阿里數(shù)據(jù)服務(wù)產(chǎn)品開發(fā)及大數(shù)據(jù)體系（實(shí)錄/PPT干貨）

來源：阿里數(shù)據(jù) 時(shí)間：2017-10-24 13:55:30 作者：編輯/Fynlch王培

　　數(shù)據(jù)觀導(dǎo)讀：近日，在2017杭州云棲大會(huì)-阿里大數(shù)據(jù)分論壇上，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部資深技術(shù)專家姚濱暉發(fā)表了主題為《阿里巴巴數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)》的演講，分享了阿里在大數(shù)據(jù)領(lǐng)域沉淀的技術(shù)能力和應(yīng)用實(shí)踐。

　　數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)通過有機(jī)的組合發(fā)揮出阿里EB級(jí)數(shù)據(jù)的價(jià)值。數(shù)據(jù)服務(wù)通過規(guī)范DSL標(biāo)準(zhǔn)和Query Engine、Push Engine、DAG編排、Algorithm Engine的組合對(duì)外提供了單一接口動(dòng)態(tài)化查詢所有數(shù)據(jù)，和實(shí)時(shí)計(jì)算平臺(tái)打通數(shù)據(jù)秒級(jí)觸達(dá)應(yīng)用，平均RT小于5毫秒的數(shù)據(jù)獲取能力，同時(shí)除了基礎(chǔ)數(shù)據(jù)指標(biāo)輸出外，還實(shí)現(xiàn)了基礎(chǔ)服務(wù)能力之上提煉的動(dòng)態(tài)邏輯、挖掘、算法能力的服務(wù)化輸出，完成了數(shù)據(jù)在業(yè)務(wù)間的全域流通。

　　數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)通過對(duì)阿里數(shù)年復(fù)雜業(yè)務(wù)場(chǎng)景下的實(shí)踐和抽象，通過變和不變的架構(gòu)設(shè)計(jì)思路、跨端的大數(shù)據(jù)，提供一套可供非開發(fā)人員自助使用來實(shí)現(xiàn)阿里絕大多數(shù)數(shù)據(jù)產(chǎn)品需求的開放平臺(tái)，實(shí)現(xiàn)跨PC、手機(jī)、大屏的多端功能，提供數(shù)據(jù)分析能力、報(bào)表配置能力、產(chǎn)品配置能力、產(chǎn)品開發(fā)能力，解決非開發(fā)人員自助完成看數(shù)據(jù)、分析數(shù)據(jù)、使用數(shù)據(jù)的需求，完成數(shù)據(jù)對(duì)業(yè)務(wù)的直接賦能。

↓詳情參看下文實(shí)錄+PPT↓

{ Part1 }

數(shù)據(jù)賦能的背景

　　▊總體來看，阿里巴巴的生態(tài)可以分為六個(gè)業(yè)務(wù)板塊：

　　電商、物流、健康、文娛、金融，以及云計(jì)算。阿里巴巴通過這些業(yè)務(wù)，服務(wù)了數(shù)億用戶，上千萬的小微企業(yè)，以及上千萬的商家。伴隨著我們的業(yè)務(wù)服務(wù)，同時(shí)截止目前，我們已經(jīng)沉淀的數(shù)據(jù)量高達(dá) EB級(jí)規(guī)模。

　　通過全域數(shù)據(jù)體系，我們建設(shè)、融合、鏈接了這些來自不同業(yè)態(tài)的數(shù)據(jù)。 （ 點(diǎn)擊此處可跳轉(zhuǎn)查看《阿里巴巴全域數(shù)據(jù)建設(shè)》）

　　下面這張圖，勾勒了阿里巴巴大數(shù)據(jù)體系。

【圖：阿里巴巴大數(shù)據(jù)體系】

　　從下往上看，最底層的是全域數(shù)據(jù)，第二層是基礎(chǔ)數(shù)據(jù)建設(shè)，它包括了人工智能的一些算法。在基礎(chǔ)數(shù)據(jù)建設(shè)的上面分別是各種數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)。

　　從圖中我們也可以發(fā)現(xiàn)，我們的數(shù)據(jù)產(chǎn)品和服務(wù)，實(shí)際上是通過各類不同的應(yīng)用場(chǎng)景來達(dá)到服務(wù)阿里小二、阿里商家、消費(fèi)者、合作伙伴的目的。

　　所以，數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)，它與應(yīng)用場(chǎng)景是強(qiáng)相關(guān)，直接連接，他們的主要作用是把底層建設(shè)完的數(shù)據(jù)、算法，生產(chǎn)成可以直接賦能業(yè)務(wù)和用戶的應(yīng)用。

{ Part2 }

數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)的關(guān)系

　　數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)的關(guān)系就像齒輪一樣，它們是相互依存的一個(gè)整體。

　　為什么這么說？

　　———————

　　▊從業(yè)務(wù)角度來看：業(yè)務(wù)使用數(shù)據(jù)有兩個(gè)最核心的場(chǎng)景：

　　◎ 第一，業(yè)務(wù)本身需要數(shù)據(jù)。這時(shí)候，業(yè)務(wù)會(huì)通過數(shù)據(jù)服務(wù)來直接獲取數(shù)據(jù)，這是第一個(gè)場(chǎng)景。

　　◎ 第二，業(yè)務(wù)中的運(yùn)營(yíng)、分析師，他們需要使用數(shù)據(jù)來更好地提升數(shù)據(jù)賦能的效能。這時(shí)候運(yùn)營(yíng)和分析師，就會(huì)通過相應(yīng)的數(shù)據(jù)產(chǎn)品，來使用數(shù)據(jù)。所以，這就是數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)承擔(dān)的主要職責(zé)。

　　所以通過這兩個(gè)核心的數(shù)據(jù)賦能業(yè)務(wù)的場(chǎng)景，我們可以發(fā)現(xiàn)數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)，之間相關(guān)依存的關(guān)系。

　　▊從優(yōu)勢(shì)角度來看，將數(shù)據(jù)服務(wù)好和數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)組合起來，它們可以體現(xiàn)三個(gè)優(yōu)勢(shì)：

　　◎ 第一，通過這樣的一個(gè)組合，能夠打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘。這里要強(qiáng)調(diào)的是它們打破的不是在底層的數(shù)據(jù)壁壘，而是打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘，因?yàn)?大業(yè)務(wù)板塊，所產(chǎn)生的數(shù)據(jù)形態(tài)、含義、結(jié)構(gòu)都有很大差異。在底層完成了整個(gè)數(shù)據(jù)打通之后，打破壁壘就是為了在業(yè)務(wù)層上，讓數(shù)據(jù)在各個(gè)業(yè)務(wù)間像水一樣來流通。

　　◎ 第二，滿足靈活多變的數(shù)據(jù)需求。

　　◎ 第三，全域流通和按需自助實(shí)現(xiàn)。這個(gè)組合可以實(shí)現(xiàn)所有用戶可以去按需自助來完成，而不需要專業(yè)開發(fā)、產(chǎn)品來介入。

{ Part3 }

數(shù)據(jù)服務(wù)介紹

　　▊數(shù)據(jù)服務(wù)主要由四個(gè)核心能力組成：

　　◎ 首先，基礎(chǔ)數(shù)據(jù)服務(wù)，它主要是提供基礎(chǔ)數(shù)據(jù)能力，實(shí)現(xiàn)上萬數(shù)據(jù)指標(biāo)跨域獲??；

　　◎ 其次，標(biāo)簽畫像服務(wù)，通過這個(gè)服務(wù)，可以給用戶提供上百個(gè)標(biāo)簽刻畫；

　　◎ 第三，人群透視服務(wù)，這個(gè)服務(wù)其實(shí)是在標(biāo)簽智商最的提煉，在營(yíng)銷場(chǎng)景中，可以通過接入這個(gè)服務(wù)，來實(shí)現(xiàn)人群的圈選等；

　　◎ 第四、還有算法模型服務(wù)，通過一鍵服務(wù)化的方式，把算法能力通過服務(wù)透出。

【圖：數(shù)據(jù)服務(wù)的架構(gòu)】

　　上圖展示了數(shù)據(jù)服務(wù)的架構(gòu)。

　　從上往下看，portal是一個(gè)門戶，通過它可以發(fā)現(xiàn)，整個(gè)阿里巴巴公共層，有多少基礎(chǔ)的指標(biāo)可以去獲取，并且這些指標(biāo)現(xiàn)在已經(jīng)被哪些業(yè)務(wù)部門通過什么樣的方式來獲取。

　　用戶只需要按照同樣的方式，就能夠獲取到對(duì)應(yīng)的數(shù)據(jù)，極大縮短用戶發(fā)現(xiàn)數(shù)據(jù)、獲取數(shù)據(jù)以及使用數(shù)據(jù)的路徑。

　　中間這層是DSL，通過DSL我們把用戶獲取數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范進(jìn)行了統(tǒng)一，整個(gè)DSL之下有一些大的核心能力。QueryEngine實(shí)現(xiàn)所有跟查詢相關(guān)的能力輸出；PushEngine提供實(shí)時(shí)數(shù)據(jù)推送的能力；DAG可視化，可配置編排業(yè)務(wù)邏輯。Algorithm Engine輸出算法和人工智能的能力。

　　【圖：DSL&DAG實(shí)例】

　　▊現(xiàn)在，我們的數(shù)據(jù)服務(wù)的主要有三大應(yīng)用場(chǎng)景：

　　◎ 第一是阿里集團(tuán)內(nèi)部，諸如搜索、推薦、營(yíng)銷等場(chǎng)景；

　　◎ 第二是數(shù)據(jù)大屏，大家在雙11看到酷炫大屏，它其實(shí)就是通過數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的；

　　◎ 第三是商業(yè)化數(shù)據(jù)產(chǎn)品，被商家熟知的生意參謀，它所展示的數(shù)據(jù)也是通過數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的。

{ Part4 }

數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)

　　我們構(gòu)建數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)最核心的目的就是，讓非專業(yè)的開發(fā)人員，也可以根據(jù)自己的需求，來搭建數(shù)據(jù)產(chǎn)品，從而實(shí)現(xiàn)自己使用數(shù)據(jù)的目的。

　　▊那么數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)，它主要對(duì)外提供了四個(gè)能力：

　　◎ 第一，用戶可以完成數(shù)據(jù)分析；

　　◎ 第二，用戶可以去自助實(shí)現(xiàn)報(bào)表配置；

　　◎ 第三，非開發(fā)人員可以利用它去實(shí)現(xiàn)產(chǎn)品配置；

　　◎ 第四，開發(fā)人員可以通過它，開發(fā)一些更加復(fù)雜、更加個(gè)性化、更加定制化的一些數(shù)據(jù)產(chǎn)品。

　　具體來看數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)的架構(gòu)，整個(gè)架構(gòu)的核心能力依然由兩個(gè)部分組成。應(yīng)用端和服務(wù)端。

　　在應(yīng)用和服務(wù)中間是DSL,所有的應(yīng)用和服務(wù)，最終都會(huì)按照DSL標(biāo)準(zhǔn)來配置。通過數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)構(gòu)建完成的應(yīng)用和服務(wù)，并不是一個(gè)獨(dú)立運(yùn)行的實(shí)體，它實(shí)際上是一個(gè)配置，渲染引擎、執(zhí)行引擎等可以加載和運(yùn)行這個(gè)配置；通過構(gòu)建引擎生成一個(gè)配置，來實(shí)現(xiàn)不同國(guó)家、不同機(jī)房、不同終端都能運(yùn)行的目的。

　　事實(shí)上，整個(gè)數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)的構(gòu)建思路主要由兩個(gè)核心點(diǎn)：什么是變的以及什么是不變的。

　　其實(shí)我們只要能夠?qū)?shù)據(jù)使用過程分析、分解出變和不變這兩個(gè)要素，就能夠比較快速地解決問題。

　　舉個(gè)例子：對(duì)于一個(gè)應(yīng)用，我們?cè)趺磥矸纸庾兒筒蛔儍蓚€(gè)要素。

　　應(yīng)用的布局、樣式、分析思路……這些都是不變的；但應(yīng)用中的組件，可以是一個(gè)圖表、可以是功能區(qū)域，也可以是一個(gè)不可見的邏輯……這些是變化的。

　　繼續(xù)分析一個(gè)組件：組件的類型、屬性是不變的；但是每個(gè)組件它所能夠表達(dá)的數(shù)據(jù)，是可以變化的；同理推導(dǎo)數(shù)據(jù)：對(duì)于一個(gè)數(shù)據(jù)來講，格式是、權(quán)限是不變的；但是數(shù)據(jù)是從哪個(gè)服務(wù)能夠獲取到數(shù)據(jù)，這個(gè)是可以變化的。

　　最后到服務(wù)這一層，服務(wù)里面有兩部分組成：通過SQL獲取的原始數(shù)據(jù)和業(yè)務(wù)邏輯；通過業(yè)務(wù)邏輯對(duì)原始數(shù)據(jù)的加工和編排，最后以服務(wù)化的方式，把數(shù)據(jù)開放給上層應(yīng)用。

　　了解思路之后，我們?cè)賮砜匆幌抡麄€(gè)平臺(tái)的構(gòu)建過程，它們分別是在應(yīng)用端和在服務(wù)端的構(gòu)建引擎。

　　對(duì)于應(yīng)用端的構(gòu)建引擎，需要注意的是非開發(fā)人員，通過構(gòu)建引擎，只需要輸入四個(gè)要素——樣式、布局、組件以及分析思路，就能構(gòu)建出一個(gè)基于DSL描述的一個(gè)應(yīng)用；同理，在服務(wù)端也是一樣的，非開發(fā)人員通過輸入SQL，和一些業(yè)務(wù)邏輯的實(shí)現(xiàn)，就能夠生成一個(gè)基于DSL描述的服務(wù)。在應(yīng)用層，上述的服務(wù)是可以實(shí)現(xiàn)PC、無線和大屏的跨端。

　　在使用過程中，下圖是一個(gè)使用過程的示意：就是通過兩個(gè)引擎：渲染引擎和執(zhí)行引擎。

　　它們都會(huì)去加載DSL描述的應(yīng)用和服務(wù)，然后進(jìn)行交互來完成整個(gè)這個(gè)產(chǎn)品的實(shí)現(xiàn)。

　　▊數(shù)據(jù)產(chǎn)品開發(fā)平臺(tái)在阿里的應(yīng)用對(duì)象主要是四塊：

　　◎ 首先是業(yè)務(wù)運(yùn)營(yíng)，在日常運(yùn)營(yíng)中，運(yùn)營(yíng)人員可以通過這個(gè)平臺(tái)去自助的去生成所需要的產(chǎn)品；

　　◎ 第二是決策分析，分析師會(huì)幫助行業(yè)來進(jìn)行業(yè)務(wù)分析指導(dǎo)，他們會(huì)通過整個(gè)平臺(tái)來使用和開發(fā)自己的數(shù)據(jù)分析產(chǎn)品，完成決策分析；

　　◎ 第三是后端營(yíng)銷其實(shí)也可以通過它來搭建產(chǎn)品；

　　◎ 最后是剛才提到的——生意參謀，這是通過這個(gè)平臺(tái)開發(fā)商業(yè)應(yīng)用產(chǎn)品，目前已經(jīng)累積服務(wù)了2千萬商家。

　　注：本文系阿里數(shù)據(jù)「AliData」授權(quán)數(shù)據(jù)觀發(fā)布，綜合自2017杭州云棲大會(huì)大數(shù)據(jù)專場(chǎng)演講干貨內(nèi)容，編輯：Fynlch（王培），轉(zhuǎn)載請(qǐng)務(wù)必申請(qǐng)授權(quán)并注明來源、出處及作者信息。數(shù)據(jù)觀微信公眾號(hào)（ID:cbdioreview），欲了解更多大數(shù)據(jù)行業(yè)相關(guān)資訊，可搜索數(shù)據(jù)觀（中國(guó)大數(shù)據(jù)產(chǎn)業(yè)觀察網(wǎng)www.21jieyan.cn）進(jìn)入查看。

責(zé)任編輯：王培