騰訊云副總裁黎?。喝绾翁幚砭畤姷臄?shù)據(jù)并維護(hù)信息安全？

來源：THU數(shù)據(jù)派 時(shí)間：2017-09-21 10:09:57 作者：黎巍

?金秋九月，2017國(guó)際大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新高峰論壇暨大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室第一次會(huì)議盛大開幕，大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室作為大數(shù)據(jù)系統(tǒng)軟件技術(shù)研發(fā)與工程化的國(guó)家級(jí)創(chuàng)新平臺(tái)，將通過大數(shù)據(jù)系統(tǒng)軟件技術(shù)的跨界合作與國(guó)際交流，建立和完善大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新平臺(tái)，集聚整合創(chuàng)新資源，加強(qiáng)產(chǎn)學(xué)研用結(jié)合，突破一批關(guān)鍵共性技術(shù)并實(shí)現(xiàn)產(chǎn)業(yè)化，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，為培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)提供驅(qū)動(dòng)力。

?本屆論壇特別邀請(qǐng)到騰訊云副總裁黎巍帶來《社交網(wǎng)絡(luò)大數(shù)據(jù)——從建設(shè)到賦能》的主題報(bào)告。演講精華內(nèi)容經(jīng)數(shù)據(jù)派整理如下：

?

?黎?。涸谌f花齊放的全球即時(shí)通訊市場(chǎng)，QQ和微信作為即時(shí)通訊軟件，是擁有全球用戶數(shù)量最大的此類軟件。15年前，當(dāng)QQ還在為用戶人數(shù)過百萬而慶賀時(shí)，誰也想不到只用了十幾年的時(shí)間，騰訊的用戶數(shù)量呈指數(shù)型增長(zhǎng)，同時(shí)在線人數(shù)達(dá)到了2億。

?整個(gè)產(chǎn)業(yè)的演變，很快顛覆了傳統(tǒng)的認(rèn)知。據(jù)相關(guān)媒體報(bào)道，2021年，全球IoT（物聯(lián)網(wǎng)）數(shù)據(jù)總量將超過280億。并且隨著全球物聯(lián)網(wǎng)的發(fā)展，冰箱、電視機(jī)等家用設(shè)備都將具備攝像頭和互聯(lián)網(wǎng)功能，就如同傳統(tǒng)意義上的一臺(tái)臺(tái)電腦，但不是傳統(tǒng)的一臺(tái)臺(tái)顯示終端，而是都要進(jìn)入到網(wǎng)絡(luò)，產(chǎn)生數(shù)據(jù)，這就是“大數(shù)據(jù)井噴”的時(shí)代。

?談到騰訊和大數(shù)據(jù)，就不能不談社交網(wǎng)絡(luò)。騰訊產(chǎn)品業(yè)務(wù)中有三款作為騰訊所有業(yè)務(wù)發(fā)展的平臺(tái)級(jí)產(chǎn)品，即：QQ、QQ空間和微信。截至目前，QQ每月的活躍用戶是8.5億，同時(shí)在線最高突破2.68億。僅QQ這款軟件，每天在群、C2C個(gè)人聊天產(chǎn)生的消息超過了2000億。

?如此龐大的數(shù)量級(jí)，相當(dāng)于在這個(gè)平臺(tái)上每天生產(chǎn)出2000萬冊(cè)圖書；QQ空間里有6億多的活躍用戶，每天上傳的圖片、照片數(shù)量也已經(jīng)超過6億；微信作為騰訊的后起之秀，目前的月活數(shù)量已經(jīng)達(dá)到9.63億，遠(yuǎn)遠(yuǎn)趕超了QQ。這三個(gè)社交軟件匯總到整個(gè)騰訊基礎(chǔ)存儲(chǔ)計(jì)算的平臺(tái)上，公司內(nèi)存儲(chǔ)的數(shù)據(jù)量超過了200PB，日計(jì)算量超過15PB，每天騰訊公司接入數(shù)據(jù)超過3萬億，每天實(shí)時(shí)計(jì)算超過1萬億。

?從下圖可以看出，騰訊社交網(wǎng)絡(luò)平臺(tái)的數(shù)據(jù)量之大。

?

?這么龐大的數(shù)據(jù)、如此海量的信息，每天源源不斷地在生產(chǎn)，基礎(chǔ)設(shè)施如何適應(yīng)這些數(shù)據(jù)的成長(zhǎng)，對(duì)一個(gè)企業(yè)來說是財(cái)富，同時(shí)也是巨大的社會(huì)責(zé)任。整個(gè)IT服務(wù)設(shè)施自適應(yīng)能力，是未來承載大數(shù)據(jù)非常重要的基礎(chǔ)。這里的數(shù)據(jù)，尤其是核心、敏感的數(shù)據(jù)，不允許出現(xiàn)任何問題。因?yàn)橐坏┏鰡栴}，影響的是千家萬戶，影響的是整個(gè)社會(huì)的方方面面。

?我在騰訊這十幾年來，見證了公司業(yè)務(wù)的高速成長(zhǎng)，每天也都在迎接著一些挑戰(zhàn)。最近幾年，我主要負(fù)責(zé)社交網(wǎng)絡(luò)安全，包括云計(jì)算安全。因此，巨大的安全挑戰(zhàn)就是我們每天必須要面對(duì)的。在生產(chǎn)環(huán)節(jié)，產(chǎn)生這些數(shù)據(jù)以后，公司內(nèi)部存儲(chǔ)、使用是否安全，會(huì)不會(huì)導(dǎo)致一些數(shù)據(jù)的泄露；當(dāng)真正利用這些數(shù)據(jù)用在產(chǎn)品業(yè)務(wù)里時(shí)，這些數(shù)據(jù)在傳輸、調(diào)用過程中，會(huì)不會(huì)有問題；甚至一些歷史上已經(jīng)過了很長(zhǎng)時(shí)間不用的數(shù)據(jù)，是否就可以隨意丟棄；整個(gè)數(shù)據(jù)的銷毀一旦出現(xiàn)泄露，會(huì)產(chǎn)生怎樣的后果等等。

?

?2015年8月，天津港發(fā)生巨大爆炸事件，相當(dāng)于21噸TNT炸藥的威力，而騰訊天津數(shù)據(jù)中心就在爆炸附近，更嚴(yán)重的是，這個(gè)數(shù)據(jù)中心承載著騰訊QQ、微信的數(shù)據(jù)，是騰訊在整個(gè)亞洲最大的云計(jì)算數(shù)據(jù)中心。爆炸現(xiàn)場(chǎng)分分秒秒都面臨著挑戰(zhàn)，隨時(shí)有可能停電、停水，數(shù)據(jù)中心也會(huì)隨時(shí)停止運(yùn)轉(zhuǎn)。當(dāng)時(shí)公司做了一次史無前例的壯舉，30分鐘之內(nèi)，在深圳、上海進(jìn)行大量的服務(wù)器擴(kuò)容上線，把天津的在線QQ用戶以1000萬顆粒度調(diào)度到了上海和深圳的災(zāi)備機(jī)房。

?不過設(shè)想一下，如果天津港爆炸事件波及到了騰訊在天津的數(shù)據(jù)中心，用戶在線使用會(huì)受到怎樣的影響呢？騰訊內(nèi)部的可伸縮的服務(wù)架構(gòu)可以保障QQ的使用，在出現(xiàn)極端情況自動(dòng)調(diào)度時(shí)，會(huì)自動(dòng)把內(nèi)部服務(wù)按照顆粒度進(jìn)行降維，比如一些不那么重要的視頻、語音服務(wù)，可以同時(shí)擠到上海和深圳，這時(shí)候帶寬等出現(xiàn)一些擁擠時(shí)，這些重的服務(wù)會(huì)降維，但基礎(chǔ)的登錄、發(fā)文本消息仍然可以運(yùn)行。所以整個(gè)柔性可用（是服務(wù)存在除了正常服務(wù)，和掛掉之外的第三種狀態(tài)，這就是“服務(wù)降級(jí)”的另一種說法）是根據(jù)外部變化，快速去適應(yīng)。從天津大爆炸來看QQ用戶遷徙，這里承載了騰訊多年來在海量服務(wù)上的實(shí)戰(zhàn)經(jīng)驗(yàn)累積。

?天津大遷徙能夠做到用戶無感知，主要仰仗內(nèi)部的SET模型，是彈性伸縮的高效服務(wù)模型。這套模型架構(gòu)，在十年前創(chuàng)立時(shí)，它的基礎(chǔ)架構(gòu)參照的是集裝箱原理。海量服務(wù)后臺(tái)各種服務(wù)、各種同步的邏輯非常復(fù)雜。以集裝箱原理，把所有的服務(wù)模糊掉耦合，變成一個(gè)個(gè)可以度量，甚至每一個(gè)SET模型都可以獨(dú)立運(yùn)轉(zhuǎn)，都可以獨(dú)立異地部署。

?所以，當(dāng)QQ在線用戶數(shù)量無論是2億、10億或是100億，在內(nèi)部后臺(tái)服務(wù)看到的只是擴(kuò)充一個(gè)個(gè)集裝箱，整個(gè)后臺(tái)監(jiān)控大屏可以看出哪里出問題，看到每一個(gè)集裝箱的問題。在這個(gè)模型里，每一個(gè)SET內(nèi)部可以擴(kuò)展，可以承載幾萬客戶，也可以擴(kuò)展承載上千萬客戶，同時(shí)每個(gè)SET擴(kuò)展幾百萬客戶，很多SET平行運(yùn)轉(zhuǎn)。這樣使得可管理性、可度量性大大增強(qiáng)，自動(dòng)化部署和自動(dòng)化運(yùn)維會(huì)非?？?。這是整個(gè)騰訊后臺(tái)服務(wù)彈性伸縮模型中非常重要的基礎(chǔ)的構(gòu)造，也是天津大遷徙最終能夠?qū)崿F(xiàn)無感知基礎(chǔ)的架構(gòu)。

?

?這么龐大的用戶量同時(shí)從一個(gè)地方要更換IP、更換鏈接，切換到另外一個(gè)地方，一些資料、狀態(tài)、信息數(shù)據(jù)如何處理，這肯定會(huì)有一些時(shí)間延遲。這方面，騰訊為什么能做到無感知延遲？

?其原因是騰訊在全中國(guó)是以深圳、上海、天津三地骨干網(wǎng)進(jìn)行連接，三地大數(shù)據(jù)中心全部都是有儲(chǔ)備的，這個(gè)意思就是QQ、微信，最核心用戶的一些信息數(shù)據(jù)在三地是完整的。這里不是簡(jiǎn)單磁盤數(shù)據(jù)，而是在天津、上海、深圳三地都保持著100多T的內(nèi)存數(shù)據(jù)。在切換時(shí)，不需要從另外一個(gè)地方同步數(shù)據(jù)、導(dǎo)數(shù)據(jù)，可以做到快速切換。例如，對(duì)于不是那么敏感的資料和信息數(shù)據(jù)，音樂之類的數(shù)據(jù)，一般主要是在深圳和上海兩地進(jìn)行備份容災(zāi)。所以，整個(gè)分布式容災(zāi)能力，日常容災(zāi)、備份能力，也是保證整個(gè)服務(wù)遇到危機(jī)時(shí)，不會(huì)因?yàn)橐频囟艿接绊憽?/p>

?

?不過設(shè)想一下，如果天津港爆炸事件波及到了騰訊在天津的數(shù)據(jù)中心，用戶在線使用會(huì)受到怎樣的影響呢？騰訊內(nèi)部的可伸縮的服務(wù)架構(gòu)可以保障QQ的使用，在出現(xiàn)極端情況自動(dòng)調(diào)度時(shí)，會(huì)自動(dòng)把內(nèi)部服務(wù)按照顆粒度進(jìn)行降維，比如一些不那么重要的視頻、語音服務(wù)，可以同時(shí)擠到上海和深圳，這時(shí)候帶寬等出現(xiàn)一些擁擠時(shí)，這些重的服務(wù)會(huì)降維，但基礎(chǔ)的登錄、發(fā)文本消息仍然可以運(yùn)行。所以整個(gè)柔性可用（是服務(wù)存在除了正常服務(wù)，和掛掉之外的第三種狀態(tài)，這就是“服務(wù)降級(jí)”的另一種說法）是根據(jù)外部變化，快速去適應(yīng)。從天津大爆炸來看QQ用戶遷徙，這里承載了騰訊多年來在海量服務(wù)上的實(shí)戰(zhàn)經(jīng)驗(yàn)累積。

?經(jīng)過十八年的發(fā)展，騰訊作為一家互聯(lián)網(wǎng)公司，在海量的服務(wù)、容災(zāi)容錯(cuò)，各種異地分布式積累方面儲(chǔ)備了大量的經(jīng)驗(yàn)和教訓(xùn)，所以著重考慮把這些能力、資源、經(jīng)驗(yàn)貢獻(xiàn)到社會(huì)和企業(yè)。最近幾年，因?yàn)樵朴?jì)算的興起，我們開始通過“云”這個(gè)平臺(tái)和管道賦能到企業(yè)和社會(huì)，實(shí)現(xiàn)資源的整合再平衡，以及社會(huì)潛能的釋放。目前，包括整個(gè)處理平臺(tái)的開放和騰訊大數(shù)據(jù)的開放。

?騰訊的業(yè)務(wù)數(shù)據(jù)量非常龐大，每天面臨的國(guó)內(nèi)外黑產(chǎn)、黑客的攻擊層出不窮。這么多年來，給我們積累了大量的經(jīng)驗(yàn)和數(shù)據(jù)，在整個(gè)騰訊平臺(tái)上，現(xiàn)在具備100億惡意網(wǎng)址檢測(cè)的存儲(chǔ)數(shù)據(jù)，APK樣本過億級(jí)。整個(gè)中國(guó)從事非法獲益的手機(jī)庫(kù)有過億黑手機(jī)，超過百萬黑銀行卡信息數(shù)據(jù)。這些數(shù)據(jù)經(jīng)過我們最近幾年深度學(xué)習(xí)的算法挖掘，數(shù)據(jù)價(jià)值越來越大?，F(xiàn)在這個(gè)平臺(tái)開放以后，除了騰訊，包括幫助國(guó)內(nèi)很多公司和網(wǎng)站，每天識(shí)別惡意網(wǎng)址超過百萬，每天識(shí)別惡意詐騙電話超過百萬，每天檢測(cè)出在網(wǎng)上傳播的各種惡意樣本超過千萬級(jí)。我們把這些能力最后匯集成一些產(chǎn)品和服務(wù)系統(tǒng)（基本上都是公益的），開放給社會(huì)。另外，這幾年國(guó)內(nèi)電話詐騙，釣魚、仿冒銀行短信，甚至基站都是偽造的，普通網(wǎng)民很難識(shí)別，一年多前，騰訊把反偽基站系統(tǒng)、反釣魚網(wǎng)站系統(tǒng)提供給包括運(yùn)營(yíng)商、各地公安部門，在一些地方部署以后，偽基站的部署量有了70%的下降。

?

?大家都知道，QQ有幾億用戶，那用戶之間會(huì)產(chǎn)生多少關(guān)系？這方面，騰訊在過去一年內(nèi)，基于一些大型圖挖掘的算法、平臺(tái)研究，做了目前能夠看到的國(guó)內(nèi)，甚至全球最大的圖挖掘計(jì)算，是500億的大型圖挖掘計(jì)算。計(jì)算結(jié)果令我們非常震驚，基本看到了整個(gè)社交網(wǎng)絡(luò)星云圖，在邊緣有非常多的毛刺，這些毛刺就是異常、有問題的網(wǎng)絡(luò)，通過這樣的星云圖，進(jìn)一步從里面深入挖掘分析，再進(jìn)一步把在網(wǎng)上利用QQ平臺(tái)從事各種非法獲益的社團(tuán)挖掘出來，甚至通過社團(tuán)的邊緣連接點(diǎn)，已經(jīng)能夠比較好的將其上下游繪制出來。這些年，應(yīng)用在整個(gè)社交網(wǎng)絡(luò)里面一些詐騙、有害信息的處理，這方面對(duì)團(tuán)伙的挖掘和打擊非常有效。這是社交網(wǎng)絡(luò)大數(shù)據(jù)重要的研究應(yīng)用。

?

?當(dāng)我們應(yīng)對(duì)惡意進(jìn)攻時(shí)發(fā)現(xiàn)，把這些數(shù)據(jù)匯集以后進(jìn)行的用戶畫像的價(jià)值非常大。通過這些畫像可以有力地打擊網(wǎng)上非法獲益產(chǎn)業(yè)。在國(guó)內(nèi)，現(xiàn)在非常典型的非法獲益產(chǎn)業(yè)，行業(yè)稱之為“羊毛黨”。銀行或電商做一個(gè)活動(dòng)，有很多獎(jiǎng)品，發(fā)現(xiàn)很多獎(jiǎng)品都被專門的“羊毛黨”騙走了，單一中小企業(yè)應(yīng)對(duì)這些“羊毛黨”是非常難的。因?yàn)樗麄兎浅Ｂ斆鳎写罅抠Y源和信息可以繞過。把大量用戶IP、設(shè)備各種行為進(jìn)行畫像，身份屬性畫像以后，對(duì)用戶做了畫像、DNA建模以后，通過單點(diǎn)繞過我們監(jiān)測(cè)也很難。這個(gè)平臺(tái)開放到了云上，給到一些電商互聯(lián)網(wǎng)金融企業(yè)進(jìn)行反欺詐、防“羊毛黨”的打擊工作也是卓有成效的。

?

?十年前，騰訊內(nèi)部就把安全，尤其是數(shù)據(jù)安全，定位為我們核心的生命線。經(jīng)過十幾年的摸爬滾打，騰訊從整個(gè)數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、傳輸、訪問、使用，包括到最后的銷毀，已經(jīng)具備了一個(gè)全流程的數(shù)據(jù)安全的防控體系。作為內(nèi)部來說，包括用戶在使用時(shí)，最基本身份的管理、授權(quán)的管理、認(rèn)證的管理，一定要非常清楚是誰在用這個(gè)數(shù)據(jù)，而在十年前，這些卻都是安全漏洞。另外，騰訊海量的數(shù)據(jù)，在這些海量數(shù)據(jù)里要尋找惡意數(shù)據(jù)，如果用傳統(tǒng)規(guī)則的一些算法和方法，是很難發(fā)現(xiàn)這些惡意的。所以最近一兩年，我們利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)一些引擎應(yīng)用在大數(shù)據(jù)上，發(fā)現(xiàn)了一些惡意數(shù)據(jù)爬取、訪問，在云平臺(tái)上給用戶提供了全生命周期的安全防護(hù)。

?數(shù)據(jù)是企業(yè)和社會(huì)發(fā)展的重要?jiǎng)恿Γ彩俏覀兾磥砩a(chǎn)和生活的動(dòng)力源泉。隨著近些年人工智能、大數(shù)據(jù)、云計(jì)算等方面的突破，相信未來數(shù)據(jù)利用的效能一定會(huì)越來越高，對(duì)整個(gè)社會(huì)、對(duì)企業(yè)的生態(tài)都會(huì)產(chǎn)生非常積極有價(jià)值的影響。

?(內(nèi)容整理：朱玲)

責(zé)任編輯：陳近梅