Michael I.Jordan：大數(shù)據(jù)時(shí)代下的安全實(shí)時(shí)決策堆棧與增強(qiáng)學(xué)習(xí)

來(lái)源：數(shù)據(jù)派THU 時(shí)間：2017-09-26 13:44:37 作者：俊澤 Lily

金秋九月，2017國(guó)際大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新高峰論壇暨大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室第一次會(huì)議盛大開幕，大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室作為大數(shù)據(jù)系統(tǒng)軟件技術(shù)研發(fā)與工程化的國(guó)家級(jí)創(chuàng)新平臺(tái)，將通過(guò)大數(shù)據(jù)系統(tǒng)軟件技術(shù)的跨界合作與國(guó)際交流，建立和完善大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新平臺(tái)，集聚整合創(chuàng)新資源，加強(qiáng)產(chǎn)學(xué)研用結(jié)合，突破一批關(guān)鍵共性技術(shù)并實(shí)現(xiàn)產(chǎn)業(yè)化，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，為培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)提供驅(qū)動(dòng)力。

在活動(dòng)上，清華大學(xué)杰出訪問(wèn)教授、美國(guó)三院院士、機(jī)器學(xué)習(xí)先驅(qū)Michael I.Jordan做了題為“大數(shù)據(jù)時(shí)代下的安全實(shí)時(shí)決策堆棧與增強(qiáng)學(xué)習(xí)”的主題分享。

演講精華內(nèi)容經(jīng)數(shù)據(jù)派THU整理如下：

Michael I.Jordan：人們常常提到人工智能，并認(rèn)為機(jī)器學(xué)習(xí)是人工智能的一部分，我并不這么認(rèn)為。我認(rèn)為機(jī)器學(xué)習(xí)是統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)的一部分，對(duì)于我來(lái)說(shuō)，大數(shù)據(jù)還有數(shù)據(jù)科學(xué)比你們現(xiàn)在經(jīng)常聽到的“人工智能”一詞更重要。每一個(gè)計(jì)算機(jī)系統(tǒng)都需要利用數(shù)據(jù)，需要適應(yīng)數(shù)據(jù)庫(kù)，需要診斷自己的系統(tǒng)，并且給每一個(gè)決策計(jì)算置信度。這些任務(wù)是計(jì)算機(jī)之前從未做過(guò)的。數(shù)據(jù)庫(kù)接收一個(gè)請(qǐng)求并給出解答，之后你需要根據(jù)這個(gè)解答計(jì)算置信度，因?yàn)樗偸遣淮_定的。

有一個(gè)說(shuō)法是，工業(yè)界產(chǎn)出軟件，而主宰工業(yè)界的不是中國(guó)而是其他國(guó)家，這個(gè)說(shuō)法是不對(duì)的。目前世界上最主流的軟件并不由工業(yè)界產(chǎn)出，而是學(xué)術(shù)界。因此，像清華大學(xué)這樣的學(xué)術(shù)機(jī)構(gòu)不僅僅是這個(gè)領(lǐng)域的參與者，更能夠成為這個(gè)領(lǐng)域的領(lǐng)導(dǎo)者。最主要的原因在于開源軟件的出現(xiàn)，開源軟件起始于Linux，如今已遍布在計(jì)算機(jī)科學(xué)的各個(gè)領(lǐng)域。一些世界上比較好的軟件已經(jīng)作為開源包存在于GitHub上，供所有人免費(fèi)獲取并共同搭建。因此大部分公司，尤其是小型公司，他們信賴這些軟件，他們知道使用這些軟件永遠(yuǎn)不會(huì)被收取費(fèi)用。他們?nèi)绻枰恍┬碌奶匦?，他們也可以參與軟件的編寫，這是一個(gè)很大的改變。主要由我們AMP實(shí)驗(yàn)室（2011-2016年）研究生研發(fā)的Spark平臺(tái)在大數(shù)據(jù)領(lǐng)域的使用比工業(yè)界推出的其他軟件有更廣泛的使用。

我認(rèn)為在中國(guó)也是一樣，大公司會(huì)意識(shí)到即使競(jìng)爭(zhēng)非常激烈，參與開發(fā)人人都可以使用的軟件系統(tǒng)是更明智的選擇，它將促進(jìn)中國(guó)的發(fā)展，提升世界范圍內(nèi)的參與度。更值得注意的事實(shí)是，在學(xué)術(shù)界一個(gè)由二十到四十人組成的實(shí)驗(yàn)室便可以主導(dǎo)世界軟件產(chǎn)業(yè)的開發(fā)。如今我們?cè)贏MP實(shí)驗(yàn)室所做的五年項(xiàng)目已結(jié)束，我們又成立了新的實(shí)驗(yàn)室。新實(shí)驗(yàn)室得到的支持主要來(lái)自工業(yè)界（包括一些中國(guó)的公司，如華為）。

盡管AMP實(shí)驗(yàn)室貢獻(xiàn)了許多有意義的項(xiàng)目，但它并不是我們所期待的未來(lái)。我們眼中的未來(lái)每分每秒都在產(chǎn)生的實(shí)時(shí)數(shù)據(jù)，它需要被及時(shí)地處理，因此需要實(shí)時(shí)決策，比如自動(dòng)駕駛、醫(yī)療預(yù)算、財(cái)經(jīng)預(yù)算等。收集龐大的數(shù)據(jù)并用幾個(gè)小時(shí)去處理它不是科學(xué)前沿，數(shù)據(jù)的價(jià)值往往與它所支持的決策共同體現(xiàn)，對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行決策是我們實(shí)驗(yàn)室正著眼的話題。那么什么是好的決策呢？快速?zèng)Q策一定比慢速?zèng)Q策好嗎？也不一定?？焖?zèng)Q策有可能出錯(cuò)，因此我們會(huì)考慮風(fēng)險(xiǎn)，我們會(huì)將風(fēng)險(xiǎn)與時(shí)間都考慮進(jìn)來(lái)。這是學(xué)術(shù)界一個(gè)新的研究領(lǐng)域。

從前，風(fēng)險(xiǎn)是在統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)中研究，而時(shí)間概念則在計(jì)算機(jī)科學(xué)、電氣科學(xué)中考慮，將這兩個(gè)傳統(tǒng)的問(wèn)題放在一起來(lái)考慮具有非凡的意義。權(quán)衡風(fēng)險(xiǎn)與時(shí)間并不簡(jiǎn)單，并且至今尚未被解決。我們擁有許多數(shù)據(jù)，有些是最新且相關(guān)的，有些卻不是，這一點(diǎn)給決策造成了困難。什么叫做相關(guān)？將數(shù)據(jù)保存為可以預(yù)測(cè)的形式，不僅僅是時(shí)間上的預(yù)測(cè)，而且包含了數(shù)據(jù)相關(guān)性的預(yù)測(cè)，這是一個(gè)很復(fù)雜的概念。過(guò)去的十年，公司收集的數(shù)據(jù)往往是普適的，他們提供的服務(wù)對(duì)于所有人都是相同的。而今天，我們收集的數(shù)據(jù)來(lái)自每一個(gè)不同的人，對(duì)于每個(gè)個(gè)體，我們希望提供個(gè)性化的服務(wù)。這種決策是非常困難的，因?yàn)槲覀円糜?jì)算機(jī)建立成千上萬(wàn)的模型，需要將數(shù)據(jù)整合再分開，并且對(duì)每一個(gè)人都需要提供好的預(yù)測(cè)，這個(gè)問(wèn)題需要學(xué)術(shù)界來(lái)解決?？偠灾?，我們考慮的事情包括對(duì)實(shí)時(shí)數(shù)據(jù)毫秒級(jí)的實(shí)時(shí)決策，以及系統(tǒng)安全性問(wèn)題。

在實(shí)時(shí)決策中我們要解決如下三個(gè)問(wèn)題：

首先，處理海量的數(shù)據(jù)并及時(shí)給予反饋難度很高，數(shù)據(jù)量越大，實(shí)時(shí)性就越難達(dá)到。我們需要大數(shù)據(jù)量來(lái)提高決策的準(zhǔn)確性，但與此同時(shí)決策速度卻會(huì)變慢。那我們?cè)撛鯓咏鉀Q這個(gè)問(wèn)題呢？我們需要構(gòu)造流水線，來(lái)快速地搭建模型、模型服務(wù)并更新模型。我們想到運(yùn)用增強(qiáng)學(xué)習(xí)算法，這一算法在自動(dòng)駕駛中已用到。盡管增強(qiáng)學(xué)習(xí)的思路與技術(shù)都具備，但目前它尚未帶來(lái)我們預(yù)期的突破。Alpha Go運(yùn)用的就是增強(qiáng)學(xué)習(xí)算法，有人認(rèn)為它是一個(gè)重大突破，但我不這么認(rèn)為。因?yàn)樗](méi)有解決目前的實(shí)際問(wèn)題，它只是一個(gè)游戲，你可以去模擬這個(gè)游戲平臺(tái)，你很清楚地知道這盤游戲的布局。而現(xiàn)實(shí)生活并非如此，我們永遠(yuǎn)不知道那個(gè)角落有什么，永遠(yuǎn)不知道后面會(huì)發(fā)生什么。你無(wú)法模擬現(xiàn)實(shí)生活，根據(jù)這一狀態(tài)來(lái)預(yù)測(cè)下一狀態(tài)的事情。因此，我們確實(shí)希望構(gòu)建增強(qiáng)學(xué)習(xí)系統(tǒng)，來(lái)看我們每一步是否有意義，但目前我們尚無(wú)手段來(lái)證明這件事。

接下來(lái)一個(gè)非常重要的問(wèn)題是，承認(rèn)“我不知道”的能力。目前的機(jī)器學(xué)習(xí)系統(tǒng)在這一點(diǎn)上表現(xiàn)得并不好，它總是說(shuō)它知道。就像你們?nèi)メt(yī)院尋求治療，醫(yī)生很確定地告訴你你的心臟有問(wèn)題需要手術(shù)一樣，你知道這其中肯定是有不確定性的，但他并不給你第二個(gè)答案，這是非常危險(xiǎn)的。

最后，可解釋性。人們希望得到的答案往往不是簡(jiǎn)單的是或否，而希望得到進(jìn)一步的解釋，但目前的系統(tǒng)尚未做到這一點(diǎn)。因此我們的目標(biāo)就是解決這些問(wèn)題并將開源平臺(tái)提供給大家，當(dāng)然我們不認(rèn)為這件事是可以由我們獨(dú)自完成的，它是每一個(gè)人都面臨的挑戰(zhàn)。

現(xiàn)在，我來(lái)介紹一下在過(guò)去的半年里我們所做的工作。

首先是SRDS，它隨著時(shí)間不斷演化。它基于AMPLab棧，并關(guān)注新的事情。我們有一個(gè)輕量級(jí)的微型核，用于調(diào)度、目標(biāo)存儲(chǔ)與優(yōu)化，它是開源的。我們現(xiàn)在致力于研究一種在大數(shù)據(jù)流下不需要等待上一個(gè)節(jié)點(diǎn)處理完再做接下來(lái)事情的架構(gòu)，相關(guān)資料可以在網(wǎng)上找到。

Clipper是模型服務(wù)的一項(xiàng)工程。模型服務(wù)是一項(xiàng)很重要的任務(wù)，我們常常需要花費(fèi)好幾天來(lái)訓(xùn)練一個(gè)與時(shí)機(jī)、環(huán)境、人都契合得很好的模型。以往我們很容易能得到單一的模型，將它復(fù)制多份即可，但現(xiàn)在我們要搭建的不再是單一模型，而是個(gè)性化的模型。每個(gè)人要得到不同的模型，那么你該如何組織、服務(wù)，該如何整合人群信息來(lái)得到針對(duì)每個(gè)人的好模型，這是一個(gè)很難的挑戰(zhàn)。

我們現(xiàn)在來(lái)談?wù)凴ay,這是我主要參與的工程。它用到了增強(qiáng)學(xué)習(xí)系統(tǒng)，拿一個(gè)機(jī)器人為例，我們現(xiàn)在要建立一種規(guī)則，根據(jù)當(dāng)前環(huán)境來(lái)判斷接下來(lái)的舉措。那我們現(xiàn)在給出一個(gè)規(guī)則，讓機(jī)器人做一個(gè)動(dòng)作并觀察會(huì)發(fā)生什么，我們通過(guò)它的表現(xiàn)來(lái)調(diào)整規(guī)則，從而讓它表現(xiàn)得越來(lái)越好，這是增強(qiáng)學(xué)習(xí)最基本的想法。增強(qiáng)學(xué)習(xí)系統(tǒng)不是超智能系統(tǒng)，而是在不斷嘗試多種可能性后選擇對(duì)事情發(fā)展更有利的舉措，它是將搜索與學(xué)習(xí)結(jié)合的系統(tǒng)。機(jī)器學(xué)習(xí)中沒(méi)有任何一件事是真正關(guān)乎智力的，它只是用梯度下降搜索或嘗試各種可能性。所以盡管人們常提到人工智能，我只能說(shuō)我們?cè)跇?gòu)建機(jī)器學(xué)習(xí)系統(tǒng)，它做著有限的模式識(shí)別以及增強(qiáng)學(xué)習(xí)之類的工作。不過(guò)盡管這些事情是有限的，機(jī)器學(xué)習(xí)正在不斷地改變世界。

在監(jiān)督學(xué)習(xí)中，我們擁有一堆由人工標(biāo)注的訓(xùn)練數(shù)據(jù)，而在增強(qiáng)學(xué)習(xí)中，我們沒(méi)有這些標(biāo)簽，取而代之的是我們告訴這個(gè)系統(tǒng)它們做的決策好與不好，然后看這個(gè)系統(tǒng)可不可以在沒(méi)有標(biāo)簽的情況下自己學(xué)得很好。就比如，要控制一個(gè)小人跑動(dòng)，我們需要控制它的每一寸肌肉。但我們不會(huì)建立一個(gè)監(jiān)督學(xué)習(xí)系統(tǒng)告訴這個(gè)小人每一步該如何控制肌肉，我們只會(huì)告訴它從這兒運(yùn)動(dòng)到那兒是好的，否則是不好的。

我們?cè)撛趺醋鲞@件事呢？這兒有許多算法，我們通常用“嘗試”規(guī)則，看這么嘗試的效果是否好，Alpha Go的原理便是如此。現(xiàn)在我們站在一個(gè)計(jì)算機(jī)科學(xué)研究者的角度來(lái)處理這個(gè)問(wèn)題，我們要面對(duì)的動(dòng)作空間包含了成千上萬(wàn)的動(dòng)作，我們用大量處理器同時(shí)運(yùn)算。當(dāng)其中某些做了不好的嘗試后便立即停止，一直等其他的處理器將好的嘗試搜索完，這種做法會(huì)使問(wèn)題處理得非常慢。因此我們需要構(gòu)建一個(gè)數(shù)據(jù)流驅(qū)動(dòng)的系統(tǒng)，一旦某個(gè)處理器做出不好的嘗試，它可以立刻去做其他的嘗試。

關(guān)于數(shù)據(jù)的隱私性方面，這是一個(gè)還沒(méi)有得到解決的大問(wèn)題，而且相當(dāng)重要。讓我們仔細(xì)考慮一下，這其實(shí)是一個(gè)有關(guān)網(wǎng)絡(luò)安全的問(wèn)題。我們知道騰訊、百度、阿里都有很大規(guī)模的數(shù)據(jù)，而我（清華大學(xué)）作為可以信賴的第三方,你們?cè)敢鈱?shù)據(jù)交給我來(lái)處理，根據(jù)數(shù)據(jù)訓(xùn)練之后得到一個(gè)效果很好的分類模型。不過(guò)可能阿里會(huì)認(rèn)為數(shù)據(jù)是涉及隱私的，我們不能向你們（清華大學(xué)）提供，但是騰訊和百度卻認(rèn)為我們應(yīng)該交給可信賴的第三方，讓他們研究，這樣就形成了一種公司之間的競(jìng)爭(zhēng)關(guān)系。最后，阿里也會(huì)給我們數(shù)據(jù)，因?yàn)槲覀兇_實(shí)可以訓(xùn)練出精度很高的模型，而且數(shù)據(jù)部分會(huì)處理加上一些噪聲。

不過(guò)發(fā)給可信賴的第三方的數(shù)據(jù)可能有好有壞，作為獎(jiǎng)勵(lì)，提供給我們好的數(shù)據(jù)的機(jī)構(gòu)，我們會(huì)把訓(xùn)練的精度高的模型給他們，而那些數(shù)據(jù)不是很好的機(jī)構(gòu)，會(huì)給他們精度一般的模型來(lái)作為獎(jiǎng)罰措施。問(wèn)題是，我們?nèi)绾沃罃?shù)據(jù)好壞，這其實(shí)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)非常簡(jiǎn)單的問(wèn)題，我們將所有企業(yè)提供的數(shù)據(jù)來(lái)訓(xùn)練，比如最后精度是95%，然后，再單獨(dú)拿阿里的數(shù)據(jù)或者是百度的數(shù)據(jù)訓(xùn)練，如果他們的數(shù)據(jù)訓(xùn)練的結(jié)果是90%，那說(shuō)明他們給我們提供的數(shù)據(jù)還不錯(cuò)，如果低于這個(gè)值，那可能數(shù)據(jù)本身是有問(wèn)題的。

我還有一個(gè)想法是最近想出來(lái)的，就是推薦系統(tǒng)?，F(xiàn)在人們經(jīng)常談?wù)摰亩际菣C(jī)器學(xué)習(xí)、深度學(xué)習(xí)在圖像、語(yǔ)音方面的識(shí)別，然而最早的機(jī)器學(xué)習(xí)的研究是推薦系統(tǒng)，它是非常重要的，例如亞馬遜能成為世界上領(lǐng)先的公司之一就是因?yàn)樗耐扑]系統(tǒng)，人們?cè)诰W(wǎng)上買書，網(wǎng)站推薦給客戶他們感興趣的東西，這樣客戶可以購(gòu)買更多的商品；還有推薦電影，我們可以向所有人去推薦同一部電影，每個(gè)人去電影院觀看，可是對(duì)于推薦餐館這件事，就不能這么做了，因?yàn)檫@樣做很多人都去同一家餐館，要排很長(zhǎng)的隊(duì)，很可能還沒(méi)有空位，但現(xiàn)在如果我們有一個(gè)APP，它負(fù)責(zé)推薦電影院周圍的餐館，這樣向潛在的客戶發(fā)出邀請(qǐng)，可以保證餐館的盈利和推薦系統(tǒng)的高效。

最后，再次祝賀清華大學(xué)大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室成立，我非常期待它同世界其他實(shí)驗(yàn)室保持持續(xù)的交流合作，也感謝大會(huì)邀請(qǐng)我來(lái)做此次報(bào)告，謝謝！

?

責(zé)任編輯：陳近梅