大數(shù)據(jù)和區(qū)塊鏈之異同（上篇）
來源：亞信數(shù)據(jù) 時間：2017-02-22 15:31:14 作者：方亮
?兩者之間有個共同的關(guān)鍵詞：分布式，代表了一種從技術(shù)權(quán)威壟斷到去中心化的轉(zhuǎn)變。
?分布式存儲：HDFS vs. 區(qū)塊
?大數(shù)據(jù)，需要應(yīng)對海量化和快增長的存儲，這要求底層硬件架構(gòu)和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術(shù)，能夠彈性擴(kuò)張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。另外，大數(shù)據(jù)對存儲技術(shù)提出的另一個挑戰(zhàn)是多種數(shù)據(jù)格式的適應(yīng)能力，因此現(xiàn)在大數(shù)據(jù)底層的存儲層不只是HDFS，還有HBase和Kudu等存儲架構(gòu)。
?區(qū)塊鏈，是比特幣的底層技術(shù)架構(gòu)，它在本質(zhì)上是一種去中心化的分布式賬本。區(qū)塊鏈技術(shù)作為一種持續(xù)增長的、按序整理成區(qū)塊的鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)，通過網(wǎng)絡(luò)中多個節(jié)點(diǎn)共同參與數(shù)據(jù)的計(jì)算和記錄，并且互相驗(yàn)證其信息的有效性。從這一點(diǎn)來說，區(qū)塊鏈技術(shù)也是一種特定的數(shù)據(jù)庫技術(shù)。由于去中心化數(shù)據(jù)庫在安全、便捷方面的特性，很多業(yè)內(nèi)人士看好其發(fā)展，認(rèn)為它是對現(xiàn)有互聯(lián)網(wǎng)技術(shù)的升級與補(bǔ)充。
?分布式計(jì)算：MapReduce vs. 共識機(jī)制
?大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計(jì)算，需要巨大的分布式計(jì)算能力。節(jié)點(diǎn)管理、任務(wù)調(diào)度、容錯和高可靠性是關(guān)鍵技術(shù)。Google和Hadoop的MapReduce是這種分布式計(jì)算技術(shù)的代表，通過添加服務(wù)器節(jié)點(diǎn)可線性擴(kuò)展系統(tǒng)的總處理能力(Scale Out)，在成本和可擴(kuò)展性上都有巨大的優(yōu)勢?，F(xiàn)在，除了批計(jì)算，大數(shù)據(jù)還包括了流計(jì)算、圖計(jì)算、實(shí)時計(jì)算、交互查詢等計(jì)算框架。
?區(qū)塊鏈的共識機(jī)制，就是所有分布式節(jié)之間怎么達(dá)成共識，通過算法來生成和更新數(shù)據(jù)，去認(rèn)定一個記錄的有效性，這既是認(rèn)定的手段，也是防止篡改的手段。區(qū)塊鏈主要包括四種不同的共識機(jī)制，適用于不同的應(yīng)用場景，在效率和安全性之間取得平衡。以比特幣為例，采用的是“工作量證明”（Proof Of Work，簡稱POW），只有在控制了全網(wǎng)超過51%的記賬節(jié)點(diǎn)的情況下，才有可能偽造出一條不存在的記錄。
?IT技術(shù)發(fā)展的分分合合
?和人類社會一樣，IT技術(shù)發(fā)展的也呈現(xiàn)出“合久必分，分久必合”，即集中與分布的螺旋式上升。
?計(jì)算機(jī)誕生初期，僅能實(shí)現(xiàn)一對一的使用，是集中化的。為了使得一臺大型機(jī)能夠同時為多個客戶提供服務(wù)，IBM公司引入了虛擬化的設(shè)計(jì)思想，使得多個客戶在同時使用同一臺大型機(jī)時，就好像將其分割成了多個小型化的虛擬主機(jī)，是時分復(fù)用的集中式計(jì)算。
?進(jìn)入小型機(jī)和PC時代，回歸了一對一的使用，不過設(shè)備已經(jīng)分散到了千家萬戶。進(jìn)入互聯(lián)網(wǎng)時代，C/S模型的客戶端和服務(wù)器是分布式計(jì)算，只不過服務(wù)器之間還是分散的。
?進(jìn)入云計(jì)算時代，計(jì)算能力又被統(tǒng)一管控起來，在客戶端和服務(wù)器的分布式計(jì)算基礎(chǔ)之上，服務(wù)器之間也開始了分布式協(xié)同工作。因?yàn)閰f(xié)同，所以也可以認(rèn)為它們在整體上是一種集中式的計(jì)算服務(wù)。
?進(jìn)入大數(shù)據(jù)時代，云計(jì)算成為大數(shù)據(jù)基礎(chǔ)設(shè)施，也使得大數(shù)據(jù)的核心思想和云計(jì)算一脈相承。MapReduce將任務(wù)分解進(jìn)行分布式計(jì)算，然后將結(jié)果合并從而實(shí)現(xiàn)了信息的整合分析。
?區(qū)塊鏈則是純粹意義上的分布式系統(tǒng)。
?是什么力量造成了集中與分布的此消彼長？
?讓我們從歷史中試著尋找答案。
?商業(yè)需要集中，希望通過產(chǎn)品實(shí)現(xiàn)更好的控制和更高的利潤。但隨著產(chǎn)品集中度的不斷上升，系統(tǒng)會越來越復(fù)雜，實(shí)現(xiàn)的難度越來越大，溝通、交流和管理的成本也越來越高，最終變得不經(jīng)濟(jì)。
?社會需要分工，讓專業(yè)的人做專業(yè)的事，涂爾干的《社會分工論》談到，“分工使社會像有機(jī)體一樣，每個成員都為社會整體服務(wù)，同時又不能脫離整體，分工就像社會的紐帶，故謂之‘有機(jī)團(tuán)結(jié)’。”
?分布式技術(shù)的誕生，正是基于這種思想。產(chǎn)品功能被分解并分布到不同的節(jié)點(diǎn)上去完成，節(jié)點(diǎn)之間通過網(wǎng)絡(luò)實(shí)現(xiàn)溝通。分布式系統(tǒng)中的一些節(jié)點(diǎn)或因?yàn)樯虡I(yè)上的成功，重新成為“集中化”的節(jié)點(diǎn)，但隨著時代的改變，它們終將會進(jìn)入新一輪的分布式周期。如此往復(fù)。
?集中和分布不是光譜的兩端，任何偉大的產(chǎn)品，都是商業(yè)和技術(shù)的“有機(jī)團(tuán)結(jié)”。
?【推薦閱讀】
?上篇說了區(qū)塊鏈與大數(shù)據(jù)之間的一些相同點(diǎn)，這篇我們來談?wù)剝烧咧g的一些不同點(diǎn)。
?有可能在未來幾十年帶來巨大影響的科技，已經(jīng)到來了，它并不是社交媒體，不是大數(shù)據(jù)，也不是機(jī)器人科學(xué)，甚至也不是人工智能，你會驚訝的了解到，它是比特幣等數(shù)字貨幣的技術(shù)基礎(chǔ)，它叫做區(qū)塊鏈。作家Don Tapscott近期在阿爾伯塔省班夫鎮(zhèn)參加了TED大會，并進(jìn)行了區(qū)塊鏈技術(shù)的講座。
?
?點(diǎn)擊進(jìn)入 亞信數(shù)據(jù) 在數(shù)據(jù)觀的企業(yè)欄目>>>?
?
責(zé)任編輯：陳近梅