大數(shù)據(jù)和區(qū)塊鏈之異同（上篇）

來源：亞信數(shù)據(jù) 時間：2017-02-22 15:31:14 作者：方亮

?兩者之間有個共同的關鍵詞：分布式，代表了一種從技術權威壟斷到去中心化的轉變。

?

?分布式存儲：HDFS vs. 區(qū)塊

?大數(shù)據(jù)，需要應對海量化和快增長的存儲，這要求底層硬件架構和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術，能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數(shù)據(jù)存儲技術的基礎。另外，大數(shù)據(jù)對存儲技術提出的另一個挑戰(zhàn)是多種數(shù)據(jù)格式的適應能力，因此現(xiàn)在大數(shù)據(jù)底層的存儲層不只是HDFS，還有HBase和Kudu等存儲架構。

?區(qū)塊鏈，是比特幣的底層技術架構，它在本質上是一種去中心化的分布式賬本。區(qū)塊鏈技術作為一種持續(xù)增長的、按序整理成區(qū)塊的鏈式數(shù)據(jù)結構，通過網絡中多個節(jié)點共同參與數(shù)據(jù)的計算和記錄，并且互相驗證其信息的有效性。從這一點來說，區(qū)塊鏈技術也是一種特定的數(shù)據(jù)庫技術。由于去中心化數(shù)據(jù)庫在安全、便捷方面的特性，很多業(yè)內人士看好其發(fā)展，認為它是對現(xiàn)有互聯(lián)網技術的升級與補充。

?分布式計算：MapReduce vs. 共識機制

?大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計算，需要巨大的分布式計算能力。節(jié)點管理、任務調度、容錯和高可靠性是關鍵技術。Google和Hadoop的MapReduce是這種分布式計算技術的代表，通過添加服務器節(jié)點可線性擴展系統(tǒng)的總處理能力(Scale Out)，在成本和可擴展性上都有巨大的優(yōu)勢?，F(xiàn)在，除了批計算，大數(shù)據(jù)還包括了流計算、圖計算、實時計算、交互查詢等計算框架。

?區(qū)塊鏈的共識機制，就是所有分布式節(jié)之間怎么達成共識，通過算法來生成和更新數(shù)據(jù)，去認定一個記錄的有效性，這既是認定的手段，也是防止篡改的手段。區(qū)塊鏈主要包括四種不同的共識機制，適用于不同的應用場景，在效率和安全性之間取得平衡。以比特幣為例，采用的是“工作量證明”（Proof Of Work，簡稱POW），只有在控制了全網超過51%的記賬節(jié)點的情況下，才有可能偽造出一條不存在的記錄。

?IT技術發(fā)展的分分合合

?和人類社會一樣，IT技術發(fā)展的也呈現(xiàn)出“合久必分，分久必合”，即集中與分布的螺旋式上升。

?計算機誕生初期，僅能實現(xiàn)一對一的使用，是集中化的。為了使得一臺大型機能夠同時為多個客戶提供服務，IBM公司引入了虛擬化的設計思想，使得多個客戶在同時使用同一臺大型機時，就好像將其分割成了多個小型化的虛擬主機，是時分復用的集中式計算。

?進入小型機和PC時代，回歸了一對一的使用，不過設備已經分散到了千家萬戶。進入互聯(lián)網時代，C/S模型的客戶端和服務器是分布式計算，只不過服務器之間還是分散的。

?進入云計算時代，計算能力又被統(tǒng)一管控起來，在客戶端和服務器的分布式計算基礎之上，服務器之間也開始了分布式協(xié)同工作。因為協(xié)同，所以也可以認為它們在整體上是一種集中式的計算服務。

?進入大數(shù)據(jù)時代，云計算成為大數(shù)據(jù)基礎設施，也使得大數(shù)據(jù)的核心思想和云計算一脈相承。MapReduce將任務分解進行分布式計算，然后將結果合并從而實現(xiàn)了信息的整合分析。

?區(qū)塊鏈則是純粹意義上的分布式系統(tǒng)。

?是什么力量造成了集中與分布的此消彼長？

?讓我們從歷史中試著尋找答案。

?商業(yè)需要集中，希望通過產品實現(xiàn)更好的控制和更高的利潤。但隨著產品集中度的不斷上升，系統(tǒng)會越來越復雜，實現(xiàn)的難度越來越大，溝通、交流和管理的成本也越來越高，最終變得不經濟。

?社會需要分工，讓專業(yè)的人做專業(yè)的事，涂爾干的《社會分工論》談到，“分工使社會像有機體一樣，每個成員都為社會整體服務，同時又不能脫離整體，分工就像社會的紐帶，故謂之‘有機團結’。”

?分布式技術的誕生，正是基于這種思想。產品功能被分解并分布到不同的節(jié)點上去完成，節(jié)點之間通過網絡實現(xiàn)溝通。分布式系統(tǒng)中的一些節(jié)點或因為商業(yè)上的成功，重新成為“集中化”的節(jié)點，但隨著時代的改變，它們終將會進入新一輪的分布式周期。如此往復。

?集中和分布不是光譜的兩端，任何偉大的產品，都是商業(yè)和技術的“有機團結”。

?【關于數(shù)博會】

　　數(shù)博會作為全球首個大數(shù)據(jù)主題博覽會，秉承“國際化、專業(yè)化、高端化、可持續(xù)化、產業(yè)化”的核心理念，旨在為全球范圍大數(shù)據(jù)領域專業(yè)人士和企業(yè)提供行業(yè)前沿資訊、熱點動態(tài)以及合作交流平臺，促進大數(shù)據(jù)行業(yè)的技術發(fā)展和應用。數(shù)博會已成為全球大數(shù)據(jù)領域的盛會。

　　2017中國國際大數(shù)據(jù)產業(yè)博覽會將于5月25日-28日在貴陽市舉行，它將繼續(xù)聚焦大數(shù)據(jù)的探索與應用，展示大數(shù)據(jù)最新的技術創(chuàng)新與成就，成為中國最具國際化和產業(yè)化的高端專業(yè)平臺。

數(shù)博會官方微信二維碼?

?

責任編輯：陳近梅