TalkingData首席布道師鮑忠鐵：我眼中的大數(shù)據(jù)產(chǎn)業(yè)2016年終總結(jié)

來源：TalkingData 時間：2017-01-16 14:39:28 作者：鮑忠鐵

2016大數(shù)據(jù)產(chǎn)業(yè)保持高增長

2017進入智能數(shù)據(jù)時代

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展了兩年后，從探索階段進入了應(yīng)用階段。數(shù)據(jù)被定義成重要的資源，正在得到企業(yè)的重視，在經(jīng)營過程中發(fā)揮著重要的作用。企業(yè)看到了數(shù)據(jù)價值，從被動了解走向主動擁抱。數(shù)據(jù)如何同業(yè)務(wù)場景結(jié)合，如何變成生產(chǎn)力，如何指導(dǎo)業(yè)務(wù)決策成為企業(yè)最關(guān)心的問題。數(shù)據(jù)本身是沒有價值的，必須同商業(yè)需求結(jié)合在一起，才能夠產(chǎn)生化學(xué)反映，體現(xiàn)商業(yè)價值。大多數(shù)企業(yè)還是將精力放在數(shù)據(jù)架構(gòu)、技術(shù)平臺、數(shù)據(jù)采集等探索工作，沒有理順數(shù)據(jù)價值應(yīng)用的發(fā)展路徑，也沒有從數(shù)據(jù)中看到真正的商業(yè)價值，看到智慧的力量。

大數(shù)據(jù)時代，企業(yè)面臨海量的數(shù)據(jù)，其中80%的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)需要對所有數(shù)據(jù)進行整合，將數(shù)據(jù)作為一種資產(chǎn)進行管理。數(shù)據(jù)的商業(yè)價值在很大程度上是同數(shù)據(jù)的實效性正向相關(guān)的，硅谷80%大數(shù)據(jù)公司正在從事數(shù)據(jù)清洗和整理的工作，一方面說明大數(shù)據(jù)的清洗加工是個巨大市場，另一方面也說明了海量數(shù)據(jù)的實時處理是個難題。我們先回顧一下2016年中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展情況。

?1、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展概況

?2015年中國大數(shù)據(jù)產(chǎn)業(yè)進入爆發(fā)增長的元年，2016年大數(shù)據(jù)產(chǎn)業(yè)保持高速增長，其中典型的事件有：貴州獲批建設(shè)首個國家級大數(shù)據(jù)試驗區(qū)；貴陽數(shù)博會上升為國家級博覽會；李克強總理到現(xiàn)場支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展；國務(wù)院印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》系統(tǒng)部署大數(shù)據(jù)發(fā)展工作；在國家工信部的牽頭帶領(lǐng)下，《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》正式頒布。工業(yè)大數(shù)據(jù)、大數(shù)據(jù)資源開放共享、大數(shù)據(jù)交易、大數(shù)據(jù)安全、大數(shù)據(jù)標準、大數(shù)據(jù)行業(yè)應(yīng)用等領(lǐng)域稱為研究重點，首次提出了將大數(shù)據(jù)產(chǎn)業(yè)分為金融大數(shù)據(jù)、能源大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等三十多個分支行業(yè)，代表了大數(shù)據(jù)正在更深融入各行業(yè)產(chǎn)業(yè)。

?2、大數(shù)據(jù)產(chǎn)業(yè)融資情況

?2016年是中國市場的資本寒冬，很多創(chuàng)業(yè)公司深感融資困難，大數(shù)據(jù)領(lǐng)域企業(yè)的融資也受到一些影響，融資總額有所下降，具有技術(shù)和商業(yè)模式優(yōu)勢的大數(shù)據(jù)企業(yè)融資影響不大，但是初創(chuàng)型企業(yè)融資比較困難。2015年有超過50家大數(shù)據(jù)相關(guān)的創(chuàng)業(yè)公司獲得40多億元投資，中國大數(shù)據(jù)市場一片欣欣向榮。2016年全年預(yù)估有30多家企業(yè)獲得融資，融資總額不會超過2015年。

?考慮到中國降低IOE等國外技術(shù)廠商的需要，云計算技術(shù)和商業(yè)模式成熟，信息化技術(shù)平臺換代到需求，數(shù)據(jù)商業(yè)價值的逐步體現(xiàn)，大數(shù)據(jù)產(chǎn)業(yè)仍然是未來風(fēng)險投資的重點領(lǐng)域，特別是2016年人工智能在的崛起，讓大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展的前景越來越樂觀。大數(shù)據(jù)產(chǎn)業(yè)是一個基礎(chǔ)產(chǎn)業(yè)，覆蓋各個領(lǐng)域，其中人工智能是解決具體商業(yè)問題的手段，是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中支撐和衍生出的一個產(chǎn)業(yè)。

?3、大數(shù)據(jù)產(chǎn)業(yè)的技術(shù)發(fā)展

?2016最重要的一個事件是Spark 2.0版的發(fā)布，將大數(shù)據(jù)開源產(chǎn)品的商業(yè)化推進了一大步，Spark 2.0 對標準的SQL支持，統(tǒng)一DataFrame和Dataset API。現(xiàn)在已經(jīng)可以運行TPC-DS所有的99個查詢，這99個查詢需要SQL 2003的許多特性；采用第二代Tungsten engine，建立在現(xiàn)代編譯器和MPP數(shù)據(jù)庫的想法上，并且把它們應(yīng)用于數(shù)據(jù)的處理過程中，最高性能提升10倍；一種新穎的流處理方式，Structured Streaming APIs，利用Catalyst優(yōu)化器來發(fā)現(xiàn)什么時候可以透明的將靜態(tài)的程序轉(zhuǎn)到增量執(zhí)行的動態(tài)工作或者無限數(shù)據(jù)流中。從實用性的角度，Spark提升的幾個功能確實是企業(yè)用戶特別看重的內(nèi)容，Databricks以及社區(qū)開始重視商業(yè)需求，Spark向商業(yè)產(chǎn)品化的方向轉(zhuǎn)變正在加速，企業(yè)對大數(shù)據(jù)平臺穩(wěn)定性和一致性要求將很快解決。

?4、大數(shù)據(jù)應(yīng)用案例

?在大數(shù)據(jù)應(yīng)用領(lǐng)域，我們看了更多成熟的大數(shù)據(jù)案例。大數(shù)據(jù)正在技術(shù)主導(dǎo)型產(chǎn)業(yè)發(fā)展轉(zhuǎn)向價值應(yīng)用型產(chǎn)業(yè)：

?? 實時圖像處理和識別技術(shù)幫助公安系統(tǒng)將違章車輛車牌識別的準確度提升了幾十倍；借助于實時監(jiān)控和圖像識別，民警及時解救出多名被拐賣的兒童；刑事案件破案周期在技術(shù)進步的驅(qū)動下，正在逐步縮短。

?? 交通大數(shù)據(jù)正在幫助城市管理者優(yōu)化紅綠燈，機動車的通行效率提升了30%。

?? 金融行業(yè)，借助于數(shù)據(jù)采集和分析，識別出惡意欺詐分子，提升了風(fēng)險管理水平，降低了營銷成本。

???地產(chǎn)行業(yè)，利用外部數(shù)據(jù)進行項目土地投策分析和商鋪配置分析，優(yōu)化了商業(yè)地產(chǎn)投資，提升了項目回報率。

?? 養(yǎng)殖業(yè)通過測算在欄母豬的數(shù)量，預(yù)測未來生豬供應(yīng)量和豬飼料的價格，幫助養(yǎng)殖戶提前進行飼料準備和定制生豬出欄計劃。

?? 零售行業(yè)依據(jù)客戶消費紀錄，借助于線上和線下數(shù)據(jù)的打通，為客戶推薦喜歡的產(chǎn)品。

?? 旅游景點和旅游局參考景區(qū)人流熱度來引導(dǎo)客戶游覽路線，提升了游客瀏覽體驗，降低了事故的發(fā)生。

?? ?醫(yī)療行業(yè)，由于基因計算成本的下降，基因檢測二代測序價格從8萬元降到萬元左右，達安基因所售的防御重疾易感基因檢測(包含9項慢病、14種癌癥)檢測套餐價為9800元。

?5、智能時代的到來

?我們不再鼓吹大數(shù)據(jù)的魔力，我們提倡掌握智能數(shù)據(jù)，一種經(jīng)過處理和分析，可以幫助企業(yè)實現(xiàn)商業(yè)價值的數(shù)據(jù)。智能數(shù)據(jù)來源于我們企業(yè)生產(chǎn)經(jīng)營，也來源于行為數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，還來源外部商業(yè)環(huán)境生產(chǎn)出來第三方數(shù)據(jù)。大數(shù)據(jù)時代提升了人們對數(shù)據(jù)價值的認識，智能數(shù)據(jù)（Smart Data）幫助實現(xiàn)數(shù)據(jù)對商業(yè)的價值。人工智能是實現(xiàn)數(shù)據(jù)商業(yè)價值的重要手段，SmartDP是實現(xiàn)數(shù)據(jù)價值的載體。

?數(shù)據(jù)過去分散在企業(yè)的各個系統(tǒng)中，是企業(yè)流程中的副產(chǎn)品，企業(yè)主要利用數(shù)據(jù)進行ROI分析和財務(wù)分析。但即使是信息化程度較高的金融行業(yè)，也僅僅利用了不到40%的數(shù)據(jù)。大量數(shù)據(jù)的價值沒有被發(fā)現(xiàn)，數(shù)據(jù)還沒有被當作一種資產(chǎn)去管理和挖掘價值。數(shù)據(jù)的積累和人工智能的發(fā)展相輔相成。按照人工智能專家吳恩達（Andrew Ng）的說法，“數(shù)據(jù)是人工智能的燃料，如果只有很大的引擎（算法）而沒有充足的數(shù)據(jù)作為燃料，人工智能這艘火箭是無法實現(xiàn)騰飛的”。同時人工智能帶來更多的應(yīng)用場景，比如聊天機器人和自動駕駛汽車，這些應(yīng)用場景也在不斷產(chǎn)生新的數(shù)據(jù)?，F(xiàn)在，數(shù)據(jù)已經(jīng)不僅僅只是“大”，它還變得更加“智能”，更加有用——我們已經(jīng)進入智能數(shù)據(jù)時代！

?數(shù)據(jù)、人工智能和人類智慧，成為智能數(shù)據(jù)時代的三大要素。數(shù)據(jù)的積累，可以為人類提供更多更細的洞察分析，人類經(jīng)驗得以增強，人類智慧得以增長。比如，通過更多來自于手機的用戶行為分析，企業(yè)可以對自己的用戶有更多了解，包括他們的生活喜好、消費習(xí)慣等，以此產(chǎn)生更多的營銷的機會。并且人工智能本身也需要人類智慧的介入，以引導(dǎo)人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不斷的和人類圍棋高手對戰(zhàn)，依靠人類智慧的輔助，才能持續(xù)提升棋力。

?6、智能時代企業(yè)面臨的挑戰(zhàn)

?智能數(shù)據(jù)時代之前，企業(yè)接觸客戶的方式都以線下為主，企業(yè)直接可以面對客戶，從客戶的反饋中了解產(chǎn)品需求，并利用大量客戶調(diào)研數(shù)據(jù)來制定商業(yè)決策。智能數(shù)據(jù)時代，商業(yè)行為正在逐步向線上遷移，客戶選擇商品的決策時間在逐漸縮短，企業(yè)必須適應(yīng)客戶快速決策的方式，讓產(chǎn)品營銷適應(yīng)客戶的需求節(jié)奏。另外客戶購買產(chǎn)品和服務(wù)時，除了考慮產(chǎn)品的性價比之外，還更加重視購買過程的用戶體驗，這都需要大量數(shù)據(jù)來幫助企業(yè)了解客戶體驗，提升客戶滿意度。

?智能數(shù)據(jù)時代，客戶和企業(yè)被各種數(shù)據(jù)包圍著，客戶數(shù)據(jù)、交易數(shù)據(jù)、社交數(shù)據(jù)、行為數(shù)據(jù)、傳感器數(shù)據(jù)等等。數(shù)據(jù)之間具有較強的商業(yè)關(guān)聯(lián)關(guān)系，同客戶需求具有直接和間接的商業(yè)關(guān)系。復(fù)雜而海量的數(shù)據(jù)依靠傳統(tǒng)的統(tǒng)計分析和數(shù)據(jù)挖掘，已經(jīng)不能夠在時間和效果兩個方面來滿足企業(yè)的商業(yè)需求，必須需要利用新的技術(shù)和新的平臺來解決問題。

?智能數(shù)據(jù)時代企業(yè)在數(shù)據(jù)和運營面臨多種挑戰(zhàn)，不僅包括數(shù)據(jù)思維的挑戰(zhàn)，還有數(shù)據(jù)價值和數(shù)據(jù)場景的挑戰(zhàn)。在數(shù)據(jù)的處理方式和技術(shù)，以及數(shù)據(jù)資產(chǎn)管理方面，企業(yè)都面臨著現(xiàn)實和巨大的挑戰(zhàn)。

?1>數(shù)據(jù)商業(yè)化思維的挑戰(zhàn)

?智能數(shù)據(jù)時代，商業(yè)發(fā)展非常迅速，企業(yè)必須在快節(jié)奏中找到自己的位置，加快決策。過去一個企業(yè)的產(chǎn)品從設(shè)計到推向市場需要三到六個月的周期，產(chǎn)品的生命周期大概為六個月，這樣一年下來企業(yè)推出的新產(chǎn)品的節(jié)奏基本穩(wěn)定在九個月左右。但是現(xiàn)在這種產(chǎn)品節(jié)奏無法適應(yīng)競爭和客戶的需要，新產(chǎn)品推出的周期要縮短到以周或天為單位，產(chǎn)品自身的生命周期也在不斷地縮小。

?例如，過去一雙鞋子從設(shè)計到推向市場需要三個月，現(xiàn)在僅僅需要一星期。意大利某個展覽會推出的鞋子款式，電商會在一個星期之內(nèi)將產(chǎn)品生產(chǎn)出來，并直接發(fā)給客戶。這背后的原因是商家的商業(yè)敏感度和商業(yè)思維，但是支撐這一切的商業(yè)行為發(fā)生的卻是數(shù)據(jù)思維。從產(chǎn)品展示到客戶需求，從產(chǎn)品模型到廠家生產(chǎn)，從產(chǎn)品量產(chǎn)到客戶訂單，所有這一切都必須需要嚴格的數(shù)據(jù)作為支撐，缺少任何一個環(huán)節(jié)或者任何一個數(shù)據(jù)差錯都會導(dǎo)致這個商業(yè)行為的失敗。智能數(shù)據(jù)時代，高速商業(yè)決策節(jié)奏的背后支撐的是數(shù)據(jù)商業(yè)化思維。

?2>數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)技術(shù)的挑戰(zhàn)

?在過去，數(shù)據(jù)只是商業(yè)活動中的副產(chǎn)品，并沒有被認為是一種資產(chǎn)，企業(yè)沒有將數(shù)據(jù)匯聚在一起，進行集中管理。數(shù)據(jù)資產(chǎn)這個概念是智能數(shù)據(jù)時代被重點提出的，特別是經(jīng)濟活動節(jié)奏越來越快，客戶需求變化越來越快，數(shù)據(jù)對經(jīng)濟活動的反饋對商業(yè)決策影響越來越大。海量數(shù)據(jù)必須作為數(shù)據(jù)資產(chǎn)進行統(tǒng)一管理才能夠幫助企業(yè)了解客戶需求和企業(yè)經(jīng)營情況，企業(yè)也可以從數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)新的商業(yè)機會和營銷場景。

?多種數(shù)據(jù)源實時處理、數(shù)據(jù)之間打通、數(shù)據(jù)資產(chǎn)標識和管理、數(shù)據(jù)調(diào)用和邏輯組合等數(shù)據(jù)處理技術(shù)是一個巨大挑戰(zhàn)。高效的數(shù)據(jù)處理技術(shù)為數(shù)據(jù)資產(chǎn)管理帶來了可能，也為企業(yè)管理和應(yīng)用這些數(shù)據(jù)帶來了巨大的商業(yè)價值。金融行業(yè)中的花旗銀行，其25％的零售銀行收入來源于對數(shù)據(jù)資產(chǎn)的挖掘和應(yīng)用。移動互聯(lián)網(wǎng)企業(yè)，數(shù)據(jù)處理技術(shù)正在成為其業(yè)務(wù)經(jīng)營的基礎(chǔ)，亞馬遜Amazon，其40%的業(yè)務(wù)收入來源于推薦引擎技術(shù)。

?3>數(shù)據(jù)價值和數(shù)據(jù)應(yīng)用的挑戰(zhàn)

?數(shù)據(jù)是對經(jīng)濟和用戶需求的反饋，利用數(shù)據(jù)分析和數(shù)據(jù)挖掘可以幫助企業(yè)發(fā)現(xiàn)商業(yè)機會并實現(xiàn)數(shù)據(jù)價值。數(shù)據(jù)價值可以簡單總結(jié)為：幫助企業(yè)提高效率降低成本、增加商業(yè)收入和指導(dǎo)商業(yè)決策。數(shù)據(jù)應(yīng)用是數(shù)據(jù)價值的具體體現(xiàn)，智能數(shù)據(jù)時代的數(shù)據(jù)應(yīng)用主要集中在客戶分析、數(shù)字運營、精準營銷、風(fēng)險控制、智能決策等幾個方面。

?商業(yè)競爭的激烈讓時間的價值凸顯，很多產(chǎn)品決策和商業(yè)決策必須要在短時間內(nèi)作出，否則將會失去市場先機，并有可能被競爭對手模仿、超越。數(shù)據(jù)對商業(yè)決策的影響力正在不斷加強，數(shù)據(jù)支撐的商業(yè)決策分析對時間和準確度的要求越來越敏感。在這種情況下，智能數(shù)據(jù)時代對企業(yè)對要求越來越高，對數(shù)據(jù)處理技術(shù)、數(shù)據(jù)分析、數(shù)據(jù)決策要求也將越來越嚴格。

?2017年隨著人工智能的高速發(fā)展，大數(shù)據(jù)時代將進入到智能數(shù)據(jù)時代。數(shù)據(jù)既是一個金礦需要企業(yè)去挖掘價值，同時也是一個巨大的噪音，干擾著企業(yè)的商業(yè)分析和決策。智能時代，企業(yè)需要從包含噪音的海量數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價值的智能數(shù)據(jù)，同業(yè)務(wù)深度結(jié)合，利用數(shù)據(jù)應(yīng)用幫助企業(yè)實現(xiàn)智能決策。

?【關(guān)于作者】

?鮑忠鐵，北京騰云天下科技有限公司（TalkingData）首席金融行業(yè)專家，上海大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟金融行業(yè)專家，網(wǎng)名“大俠看客”。

?曾服務(wù)于工商銀行、飛利浦電子、花旗銀行、星展銀行，十多年金融行業(yè)工作經(jīng)驗，大數(shù)據(jù)價值變現(xiàn)的倡導(dǎo)者，致力于利用TalkingData的數(shù)據(jù)和技術(shù)幫助企業(yè)實現(xiàn)大數(shù)據(jù)價值變現(xiàn)。加盟TalkingData前任職星展銀行中國科技副總裁。

?點擊進入 TalkingData 在數(shù)據(jù)觀的企業(yè)欄目>>>

責(zé)任編輯：陳近梅