智慧交通大數(shù)據(jù)平臺(tái)搭建過程及應(yīng)用案例

來源：THU數(shù)據(jù)派 時(shí)間：2017-08-15 11:01:16 作者：朱玲

　　城市交通是樞紐，是出行保障，而解決大、中型城市的交通問題，城市公共交通和貨物專業(yè)運(yùn)輸必然成為重中之重。本屆“CDAS 2017中國(guó)數(shù)據(jù)分析師行業(yè)峰會(huì)”邀請(qǐng)到首發(fā)集團(tuán)智慧交通大數(shù)據(jù)中心籌備組負(fù)責(zé)人曹正鳳做關(guān)于智慧交通領(lǐng)域的分享。曹正鳳在高校做了15年的統(tǒng)計(jì)學(xué)教學(xué)，從2016年3月到首發(fā)集團(tuán)帶領(lǐng)大數(shù)據(jù)團(tuán)隊(duì)做高速公路的大數(shù)據(jù)分析。曹正鳳演講的主題是“智慧交通大數(shù)據(jù)平臺(tái)及應(yīng)用”，介紹了首發(fā)集團(tuán)智慧高速的大數(shù)據(jù)平臺(tái)搭建過程及應(yīng)用的案例，并在演講后與數(shù)據(jù)派參會(huì)志愿者進(jìn)行了訪談。

　　“從我出書發(fā)行2萬冊(cè)開始，我突然意識(shí)到，大數(shù)據(jù)時(shí)代來了!”

　　曹正鳳曾是經(jīng)管之家(原人大經(jīng)濟(jì)論壇)CDA數(shù)據(jù)分析師培訓(xùn)班的金牌講師，因此他特別清楚，大數(shù)據(jù)時(shí)代的企業(yè)和個(gè)人在數(shù)據(jù)分析進(jìn)階路上遇到的困難和現(xiàn)實(shí)問題。“我在論壇培訓(xùn)的時(shí)候，出了一本《從零進(jìn)階!數(shù)據(jù)分析的統(tǒng)計(jì)基礎(chǔ)》，一年2萬冊(cè)的銷售量很讓我震驚!”曹正鳳提到的這本書大致分為六章，分別講解了數(shù)據(jù)分析的步驟和方法、描述性統(tǒng)計(jì)分析、抽樣估計(jì)、假設(shè)檢驗(yàn)、方差分析、 相關(guān)與回歸分析等這些數(shù)據(jù)分析基本方法的核心思想和涉及的統(tǒng)計(jì)學(xué)、概率論等方面的理論內(nèi)容，并使用圖示的方法詳細(xì)介紹了使用 Excel2013進(jìn)行簡(jiǎn)單的描述性統(tǒng)計(jì)分析和使用SPSS進(jìn)行相關(guān)的數(shù)據(jù)分析的過程與結(jié)果分析。而這樣一本入門級(jí)的參考書能夠暢銷的背后，就是企業(yè)對(duì)數(shù)據(jù)分析人才的需求和對(duì)數(shù)據(jù)價(jià)值的高度認(rèn)可。

　　“我們國(guó)家在大數(shù)據(jù)時(shí)代的發(fā)展戰(zhàn)略有些跨越式發(fā)展，我們沒搞清楚小數(shù)據(jù)分析，就開始步入了大數(shù)據(jù)分析，很多企業(yè)也是如此，硬件上去了，小數(shù)據(jù)分析沒有過關(guān)，人才缺乏，而國(guó)家轉(zhuǎn)型發(fā)展必須是要做智力型戰(zhàn)略，數(shù)據(jù)分析是很好的入手點(diǎn)，包括深度學(xué)習(xí)，因此數(shù)據(jù)分析人才供不應(yīng)求。但是數(shù)據(jù)分析這個(gè)行業(yè)還是有一定的門檻，不像過去做軟件，看看就可以了?！?/p>

　　“簡(jiǎn)單說，我們使得大數(shù)據(jù)的開發(fā)運(yùn)維成本降低，使得技術(shù)門檻降低，就做了這么一件事。”

　　曹正鳳目前負(fù)責(zé)首發(fā)集團(tuán)高速公路智能平臺(tái)系統(tǒng)的搭建和應(yīng)用，業(yè)務(wù)范圍以北京為重點(diǎn)先行。2016年8月，首發(fā)集團(tuán)與北京市公聯(lián)公路聯(lián)絡(luò)線有限責(zé)任公司實(shí)施合并重組。重組后的新首發(fā)集團(tuán)資產(chǎn)總額達(dá)1800多億元，員工隊(duì)伍15000余人。如今，首發(fā)集團(tuán)在交通大數(shù)據(jù)方面又增加了靜態(tài)停車數(shù)據(jù)，而這一部分業(yè)務(wù)升級(jí)曹正鳳也參與其中。

　　“大數(shù)據(jù)架構(gòu)的搭建門檻很高，運(yùn)維成本也很高，我們開發(fā)了一個(gè)Windows的Hadoop，這個(gè)平臺(tái)的特征是拖拽式，我把組件開發(fā)出來，比如說你要做一個(gè)數(shù)據(jù)表的描述性統(tǒng)計(jì)，要進(jìn)行百分位數(shù)、平均值等各種統(tǒng)計(jì)圖的計(jì)算，只要是拖拽式就可以實(shí)現(xiàn)。這樣的話，建模組的同志相對(duì)來說比較輕松。拖拽式可以實(shí)現(xiàn)某一個(gè)分析的事情。功能性可以進(jìn)行自動(dòng)地一鍵式部署、任務(wù)監(jiān)控等等。安全性方面，如果大家為某個(gè)行業(yè)做大數(shù)據(jù)的話，安全也很重要，國(guó)內(nèi)暫時(shí)沒有很多的人提大數(shù)據(jù)安全的事情。我們說的大數(shù)據(jù)安全是技術(shù)層面，隱私保護(hù)是另外一件事情。我說的安全是數(shù)據(jù)泄露、黑客攻擊的事情，要進(jìn)行授權(quán)。簡(jiǎn)單說，我們使得大數(shù)據(jù)的開發(fā)運(yùn)維成本降低，使得技術(shù)門檻降低。”

　　“放眼全國(guó)的智慧交通建設(shè)，很少能夠看到做數(shù)據(jù)分析的，信息化技術(shù)大都停留在10年前，而我們?cè)诖罱ㄏ到y(tǒng)平臺(tái)時(shí)，Hadoop工作流引擎是自主研發(fā)技術(shù)，云計(jì)算我們?cè)谌ツ暌查_始啟動(dòng)，另外，后續(xù)會(huì)在高速領(lǐng)域開發(fā)特有的高速公路算法，明年會(huì)啟動(dòng)。”

　　演講內(nèi)容摘錄：首發(fā)集團(tuán)智慧高速大數(shù)據(jù)團(tuán)隊(duì)人員構(gòu)成及職責(zé)說明

　　我們團(tuán)隊(duì)的架構(gòu)總前端是產(chǎn)品團(tuán)隊(duì)，產(chǎn)品團(tuán)隊(duì)做的事情是捕捉用戶的需求，高速公路管理方有什么需求、市場(chǎng)有什么需求，由他來把需求提煉出來，交由平臺(tái)團(tuán)隊(duì)、大數(shù)據(jù)團(tuán)隊(duì)，平臺(tái)組要懂大數(shù)據(jù)技術(shù)。由平臺(tái)團(tuán)隊(duì)到數(shù)據(jù)團(tuán)隊(duì)，數(shù)據(jù)團(tuán)隊(duì)也叫建模團(tuán)隊(duì)，建模團(tuán)隊(duì)做的事情是基于產(chǎn)品組提出的需求，基于現(xiàn)有的數(shù)據(jù)用我們的數(shù)理統(tǒng)計(jì)模型、數(shù)據(jù)挖掘模型、業(yè)務(wù)領(lǐng)域的模型把它基于數(shù)據(jù)構(gòu)建出來，讓它符合我們需要的某種業(yè)務(wù)需求。開發(fā)團(tuán)隊(duì)做的事情是把建模組做出來的模型用分布式的算法實(shí)現(xiàn)，包括前端BI展示。現(xiàn)在大數(shù)據(jù)業(yè)內(nèi)做的最好的都是BI，大家都處在展示階段，大數(shù)據(jù)的業(yè)主方或者說甲方一般對(duì)細(xì)節(jié)不感興趣，對(duì)底層的技術(shù)是怎么做的也不感興趣。QA團(tuán)隊(duì)是要做項(xiàng)目進(jìn)展過程中的質(zhì)量管理。我們部門一共有19人，大部分是研究生以上，包括數(shù)據(jù)挖掘工程師、大數(shù)據(jù)可視化工程師、需求分析師、工程師、架構(gòu)師、業(yè)務(wù)經(jīng)理、QA管理人等。

　　“我要解決的是業(yè)務(wù)痛點(diǎn)，增收堵漏是關(guān)鍵，可喜的是，綜合稽查做到了!”

　　智慧交通始終處于動(dòng)態(tài)發(fā)展的狀態(tài)，但隨著科學(xué)技術(shù)的不斷發(fā)展創(chuàng)新，很多問題還是不能得到有效的解決，這就是技術(shù)與行業(yè)應(yīng)用的鴻溝?！皩泶蠹覠o論做什么樣的行業(yè)，你要做的是真正解決問題，否則的話會(huì)覺得你做的東西沒有用處?！辈苷P老師在剛加入首發(fā)時(shí)，也面臨了同樣的難題?！拔覀冞M(jìn)某一個(gè)行業(yè)要先考慮好你對(duì)這個(gè)行業(yè)是不是真的了解，不了解去做會(huì)是一個(gè)很痛苦的過程。”據(jù)曹老師介紹，首發(fā)集團(tuán)的三大業(yè)務(wù)系統(tǒng)，收費(fèi)、監(jiān)控、呼叫，每天會(huì)有源源不斷的數(shù)據(jù)流入，體量非常大?！拔覀冮_始了解交通行業(yè)就是調(diào)研，去到集團(tuán)下設(shè)的各個(gè)子公司了解業(yè)務(wù)需求，從技術(shù)層面分析它的大數(shù)據(jù)構(gòu)成、信息系統(tǒng)建設(shè)如何，三個(gè)月后把系統(tǒng)的初步架構(gòu)做出來了，然后繼續(xù)學(xué)習(xí)和了解行業(yè)知識(shí)和現(xiàn)狀，找到了他們的業(yè)務(wù)痛點(diǎn)就是非常規(guī)性擁堵，并提出了預(yù)測(cè)方案?！?/p>

　　“做預(yù)測(cè)時(shí)需要先提取交通參數(shù)的，我們正在做基于深度學(xué)習(xí)從圖片上提取某個(gè)車輛的特征，比如說車輛的顏色、車輛的型號(hào)，這叫車輛多圍特征提取。因?yàn)樵诟咚俟飞线€有一些交通參數(shù)感應(yīng)器，這個(gè)感應(yīng)器2公里一個(gè)，是雷達(dá)的形式，是掃斷面，這個(gè)斷面上有多少輛車，車的速度是多少，車的密度是多少，這些交通參數(shù)都可以被提取出來。比如說公路上有沒有倒車，有沒有移灑，移灑的事情經(jīng)常發(fā)生，追責(zé)要追前面車輛的責(zé)任，誰扔了這個(gè)東西。這個(gè)時(shí)候需要通過視頻，視頻要自動(dòng)分析出來有移灑。而在視頻分析技術(shù)應(yīng)用之前，都是巡邏車每天在路上巡邏，大約有40多輛車，但現(xiàn)在視頻提前預(yù)警那個(gè)車就在那兒待著，或者很快到達(dá)出事地點(diǎn)，把掉下來的東西移走，就不會(huì)有交通事故發(fā)生了?！?/p>

　　首發(fā)集團(tuán)“96011高速公路熱線”接待大廳

　　熱線介紹：出門遇霧天，不知道高速路是不是臨時(shí)封閉了?聽廣播說某高速路上有事故，不知道現(xiàn)在交通恢復(fù)了沒?像這樣的路況信息，司機(jī)只需撥打新開通的高速公路24小時(shí)服務(wù)熱線96011，即可迅速獲得實(shí)時(shí)信息。

　　96011高速公路服務(wù)熱線是2012年首發(fā)集團(tuán)公布的新熱線，據(jù)曹正鳳介紹，這部熱線背后有200多名專職人員為百姓出行解答疑惑。“隨著ETC辦卡的增量，我們的咨詢電話每天有3千多通話，而質(zhì)檢員監(jiān)察通話質(zhì)量，每天只能質(zhì)檢5%，這個(gè)效率問題我們也會(huì)通過技術(shù)來解決。我們準(zhǔn)備用計(jì)算機(jī)代替質(zhì)檢員，將通話轉(zhuǎn)化為文本，計(jì)算機(jī)進(jìn)行文本挖掘，因?yàn)檎Z音轉(zhuǎn)文本已經(jīng)很成熟了，標(biāo)準(zhǔn)話術(shù)、業(yè)務(wù)解釋有沒有做到，機(jī)器一分析就出來了。這200多名業(yè)務(wù)員以后就要靠人工智能質(zhì)檢，如果梳理好問答算法的話，未來的熱線也有可能是機(jī)器人工話務(wù)。”

　　“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”這已經(jīng)成為了智慧交通發(fā)展的基本原則，信息化建設(shè)的基本思路。2016年，高德地圖發(fā)布了“互聯(lián)網(wǎng)+交通”城市指數(shù)報(bào)告，首次用“智能出行”、“智慧交通”、“政務(wù)影響力”三大指標(biāo)及二十七個(gè)分類指標(biāo)，衡量城市“互聯(lián)網(wǎng)+交通”的智能化交通發(fā)展水平。在全國(guó)“互聯(lián)網(wǎng)+交通”城市指數(shù)中，北京綜合成績(jī)領(lǐng)跑全國(guó)，廣州、深圳、武漢、上海緊隨其后。截至2016年底，首發(fā)集團(tuán)負(fù)責(zé)管理養(yǎng)護(hù)的高速公路達(dá)859公里占全市總里程85%(全市總里程1008公里)，負(fù)責(zé)管理養(yǎng)護(hù)的城市道路為675公里，負(fù)責(zé)西苑、宋家莊、四惠、東直門、北京南站等5個(gè)綜合交通樞紐及全市387個(gè)停車場(chǎng)(含天通苑、北苑2個(gè)P+R停車場(chǎng))的運(yùn)營(yíng)管理。

　　期待智慧高速、智慧交通、智慧城市能夠真正地為眾多出行者優(yōu)化路徑，為道路使用者提供引導(dǎo)信息和各類實(shí)時(shí)交通幫助信息服務(wù)，并希望在十三五智慧交通規(guī)劃的“兩通、兩融、兩新”中，看到京津冀系統(tǒng)互聯(lián)互通，大數(shù)據(jù)真正助力城市出行的智能設(shè)計(jì)。

　　“我希望，通過我們的宣講，能夠讓數(shù)據(jù)思維流行起來，幫助大家建立數(shù)據(jù)意識(shí)，因?yàn)槿魏我粋€(gè)新行業(yè)誕生之初都是教育先行，讓大家少走彎路，就是我的初衷?！?/p>

　　CDA數(shù)據(jù)分析師介紹：CDA 數(shù)據(jù)分析師，作為國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)分析師人才教育品牌，一直致力于打造中國(guó)最棒的數(shù)據(jù)分析學(xué)習(xí)社區(qū)。旨在加強(qiáng)國(guó)內(nèi)外乃至全球范圍內(nèi)正規(guī)化、科學(xué)化、專業(yè)化的數(shù)據(jù)分析人才隊(duì)伍建設(shè)，進(jìn)一步提升數(shù)據(jù)分析師的職業(yè)素養(yǎng)與能力水平，促進(jìn)數(shù)據(jù)分析行業(yè)的高質(zhì)量持續(xù)快速發(fā)展。

?? 本文為“CDAS 2017中國(guó)數(shù)據(jù)分析師行業(yè)峰會(huì)”演講嘉賓的系列專訪內(nèi)容，由CDA ( Certified Data Analyst )，全稱“ CDA 數(shù)據(jù)分析師”特邀數(shù)據(jù)派共同推出。

　　　

責(zé)任編輯：陳近梅