來源:大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì) 時(shí)間:2023-07-21 15:24:42 作者:
近年來,我國(guó)大數(shù)據(jù)產(chǎn)業(yè)一直處于持續(xù)向上向好的態(tài)勢(shì)。中國(guó)信通院作為行業(yè)智庫(kù)和產(chǎn)業(yè)創(chuàng)新發(fā)展平臺(tái),始終通過行業(yè)研究與各位同仁同頻共振,梳理和總結(jié)發(fā)展的趨勢(shì)、面臨的挑戰(zhàn),形成體系化的觀察。
今年上半年,中國(guó)信通院圍繞技術(shù)、管理、安全、應(yīng)用、數(shù)據(jù)要素、流通交易等環(huán)節(jié)開展研究。在2023大數(shù)據(jù)產(chǎn)業(yè)發(fā)展大會(huì)主論壇上,中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所大數(shù)據(jù)與區(qū)塊鏈部主任姜春宇進(jìn)行了題為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展觀察的演講。
以下為演講實(shí)錄
上圖為我國(guó)大數(shù)據(jù)相關(guān)政策演進(jìn)趨勢(shì):2014年,大數(shù)據(jù)首次被寫入中國(guó)政府工作報(bào)告。2015年,國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,這是中央政府在數(shù)據(jù)政策領(lǐng)域的第一槍。2016年,工信部《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》發(fā)布,標(biāo)志著這一產(chǎn)業(yè)首次擁有了自己的五年發(fā)展規(guī)劃。時(shí)至2020年,我們可以看到,大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展,尤其是其技術(shù)、產(chǎn)品和服務(wù)能力均得以不斷提升。
這五年的時(shí)間是夯實(shí)基礎(chǔ)的五年,大數(shù)據(jù)連續(xù)六年寫入政府工作報(bào)告,這是非常獨(dú)特的經(jīng)歷,相比之下,云計(jì)算、AI等技術(shù)均沒有像大數(shù)據(jù)一樣得到如此多的關(guān)注。2019年,十九屆四中全會(huì)《決定》首次將“數(shù)據(jù)”列為生產(chǎn)要素,這是一個(gè)重要的里程碑事件。
如果說在過去的六七年時(shí)間里觀察數(shù)據(jù)都是以技術(shù)思維和技術(shù)視角看待,那么從2019年開始則將其真正作為數(shù)字世界和數(shù)字經(jīng)濟(jì)的核心生產(chǎn)要素以及數(shù)字世界的承載加以對(duì)待。
圍繞數(shù)據(jù)要素還有一系列相關(guān)文件發(fā)布,2022年,國(guó)務(wù)院發(fā)布“數(shù)據(jù)二十條”,構(gòu)建數(shù)據(jù)基礎(chǔ)制度體系,并將其作為系統(tǒng)部署數(shù)據(jù)制度的“四梁八柱”。
過去的十年,我們對(duì)數(shù)據(jù)有了不同的認(rèn)識(shí),發(fā)現(xiàn)數(shù)據(jù)相比于土地、勞動(dòng)、資本等其它生產(chǎn)要素具有自己獨(dú)特的特點(diǎn)。由于其獨(dú)特的特性,現(xiàn)有的很多制度體系都無法匹配,我們對(duì)它不能像對(duì)待傳統(tǒng)的知識(shí)產(chǎn)權(quán)、軟件、土地等生產(chǎn)要素一樣。去年的“數(shù)據(jù)二十條”主要是構(gòu)建適應(yīng)數(shù)據(jù)的基礎(chǔ)制度體系,其中包括四點(diǎn):
數(shù)據(jù)產(chǎn)權(quán)制度,在“數(shù)據(jù)二十條”中提到了三權(quán)分立,雖然我們對(duì)數(shù)據(jù)擁有所有權(quán),但它卻并不被我們控制,那么如果企業(yè)需要使用的話怎么區(qū)分?所以就要有三權(quán)分立的產(chǎn)權(quán)制度體系。
流通交易制度,其實(shí)這種體系一直在運(yùn)轉(zhuǎn),包括廣告和征信。數(shù)據(jù)交易所誕生以前,數(shù)據(jù)已經(jīng)在流轉(zhuǎn),中央提出流通交易機(jī)制就是構(gòu)建場(chǎng)內(nèi)和場(chǎng)外結(jié)合的流通機(jī)制。
收益分配制度,如何讓人民享受到數(shù)據(jù)紅利,這里提到了分配制度如何傾斜的問題。
安全治理制度,所有一切數(shù)據(jù)利用的前提都是安全的保護(hù),所以數(shù)據(jù)在一個(gè)企業(yè)內(nèi)部流轉(zhuǎn)時(shí)保護(hù)起來相對(duì)容易,但在多個(gè)跨主體、跨領(lǐng)域、跨行業(yè)流動(dòng)時(shí),安全治理體系如何構(gòu)建?可以說這是一個(gè)很艱巨的任務(wù),因?yàn)樾湃魏茈y實(shí)現(xiàn)。
大數(shù)據(jù)產(chǎn)業(yè)經(jīng)過多年的發(fā)展,現(xiàn)在已經(jīng)進(jìn)入“十四五”發(fā)展階段,整個(gè)態(tài)勢(shì)非常好、動(dòng)力非常充足,產(chǎn)業(yè)規(guī)模達(dá)到1.57萬億,數(shù)據(jù)產(chǎn)量是ZB級(jí)別,很多企業(yè)數(shù)據(jù)規(guī)模都是PB,國(guó)家層面是ZB級(jí)別,論文專利也是在全球處于領(lǐng)先地位,和數(shù)據(jù)有關(guān)的市場(chǎng)主體超18萬家,高校數(shù)據(jù)領(lǐng)域的課程也逐漸豐富起來。
圍繞以上五個(gè)方面,我們都有一些認(rèn)識(shí)。數(shù)據(jù)計(jì)算與存儲(chǔ)就是數(shù)據(jù)基礎(chǔ)設(shè)施,管理也是一個(gè)新的方向,頭部行業(yè)實(shí)現(xiàn)數(shù)據(jù)管理,再向各個(gè)行業(yè)全域轉(zhuǎn)型,點(diǎn)對(duì)點(diǎn)流通路徑已經(jīng)初步探索完成,全社會(huì)范圍的規(guī)范化流通正在探索,支撐高層領(lǐng)導(dǎo)的應(yīng)用體系已經(jīng)初步完成,但很多企業(yè)和機(jī)構(gòu)探索的都是如何賦能整個(gè)企業(yè)各級(jí)別的人員,尤其是一線人員,以及如何讓數(shù)據(jù)更加平民化、貼近前端,這最早是由法規(guī)推動(dòng),現(xiàn)在是雙驅(qū)動(dòng),也就是內(nèi)生安全需求和外部合規(guī)要求,如何將安全體系嵌入業(yè)務(wù)治理也十分重要。
數(shù)據(jù)基礎(chǔ)設(shè)施發(fā)展了十多年,從2006年算起已經(jīng)將近二十年,大的基礎(chǔ)設(shè)施創(chuàng)新已經(jīng)完成,還有一些點(diǎn)狀創(chuàng)新,整個(gè)產(chǎn)業(yè)前景持續(xù)向好,安全穩(wěn)定已經(jīng)成為焦點(diǎn)。
當(dāng)前整個(gè)基礎(chǔ)設(shè)施呈現(xiàn)三個(gè)特點(diǎn):云化改造全面加速,尤其是國(guó)際視角,這是因?yàn)閲?guó)際公有云占有率非常高,并且云原生和Serverless均極具彈性和云化的能力。融合一體持續(xù)加深,如何把數(shù)據(jù)技術(shù)紛繁復(fù)雜的體系規(guī)劃到一個(gè)比較簡(jiǎn)單的、容易運(yùn)維的體系?我們經(jīng)常講融合,這是為了簡(jiǎn)化我們的運(yùn)維負(fù)擔(dān)。內(nèi)生安全快速補(bǔ)強(qiáng),這里包括全密態(tài)數(shù)據(jù)庫(kù)、內(nèi)置敏感識(shí)別和內(nèi)置防火墻。
最近兩年非常明確的一個(gè)發(fā)展趨勢(shì)就是降本增效,互聯(lián)網(wǎng)大廠都在這樣做,地主家里也沒有余糧了,大家都在想著如何降低成本。我們跟很多大型互聯(lián)網(wǎng)企業(yè)聊,他們的主題也都是降本增效。以前很多基礎(chǔ)設(shè)施都是各個(gè)業(yè)務(wù)團(tuán)隊(duì)自己維護(hù),現(xiàn)在大型央企國(guó)企都想打造統(tǒng)一的基礎(chǔ)設(shè)施來降低成本。院里正在進(jìn)行《湖倉(cāng)一體成熟度模型》和《批流一體成熟度模型》,指導(dǎo)大家實(shí)現(xiàn)多個(gè)平面、多個(gè)計(jì)算引擎向統(tǒng)一的基礎(chǔ)設(shè)施演化。
在精細(xì)化運(yùn)營(yíng)方面,很多機(jī)構(gòu)建立統(tǒng)一基礎(chǔ)設(shè)施以后就要想著成本分?jǐn)?,利用資源就應(yīng)該記帳,不然的話資源還會(huì)進(jìn)一步浪費(fèi),云原生提升資源利用率的技術(shù)正在發(fā)生,這些舉措都是為了提升閑置資源的利用率。
AI賦能的相關(guān)技術(shù)正在蓬勃發(fā)展,向量數(shù)據(jù)庫(kù)、圖智能和面向數(shù)據(jù)要素流通的一系列加密數(shù)據(jù)庫(kù)都在發(fā)力。
我們除了降本增效之外還關(guān)注穩(wěn)定和安全,數(shù)據(jù)容災(zāi)、備份、多個(gè)層面的數(shù)據(jù)冗余非常關(guān)鍵,這其中包括的全敏隱私計(jì)算也非常重要。
數(shù)據(jù)管理從2019年以來迎來了新的熱潮,通信、制造和金融都有大量數(shù)據(jù)治理、數(shù)據(jù)管理相關(guān)的政策。數(shù)據(jù)管理確實(shí)很辛苦,也確實(shí)很漫長(zhǎng),很多機(jī)構(gòu)做著做著就不想做了,投入太長(zhǎng),見效太慢。但有幸的是,現(xiàn)在國(guó)家層面DCMM數(shù)據(jù)管理成熟度模型的貫標(biāo)體系促進(jìn)了很多行業(yè)對(duì)數(shù)據(jù)管理的認(rèn)知,增強(qiáng)大家在這方面的工作力度投入,目前已經(jīng)完成了1000多家企業(yè)的貫標(biāo)和評(píng)估。頭部企業(yè)數(shù)據(jù)治理和數(shù)據(jù)管理工作進(jìn)入深水區(qū),低垂的果實(shí)已經(jīng)被摘完,剩下的都是老大難的活,可能動(dòng)一下就會(huì)對(duì)企業(yè)有很大影響的問題。
企業(yè)管理包括幾個(gè)特點(diǎn):成立專職團(tuán)隊(duì),數(shù)據(jù)管理部門在大型央行已經(jīng)獨(dú)立,跟IT部門、科技部門并列,運(yùn)營(yíng)商領(lǐng)域也是一個(gè)很大的團(tuán)隊(duì),其中有上百人甚至上千人支持,所以數(shù)據(jù)團(tuán)隊(duì)的職業(yè)化和專業(yè)化是一個(gè)大的趨勢(shì)。數(shù)據(jù)戰(zhàn)略從IT分化出來,尤其是DCMM明確提出具備獨(dú)立數(shù)據(jù)戰(zhàn)略相關(guān)工作,很多機(jī)構(gòu)都在開展自己獨(dú)立的數(shù)據(jù)戰(zhàn)略。開展專項(xiàng)行動(dòng),進(jìn)一步提升數(shù)據(jù)供給質(zhì)量。建立統(tǒng)一技術(shù)平臺(tái),消除協(xié)同難點(diǎn)。
在數(shù)據(jù)管理發(fā)展趨勢(shì)方面,DCMM已經(jīng)發(fā)展成為中國(guó)數(shù)據(jù)管理方法論,共有1100多家機(jī)構(gòu)完成DCMM貫標(biāo),74%的企業(yè)都是二級(jí)水平,這說明大家的提升空間還比較大,三級(jí)到四級(jí)占到25%左右,四級(jí)以上只有5%,優(yōu)秀的數(shù)據(jù)管理機(jī)構(gòu)還是鳳毛麟角。銀行、證券、保險(xiǎn)和大型運(yùn)營(yíng)商、央國(guó)企都是數(shù)據(jù)管理的主力軍,大家紛紛開展了相關(guān)的工作。
DataOps數(shù)據(jù)開發(fā)治理一體化能力會(huì)重塑整個(gè)數(shù)據(jù)開發(fā)范式,前幾年主要是理念,從今年開始,參與整個(gè)標(biāo)準(zhǔn)和實(shí)踐的機(jī)構(gòu)越來越多,可能有上百家機(jī)構(gòu)都在踐行DataOps的相關(guān)理念和實(shí)踐。我們自己推出的標(biāo)準(zhǔn)框架已經(jīng)在農(nóng)行、工行、中國(guó)移動(dòng)做了相應(yīng)的驗(yàn)證。
數(shù)據(jù)治理向數(shù)據(jù)資產(chǎn)化躍進(jìn),從資產(chǎn)的角度思考,這能夠讓高層認(rèn)識(shí)到數(shù)據(jù)除了一些問題之外還有很多價(jià)值。我們通過七年的時(shí)間構(gòu)建《數(shù)據(jù)資產(chǎn)管理實(shí)踐白皮書(6.0版)》、提出數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)的標(biāo)準(zhǔn),就是為了讓業(yè)務(wù)甚至外部機(jī)構(gòu)都能感知到,我們不光側(cè)重于治理,還關(guān)注持續(xù)運(yùn)營(yíng)。我們還要建立數(shù)據(jù)資產(chǎn)估值體系,目前這套標(biāo)準(zhǔn)我們雖然具備,但是很難標(biāo)準(zhǔn)化,因?yàn)閿?shù)據(jù)對(duì)于每個(gè)企業(yè)而言都是個(gè)性化方案,只能通過評(píng)估更多案例來優(yōu)化評(píng)估指標(biāo)。
數(shù)據(jù)流通要素市場(chǎng)構(gòu)建已經(jīng)進(jìn)入高速發(fā)展階段,隨著數(shù)據(jù)局的成立,相信會(huì)有很多相關(guān)基礎(chǔ)制度得以逐一落實(shí)。流通規(guī)則就是四梁八柱,我們需要知道該干哪些事情。流通技術(shù)體系也在不斷完善,包括很多控制技術(shù)、加密技術(shù)也都會(huì)逐步完善起來。之前我們認(rèn)為隱私計(jì)算是足夠的,現(xiàn)在發(fā)現(xiàn)其實(shí)并不夠,需要一攬子的數(shù)據(jù)流通生命周期體系。
供需對(duì)接在向多行業(yè)擴(kuò)展,很多央國(guó)企都有加入數(shù)據(jù)要素流通的探索環(huán)節(jié),我們大家一起來探索數(shù)據(jù)流轉(zhuǎn)和產(chǎn)品對(duì)外賦能。整個(gè)數(shù)據(jù)產(chǎn)品形態(tài)正在轉(zhuǎn)變,最早提供的都是標(biāo)準(zhǔn)化產(chǎn)品,后來慢慢地有了大量定制化需求。我們相信這只是一個(gè)過程,未來的走向肯定還是標(biāo)準(zhǔn)化,從標(biāo)準(zhǔn)到定制再到標(biāo)準(zhǔn)的整個(gè)過程都是要有旅程的。
在數(shù)據(jù)流通發(fā)展趨勢(shì)方面,公共數(shù)據(jù)是一個(gè)很大的前景,政府端一定會(huì)盤活公共數(shù)據(jù)的授權(quán)運(yùn)營(yíng)工作,北京、成都、海南都在積極探索公共數(shù)據(jù)的授權(quán)運(yùn)營(yíng),其中存在一系列的挑戰(zhàn)和問題,授權(quán)的規(guī)則和流程、價(jià)格機(jī)制,收益分配、安全保障等仍需繼續(xù)探索。我們?cè)赥C601成立公共數(shù)據(jù)運(yùn)營(yíng)工作組,探討相應(yīng)的標(biāo)準(zhǔn)問題。
廣告、征信是當(dāng)前最大的商業(yè)數(shù)據(jù)流通場(chǎng)景,國(guó)內(nèi)個(gè)人征信涉及大概400多億,而美國(guó)在這方面則擁有1000多億美金的市場(chǎng)。企業(yè)查詢核驗(yàn)也有很多,現(xiàn)在還有一類就是將AI用于大模型訓(xùn)練數(shù)據(jù),接下來將會(huì)熱起來。場(chǎng)外流通體系不依靠交易所,場(chǎng)內(nèi)數(shù)據(jù)交易所正在構(gòu)建自己的發(fā)展體系。
我們認(rèn)為,信任與合規(guī)體系是整個(gè)商業(yè)數(shù)據(jù)流通和交易的核心,數(shù)據(jù)采購(gòu)方需要構(gòu)建外部數(shù)據(jù)引入和管理的能力,數(shù)據(jù)輸出方需要構(gòu)建數(shù)據(jù)產(chǎn)品上線合規(guī)審計(jì)機(jī)制,其中包括對(duì)數(shù)據(jù)合作方的安全能力要求,這可能是數(shù)據(jù)泄露的短板,以及包括數(shù)據(jù)API治理能力要求。
個(gè)人數(shù)據(jù)的主要想法是把散落在各個(gè)APP的數(shù)據(jù)讓一個(gè)統(tǒng)一的賬號(hào)號(hào)管理,這個(gè)想法相當(dāng)于把個(gè)人數(shù)據(jù)使用授權(quán)的能力歸還給個(gè)人。我們使用數(shù)據(jù)的過程中要把隱私要求嵌入進(jìn)去,落實(shí)PrivacyByDesign,考慮到隱私合規(guī)的要求,這套理念非常重要。
我們可以看到,逐漸形成了一整套可信數(shù)據(jù)流通技術(shù)體系,包括數(shù)據(jù)接入、傳輸、計(jì)算、銷毀,隱私計(jì)算只是其中的一小部分,還需要一系列技術(shù)配合。
目前我們也在暢想,未來數(shù)據(jù)流通會(huì)不會(huì)形成一個(gè)網(wǎng)絡(luò),現(xiàn)在看到的都是點(diǎn)對(duì)點(diǎn)和中心化的,未來會(huì)不會(huì)變成自來水一樣連通?因此,我們提出可信數(shù)據(jù)流通網(wǎng)絡(luò)的暢想和倡議。
數(shù)據(jù)應(yīng)用發(fā)展需要經(jīng)歷三個(gè)階段:圖表統(tǒng)計(jì)屬于基本分析方法,起輔助決策的作用;數(shù)倉(cāng)常態(tài)化和體系化主要需要借用數(shù)據(jù)挖掘和BI分析,起增強(qiáng)決策的作用;自動(dòng)決策的實(shí)現(xiàn)則是通過BI+AI的方法,以及全域、敏捷、嵌入式的數(shù)據(jù)湖+外部數(shù)據(jù)的能力。
當(dāng)前,第二階段仍是數(shù)據(jù)應(yīng)用的主流,最近兩年,尤其是今年,頭部機(jī)構(gòu)普遍提到數(shù)據(jù)業(yè)務(wù)化賦能。大家都認(rèn)為自己的管理體系包括數(shù)據(jù)平臺(tái)能力已經(jīng)具備,但業(yè)務(wù)感知、數(shù)據(jù)賦能的要求卻還是差強(qiáng)人意,所以這是當(dāng)前一段時(shí)間很重要的環(huán)節(jié),即數(shù)據(jù)應(yīng)用的進(jìn)一步提升。
在數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì)方面,AI技術(shù)帶來了新的分析變革,以ChatGPT為例,只要我們把論文輸進(jìn)去便可以將其核心思想和要點(diǎn)都?xì)w納出來,因此,AI增強(qiáng)分析可能是接下來會(huì)顛覆傳統(tǒng)BI的方向。與此同時(shí),企業(yè)組織架構(gòu)也在發(fā)生變化,無論是一汽的數(shù)據(jù)管家還是交通銀行的數(shù)據(jù)經(jīng)理BP模式,都需要考慮如何讓業(yè)務(wù)更加理解數(shù)據(jù)的問題。此外,數(shù)據(jù)分析的平民化一定要賦能到企業(yè)的每個(gè)小細(xì)胞,同時(shí)還要注重?cái)?shù)據(jù)倫理體系建設(shè),這樣大家才可以形成比較普遍的道德規(guī)范。
在數(shù)據(jù)安全方面,發(fā)展基礎(chǔ)不斷夯實(shí),當(dāng)前呈現(xiàn)三大特點(diǎn):建設(shè)思路走向體系化治理,一站式解決方案成為數(shù)據(jù)安全主流服務(wù)形態(tài),數(shù)據(jù)分類分級(jí)成為全行業(yè)的關(guān)注焦點(diǎn)和落地難點(diǎn)。并且,我們可以看到,與數(shù)據(jù)分類分級(jí)相關(guān)的政策標(biāo)準(zhǔn)在業(yè)界中最多,同時(shí)也最難,一旦分級(jí)便會(huì)出現(xiàn)很多問題。
數(shù)據(jù)安全發(fā)展趨勢(shì)包括三個(gè)方面:數(shù)據(jù)安全治理能力建設(shè)需求迫切,治理框架初步搭建,供大家參考。數(shù)據(jù)分類分級(jí)進(jìn)入大范圍落地,這是我們梳理的七步方法論,雖然數(shù)據(jù)分類分級(jí)工具逐漸成熟,但是大家要認(rèn)識(shí)到分類分級(jí)的體系、規(guī)則和效果并不是一蹴而就,而是迭代、緩慢的過程。隨著國(guó)標(biāo)發(fā)布,數(shù)據(jù)安全風(fēng)險(xiǎn)治理提上日程,為防范數(shù)據(jù)泄露、數(shù)據(jù)篡改等安全事件的發(fā)生,落實(shí)數(shù)據(jù)安全風(fēng)險(xiǎn)的源頭管控成為重點(diǎn)。因此,我們提出數(shù)據(jù)安全風(fēng)險(xiǎn)治理體系,涵蓋風(fēng)險(xiǎn)準(zhǔn)則建立、風(fēng)險(xiǎn)要素識(shí)別,風(fēng)險(xiǎn)評(píng)估分析,風(fēng)險(xiǎn)處置解決,風(fēng)險(xiǎn)治理改進(jìn)等環(huán)節(jié)。
總結(jié)來說,在數(shù)據(jù)基礎(chǔ)設(shè)施方面,整體創(chuàng)新已經(jīng)完成,接下來是圍繞降本增效、面向大模型、數(shù)據(jù)要素和安全能力的點(diǎn)狀創(chuàng)新。
在數(shù)據(jù)管理方面,隨著整體意識(shí)的激活,DataOps已經(jīng)成為迫切需求。在數(shù)據(jù)流通方面,由于公共數(shù)據(jù)是當(dāng)前熱點(diǎn),地方實(shí)踐集中在這個(gè)部分;商業(yè)數(shù)據(jù)需要構(gòu)建場(chǎng)內(nèi)外結(jié)合體系,個(gè)人數(shù)據(jù)使用之道需要個(gè)人數(shù)據(jù)賬號(hào)與隱私工程探索,可信數(shù)據(jù)流通技術(shù)體系目前已經(jīng)初步形成。在數(shù)據(jù)應(yīng)用方面,AI技術(shù)的增強(qiáng)會(huì)帶來一個(gè)新的變化,企業(yè)組織架構(gòu)需要圍繞數(shù)據(jù)進(jìn)行新的調(diào)整,數(shù)據(jù)分析能力在向平民化演進(jìn)。在數(shù)據(jù)安全方面,數(shù)據(jù)安全防線評(píng)估和治理提上日程,體系化的數(shù)據(jù)安全治理能力成為大多數(shù)企業(yè)的選擇,數(shù)據(jù)分類分級(jí)開始大范圍落地,方法論和工具逐漸成熟,但仍需大量的迭代和優(yōu)化工作。
責(zé)任編輯:張薇