大數(shù)據(jù)視覺智能實踐及醫(yī)學(xué)影像智能診斷探索（講座精華筆記）

來源：THU數(shù)據(jù)派 時間：2017-06-29 14:22:21 作者：行湘

　　【導(dǎo)讀】本文整理自2017年6月20日，阿里巴巴iDST算法專家行湘在清華-青島數(shù)據(jù)科學(xué)研究院、阿里云和零氪科技共同舉辦的天池醫(yī)療AI大賽之“醫(yī)學(xué)影像在腫瘤診斷中的應(yīng)用及智能診斷探索”上發(fā)表的“大數(shù)據(jù)視覺智能實踐及醫(yī)學(xué)影像智能診斷探索”演講內(nèi)容精華。

　　一、視覺智能實踐

　　阿里團隊主要專注云上的智能視覺技術(shù)。

　　人工智能曾經(jīng)過兩次繁榮，現(xiàn)在是它的第三次繁榮，主要原因有：一是以深度學(xué)習(xí)技術(shù)為代表的技術(shù)的迅速發(fā)展，尤其是在圖象領(lǐng)域取得了重大的突破；二是有強大的計算能力；三是數(shù)據(jù)越來越多。正因為有了數(shù)據(jù)計算能力和算法，可以在更多的方面解決更多商業(yè)問題。

　　阿里巴巴在視覺智能實踐的探索體現(xiàn)在如下四個方面。

　　1．電商搜索

　　目前電商搜索是一個比較成熟的產(chǎn)品，現(xiàn)在已經(jīng)開始大規(guī)模的部署。拍立淘的目標是希望在電商搜索上，提供除了文字的另外一種搜索，如探索視頻廣告和視覺診斷。因為有深度學(xué)習(xí)快速的發(fā)展，電商環(huán)境下的圖象搜索已經(jīng)取得了重大的突破，幾乎實現(xiàn)了所見即所得的效果，網(wǎng)上已經(jīng)能夠搜到相關(guān)的資料。

　　2．城市之眼

　　城市之眼的目標是希望對城市里面大量攝像頭的分析，為我們的交通、安全提供更好的智能決策。

　　目標檢測識別需要一些強大的計算、系統(tǒng)的支持，以及對視頻數(shù)據(jù)結(jié)構(gòu)化以后，做的一些搜索和挖掘。

　　交通流量識別分析在實際中遇到的挑戰(zhàn)還是非常多的。如小目標怎么辦？車輛如果遠處有遮擋怎么辦？槍機通常做得很好，球機行不行？還有就是黃色車牌的識別，數(shù)據(jù)識別少怎么辦？阿里團隊在做這個項目中從算法到數(shù)據(jù)都遇到了一系列的問題，最后阿里團隊發(fā)明了一種新的網(wǎng)絡(luò)，對小目標、遮擋目標、模糊的目標都取得了顯著的效果，最近在非常有挑戰(zhàn)性的KITTI數(shù)據(jù)庫上車輛檢測取得了第一名的成績。阿里采用的手段是利用最新的對抗網(wǎng)絡(luò)的方法，通過生成大量的假車牌，然后通過這些大量的假車牌訓(xùn)練車牌識別分析器，最終實現(xiàn)車牌的識別率能夠提升10%以上。

　　從計算上來說，對整個城市上萬個攝像頭進行分析，計算量非常大。但由于有阿里云、大批量計算平臺的支持，通過對視頻數(shù)據(jù)結(jié)構(gòu)化，可以實現(xiàn)對全網(wǎng)視頻數(shù)據(jù)大范圍搜索。如通過車輛的屬性和車牌，在視頻數(shù)據(jù)中進行搜索，可以追查肇事車輛的逃逸。

　　如果把視頻數(shù)據(jù)結(jié)構(gòu)化以后，還可以通過分析一段時間交通流量對紅綠燈進行調(diào)控，來優(yōu)化我們的交通效率。

　　3．視頻廣告

　　第一個方面的探索就是希望能夠在視頻中找到一個合適的位置，把廣告無縫嵌入進去，并且不影響大家的觀看體驗。

　　第二個方面希望通過對視頻內(nèi)容的分析，嵌入合適的符合這個場景的廣告。

　　第三個方面是智能廣告設(shè)計，通過機器學(xué)習(xí)的手段使得廣告海報的生成更加便捷。用戶能夠通過簡單的畫直線和方框，生成一幅跟人工幾乎可以相媲美的廣告海報。

　　4．視覺診斷

　　視覺診斷包含兩個部分，一個是診斷機器，一個診斷生物。

　　傳統(tǒng)的工業(yè)診斷方法是人拿工具到現(xiàn)場檢查，診斷機器的目標是通過視覺分析的手段能夠代替人工對機器的檢查。通過現(xiàn)場拍攝錄像，通過視覺分析的手段，能夠自動的診斷出機器的故障。

　　診斷生物就是醫(yī)學(xué)影象智能診斷。

　　阿里在娛樂、交通、安防、設(shè)計和制造領(lǐng)域取得了一系列的進展，下面介紹視覺智能算法應(yīng)用到醫(yī)療影象領(lǐng)域，為醫(yī)療帶來的改變。

　　二、醫(yī)學(xué)影像智能診斷探索

　　阿里在4月份的時候在深圳發(fā)布了ET醫(yī)療大腦，即阿里基于影像云的服務(wù)，提供醫(yī)學(xué)影像的存儲、計算和醫(yī)學(xué)影像智能診斷服務(wù)。

　　1．醫(yī)學(xué)影像數(shù)據(jù)

　　常見的醫(yī)學(xué)影像數(shù)據(jù)有如下幾種：從早期的X線，到后來的CT，超聲，核磁共振（MRI），到現(xiàn)在的正電子發(fā)射計算機斷層顯像（PET-CT）。各種設(shè)備不斷出現(xiàn)，對病灶的觀察越來越精確，已成為臨床診斷最重要的依據(jù)之一。

　　醫(yī)學(xué)影像數(shù)據(jù)數(shù)量增長非常迅速，成為了真正意義上的大數(shù)據(jù)：一是數(shù)據(jù)種類多，且新的成像方式還在不斷涌現(xiàn)。二是數(shù)據(jù)增長快，麥肯錫的數(shù)據(jù)顯示,2020年醫(yī)療數(shù)據(jù)將達35ZB,為2009年的44倍，其中醫(yī)學(xué)影像數(shù)據(jù)占絕大部分。三是數(shù)據(jù)體量大，一家大型醫(yī)院歷史影像數(shù)據(jù)量為50-200T左右，每年新增20T－50T左右。四是價值密度低，LUNA16數(shù)據(jù)庫CT影像數(shù)據(jù)111G，只包含1186個結(jié)節(jié)信息。

　　2．影像智能診斷的迫切需求

　　與數(shù)據(jù)快速增長相對應(yīng)的，是不滿足需求的診斷方式?，F(xiàn)有的醫(yī)學(xué)影像方法主要靠醫(yī)生人工讀片，由于有經(jīng)驗的影像科醫(yī)生培養(yǎng)周期長，加上優(yōu)秀的資源分布極不均衡，導(dǎo)致患者預(yù)約拍片時間長、以及拍片后的等待時間長。由于醫(yī)生的工作量大，以CT為例，一個醫(yī)生一天要看上萬張影像，精神高度集中，容易疲勞，人工誤差不可避免。為了緩解醫(yī)療資源緊張，有的公司開發(fā)了輔助診斷系統(tǒng)，但是這些輔助系統(tǒng)大多是事先創(chuàng)造一套規(guī)則，程序根據(jù)規(guī)則對影像進行處理，由于規(guī)則難以窮盡,這些系統(tǒng)應(yīng)用到現(xiàn)實復(fù)雜的環(huán)境中通常準確率不高。而且這些輔助系統(tǒng)增加了醫(yī)生的使用難度，實際使用效果不理想。

　　海量的醫(yī)學(xué)影像數(shù)據(jù)，迫切的現(xiàn)實需求，高效的圖像識別算法，加上強大的計算能力，需求、數(shù)據(jù)、算法、計算等因素綜合在一起，為醫(yī)學(xué)影像的智能診斷帶來了難得的歷史機遇。

　　一旦智能診斷成為現(xiàn)實，其相比原有的診斷方式的優(yōu)勢是非常明顯的。由于強大的云計算和大數(shù)據(jù)的支持，基于深度學(xué)習(xí)的智能診斷可以短時間內(nèi)快速達到普通影像科醫(yī)生的水平，并且診斷過程可以在瞬間完成，一旦完成訓(xùn)練，“智能診斷服務(wù)”可以快速復(fù)制，邊際成本非常低。

　　3．CT影像肺結(jié)節(jié)智能檢測的實踐探索

　　以CT影像肺結(jié)節(jié)檢測為例介紹在醫(yī)學(xué)影像智能診斷方面的一些探索。

　　這里是一個肺部CT掃描序列的片段，紅色圓圈標注的是一個肺結(jié)節(jié)。智能檢測的目標是設(shè)計深度學(xué)習(xí)算法讓計算機自動從CT掃描序列中自動找出肺結(jié)節(jié)的位置，估計肺結(jié)節(jié)位置和大小。

　　問題分析：

　　這個問題的存在一系列的挑戰(zhàn)：1是結(jié)節(jié)模態(tài)多，不像人臉、行人等目標有相對固定的模態(tài)。2是早期結(jié)節(jié)小，早期的肺結(jié)節(jié)通常小于10毫米。3是標注樣本少，由于醫(yī)學(xué)影像的標注成本高，常見的數(shù)據(jù)集非常少，數(shù)據(jù)集的數(shù)量也很少。我們期待計算機可以把有問題的結(jié)節(jié)都找出來，同時誤報比較少。這樣才能降低醫(yī)生的工作量。

　　實現(xiàn)步驟：

　　基于深度學(xué)習(xí)的方法比較有效的克服了上述挑戰(zhàn)，其主要步驟有：肺部區(qū)域提取、肺結(jié)節(jié)分割和肺結(jié)節(jié)分類。

　　使用圖像分割算法生成肺部區(qū)域圖，然后根據(jù)肺部區(qū)域圖生成肺部圖像。利用肺部分割生成的肺部區(qū)域圖像，加上結(jié)節(jié)標注信息生成結(jié)節(jié)區(qū)域圖像，訓(xùn)練基于全卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)分割器，然后對圖像做肺結(jié)節(jié)分割，得到疑似肺結(jié)節(jié)區(qū)域。找到疑似肺結(jié)節(jié)后，使用3D卷積神經(jīng)網(wǎng)絡(luò)對肺結(jié)節(jié)進行分類，得到真正肺結(jié)節(jié)的位置和置信度。

　　具體實現(xiàn)：

　　肺部提取采用傳統(tǒng)的圖像處理算法加上一些規(guī)則雖然也能得到不錯的效果，但是在實驗過程中發(fā)現(xiàn)，針對某個數(shù)據(jù)集設(shè)定的規(guī)則，在別的數(shù)據(jù)集上總是效果不佳。

　　這里采用了FCN全卷積網(wǎng)絡(luò)，同時采用別的大數(shù)據(jù)集訓(xùn)練的模型作為預(yù)訓(xùn)練模型，訓(xùn)練了一個16層的網(wǎng)絡(luò)（13個卷積層，3個反卷積層）。模型測試的效果表明，基于深度學(xué)習(xí)的方法有著更為魯棒的效果。

　　得到肺部區(qū)域圖后，需要在肺部圖像中找出肺結(jié)節(jié)的位置。由于早期的肺結(jié)節(jié)比較小，使用常見的網(wǎng)絡(luò)做影像分割通常對小目標容易漏檢。

　　這里采用了U-Net網(wǎng)絡(luò)模型。因模型長得像個巨大的U，故取名U-Net。它的顯著特征是在上采樣過程中把下采樣過程中生成對應(yīng)特征圖拿過來組合在一起，這樣在最終生成的特征圖中既包含高層的抽象特征，也包含低層的細節(jié)特征，能同時對影像中的大小目標進行檢測。同時，由于這是正負樣本嚴重不均衡問題，訓(xùn)練的loss函數(shù)設(shè)計、訓(xùn)練策略都需要特殊的考慮。

　　對肺部圖像做U-Net分割后，得到疑似肺結(jié)節(jié)分割圖像。圖像明暗程度代表了肺結(jié)節(jié)出現(xiàn)的概率，可以看出，真正結(jié)節(jié)所在的位置為白色。然后對分割圖做二值化、提取連通塊等后處理，得到疑似結(jié)節(jié)的位置。從上圖中可以看出得到了五個疑似結(jié)節(jié)。

　　最后是疑似結(jié)節(jié)分類。對每個疑似結(jié)節(jié)，從其相鄰多幀切片中提取一個影像數(shù)據(jù)塊，使用一個3DCNN網(wǎng)絡(luò)中對其分類。由于3D網(wǎng)絡(luò)充分學(xué)習(xí)到了肺結(jié)節(jié)內(nèi)在的3維形狀結(jié)構(gòu)，可以獲得比2D更好的結(jié)果。

　　上圖是得到的最終結(jié)果。左圖在肺結(jié)節(jié)分割環(huán)境中找到了5個肺結(jié)節(jié)，經(jīng)過肺結(jié)節(jié)分類后，找到了那個真正肺結(jié)節(jié)的位置。

　　以上是肺結(jié)節(jié)檢測一個初步的探索，如果要真正應(yīng)用于實踐，成為一個真正的產(chǎn)品，無論是算法、數(shù)據(jù)、計算，還是商業(yè)都還有很多工作要做。

責(zé)任編輯：陳近梅