熬過深宮十幾載 深度學(xué)習(xí)上位這五年

來源：大數(shù)據(jù)文摘 時(shí)間：2017-08-24 14:05:04 作者：Thimira Amaratunga（寧云州 吳雙 張伯楠 編譯）

　　【深度學(xué)習(xí)】這個(gè)幾年前還鮮為人知的術(shù)語，近期迅速躥紅，成為人盡皆知的大IP。不過在火起來之前，這個(gè)技術(shù)已經(jīng)發(fā)展了十幾年。人盡皆知前，深度學(xué)習(xí)是如何一步一步自我演化并走進(jìn)公眾視野的?

　　1998年，Yann LeCun 發(fā)表Gradient-Based Learning Applied to Document Recognition，至今，深度學(xué)習(xí)已經(jīng)發(fā)展了十幾年了。以大家熟知的CNNs為代表的技術(shù)在近幾年內(nèi)取得了跨越式的發(fā)展，但理解深度學(xué)習(xí)的技術(shù)細(xì)節(jié)往往需要深入的數(shù)理知識(shí)，導(dǎo)致我們對(duì)于深度學(xué)習(xí)的理解一直停留在較淺的程度。本文就將帶你回顧深度學(xué)習(xí)近些年來的里程碑式成果，就算看不懂技術(shù)細(xì)節(jié)，也可以一睹深度學(xué)習(xí)的前世今生。

　? 2012年-AlexNet

　　這篇文章被稱為深度學(xué)習(xí)的開山之作。當(dāng)然，也有很多人堅(jiān)稱Yann LeCun 1998年發(fā)表的Gradient-Based Learning Applied to Document Recognition才是開山之作，即便這樣， 這篇文章使得深度學(xué)習(xí)進(jìn)入主流科學(xué)界的視野也是毋庸置疑的。事實(shí)上，有人的地方就有江湖，這種爭(zhēng)論與當(dāng)年牛頓和萊布尼茨爭(zhēng)論微積分的發(fā)明權(quán)一樣都無損于我們作為學(xué)習(xí)者領(lǐng)略這些成果美妙的思想和燦爛的智慧，這篇文章的作者Alex Krizhevsky, Ilya Sutskever, 和 Geoffrey E. Hinton同Yann Lecun都是最杰出的學(xué)者。

AlexNet的結(jié)構(gòu)圖(圖片來自于論文：《基于ImageNet圖像識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)》)

　　特點(diǎn)：

　　在結(jié)構(gòu)上，AlexNet由8層神經(jīng)網(wǎng)絡(luò)組成：其中有5層卷積層和3層全連接層(相比較現(xiàn)在的神經(jīng)網(wǎng)絡(luò)，這真是太簡單了，但即便是這樣，它也足以用來分類1000類圖片了)。

　　AlexNet使用ReLU作為非線性函數(shù)，而不是此前一直廣泛使用的常規(guī)tanh函數(shù)。

　　AlexNet還首次提出了使用Dropout Layers(降層)和Data Augmentation (數(shù)據(jù)增強(qiáng))來解決過度匹配的問題，對(duì)于誤差率的降低至關(guān)重要。

　　這篇文章之所名留青史與其在應(yīng)用方面的優(yōu)異表現(xiàn)分不開(時(shí)間果然是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)啊)，AlexNet贏得了2012年的ILSVRC(ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽)，誤差率為15.4%。甩了當(dāng)時(shí)的第二名十條大街(26.2%) 。

　　論文：《基于ImageNet圖像識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)》- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton

　　2013年-ZF Net

　　

　　ZF net 結(jié)構(gòu)圖(圖片來自論文：《卷積網(wǎng)絡(luò)的可視化與理解》)

　　學(xué)術(shù)界的反映其實(shí)總要比我們想象地要快得多，在2013年的ILSVRC(ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽)上，就出現(xiàn)了大量的CNN模型，而其中奪得桂冠的就是ZF Net(錯(cuò)誤率進(jìn)一步降低到11.2%)，其實(shí)ZF Net更像是一個(gè)AlexNet的升級(jí)版，但它仍然有以下特點(diǎn)：

　　推出了反卷積網(wǎng)絡(luò)(又名DeConvNet)，一種可查看卷積網(wǎng)絡(luò)(CNN)內(nèi)部運(yùn)作的可視化技術(shù)。

　　激活函數(shù)用了ReLu，誤差函數(shù)用了交叉熵?fù)p失(cross-entropy loss)，訓(xùn)練使用批量隨機(jī)梯度下降方法。

　　大大減少了訓(xùn)練模型使用的圖片數(shù)量，AlexNet使用了1500萬張圖片做訓(xùn)練，而ZF Net只用了130萬張。

　　論文：《卷積網(wǎng)絡(luò)的可視化與理解》- Matthew D. Zeiler, Rob Fergus

　　2014年-VGG Net

　　

　　VGG結(jié)構(gòu)圖(圖片來自Keras的博客：http://www.21jieyan.cn)

　　看到這里我們已經(jīng)可以發(fā)現(xiàn)深度學(xué)習(xí)和ILSVRC深深的糾葛，接下來我們要介紹的VGG Net正是ILSVRC 2014“圖像識(shí)別+定位”組別的獲勝者，誤差率為7.3%。

　　VGG Net具有以下特點(diǎn)：

　　VGG結(jié)構(gòu)在圖像識(shí)別和定位兩個(gè)方面都表現(xiàn)出色。

　　使用了19層網(wǎng)絡(luò)，3x3的濾波器。 (而不是AlexNet的11x11濾波器和ZF Net的7x7濾波器相比)

　　提供了可用于分層特征提取的簡單深度結(jié)構(gòu)。

　　利用抖動(dòng)(scale jittering)作為訓(xùn)練時(shí)數(shù)據(jù)增強(qiáng)的手段。

　　VGG Net成為里程碑的主要原因除了它在定位和圖像識(shí)別兩方面都表現(xiàn)突出外，還因?yàn)樗鼜?qiáng)調(diào)了卷積神經(jīng)網(wǎng)絡(luò)需要用到深度網(wǎng)絡(luò)結(jié)構(gòu)才能把圖像數(shù)據(jù)的層次表達(dá)出來，為之后深度學(xué)習(xí)的發(fā)展提供了指導(dǎo)。

　　論文：《用于大規(guī)模圖像識(shí)別的超深度卷積網(wǎng)絡(luò)》-? Karen Simonyan, Andrew Zisserman

　　2014/2015年-GoogLeNet

　　GoogleNet結(jié)構(gòu)圖(圖片來自于論文：《深入探索卷積》)

　　讀到這里的讀者應(yīng)該已經(jīng)能把ILSVRC這個(gè)大賽當(dāng)作老朋友了。在2014年的ILSVRC大賽中，我們剛才介紹的VGG Net只是“圖像識(shí)別+定位”組別的冠軍，而GoogLeNet則憑借6.7%的誤差率贏得了ILSVRC 2014圖像識(shí)別的冠軍。

　　它具有以下特點(diǎn)：

　　引入了“初始模塊”，強(qiáng)調(diào)了CNN的層次并不總是必須順序堆疊的。

　　

　　初始模塊(圖片來自論文《深入探索卷積》)

　　22層深的網(wǎng)絡(luò)(如果獨(dú)立計(jì)算則總網(wǎng)絡(luò)超過100層)。

　　沒有使用全連接層，而是以使用平均池化代替，將7x7x1024的輸入量轉(zhuǎn)換為1x1x1024的輸入量。 這節(jié)省了大量的參數(shù)。

　　證明了優(yōu)化的非順序結(jié)構(gòu)可能比順序結(jié)構(gòu)性能更好。

　　GoogLeNet?的創(chuàng)新主要在于這是第一個(gè)真正不通過簡單順序疊加卷積層和池化層來構(gòu)建的CNN架構(gòu)之一，為后來CNN在架構(gòu)上的創(chuàng)新打下了基礎(chǔ)。

　　論文：《深入探索卷積》-?Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, 谷歌公司，北卡羅來納大學(xué)教堂山分校，密歇根大學(xué)安娜堡分校，Magic Leap公司

　　2015年—微軟ResNet

　　ResNet 結(jié)構(gòu)圖(圖片來自于論文：《圖像識(shí)別的深度殘差學(xué)習(xí)》)

　　ResNet是2015年ILSVRC的獲勝者(又是ILSVRC!)，它的誤差率達(dá)到了驚人的3.6%，首次在圖像識(shí)別的準(zhǔn)確率上超越了人類(5%-10%)，它擁有以下特點(diǎn)：

　　真的很深，ResNet?具有152層的“極端深度”(原文作者用Ultra-deep這個(gè)詞來描述它)的結(jié)構(gòu)。

　　提出了使用殘差模塊以減輕過度匹配。

　　殘差模塊(圖片來自于論文：《圖像識(shí)別的深度殘差學(xué)習(xí)》)

　　論文：《圖像識(shí)別的深度殘差學(xué)習(xí)》- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 微軟亞洲研究院

　　意義：超越人類還不算意義嗎?

　　深度學(xué)習(xí)只有CNNs(卷積神經(jīng)網(wǎng)絡(luò))嗎?

　　當(dāng)!然!不!是!現(xiàn)在我們終于能擺脫被ILSVRC支配的恐懼，談點(diǎn)其他的了，事實(shí)上，深度學(xué)習(xí)的模型還包括：

　　Deep Boltzmann Machine(深度玻爾茲曼機(jī))

　　Deep Belief Networks(深度信念網(wǎng)絡(luò))

　　Stacked Autoencoders(棧式自編碼算法)

　　如果你讀到了這里，仍然想了解一些深度學(xué)習(xí)的技術(shù)細(xì)節(jié)，請(qǐng)點(diǎn)擊這里閱讀這篇文章【站在巨人的肩膀上，深度學(xué)習(xí)的9篇開山之作】，里面對(duì)本文中提到的論文進(jìn)行了較為深入的解讀，并且對(duì)非CNNs的深度學(xué)習(xí)模型進(jìn)行了介紹。

　　原文鏈接：http://www.21jieyan.cn

責(zé)任編輯：陳近梅