Yoshua Bengio清華最新演講：深度學習AI邁向人類水平還面臨這些挑戰(zhàn)

來源：大數據文摘 時間：2018-11-08 15:54:58 作者：

昨日，清華大學主樓報告廳迎來了人工智能的一次小高潮。

被稱為“人工智能三巨頭”之一的蒙特利爾大學計算機科學與運算研究系教授Yoshua Bengio為清華的師生帶來了一場長達一個半小時的充實演講。

剛剛入場就被清華同學團團圍住簽名合照的Yoshua教授

本次計算機科學與系列講座第59講暨CCF YOCEEF TDS Special系列講座，Yoshua Bengio帶來的主題講座名為《深度學習抵達人類水平面臨的挑戰(zhàn)（Challenges for Deep Learning towards Human-Level AI》。

本次演講講述了人工智能尚未達到人類水平的原因，以及機器學習和自然語言處理遇到的挑戰(zhàn)，整個演講娓娓道來且讓人意猶未盡。

在演講中，Bengio提到AI如今的大獲成功主要是靠有監(jiān)督學習，而有監(jiān)督學習里的高級概念（比如label）是人類給的，不是機器自己去發(fā)現的。沒有這個主動認知的過程，機器對數據的理解其實是相當膚淺的，改幾個像素就會錯把狗的圖片當成鴕鳥。

Bengio和Yann LeCun在2007年的一篇論文里提出：我們需要學到一個好的表示。好的表示到底是什么，這尚無定論，但我們希望學到的表示能抓住事物的原因和數據的內在解釋。

Bengio進一步認識到，既然好的表示可以得到簡單的相關性，又沒有免費的午餐，那么就一定需要先驗去輔助分離內在的因子變量。

這類先驗可以是空間和時間尺度上的先驗（比如變量變化的快慢），也可以是高層表示之間應具有統計獨立性。

好的表示還應具有這樣的先驗：能把數據映射到一個空間，在這個空間里做什么都很簡單，計算簡單、學習簡單、因子之間的相關也很簡單。

還有一類先驗不是被動給予的，而是主動與環(huán)境交互獲取的，這是強化學習的范疇。

心理學家提出認知任務有兩種不同類型，這可以幫助我們理解深度學習當前存在的局限，以及該向何處發(fā)展。

第一類認知任務是可以快速完成的、無意識的動作，比如口渴時一下就能把水杯拿起來喝水，而不是盯著水杯刻意地識別它。

第二類任務則是速度較慢的、有意識的，包含邏輯、語言、計算等。經典符號AI曾經嘗試去解決這類任務。

意識空間里的事物維度很低，因此我們能在這樣的空間里進行推理。

“下雨時打傘”，這個句子雖然只有“下雨”和“打傘”兩個變量，但因為它高概率為真，所以具有很強的預測能力，這說明僅用很少的信息就能做出預測。

意識先驗就是假設有很多只包含很少變量但為真的事情，因此，好的表示的一個性質，就是當我們把數據映射到表示空間之后，變量之間只有少數相關。

我們也可以在這樣的空間里討論變量的因果性：在像素空間里說一個像素引起另一個像素的變化是沒有意義的，但在表示空間里就可以說一個變量引起另一變量的變化。

無意識狀態(tài)是高維的，有意識狀態(tài)是低維的，可以用注意力機制選擇較少維度去表示有意識狀態(tài)。

借鑒GAN的思想，訓練可區(qū)分來自P(A,B)和P(A)P(B)這兩個分布的(A,B)的判別器，如果區(qū)分不出則說明它們是獨立的。這樣可以讓encoder學到的表示盡可能獨立。

直接計算互信息往往是困難的，我們也可以用類似的思想，用判別器去學習互信息的估計。這樣學到的互信息估計可用來提高GAN的性能。

現在的NLP任務只是在文本上訓練模型。

這樣會出現很多常識性的錯誤，因為它并沒有理解語言內在的含義。

想要真正理解自然語言，不僅要對語言本身建模，還要對所處環(huán)境進行建模。要將語言學習和世界運轉方式的學習相結合。

機器需要對事物之間的因果聯系進行建模。

BabyAI通過19個由易到難的游戲關卡而不斷學習，就像嬰兒成長的過程一樣。這很像課程學習（curriculum learning）。

?

責任編輯：陳近梅