GPT有四個(gè)不可解釋的現(xiàn)象

來源：圖靈社區(qū) 時(shí)間：2023-08-22 14:06:40 作者：周鴻祎

　　面對GPT模型展現(xiàn)出的不可思議的智能，我們需要正確認(rèn)識(shí)這一人工智能突破所帶來的深遠(yuǎn)影響。

　　360集團(tuán)創(chuàng)始人周鴻祎在近期直播中詳細(xì)舉例了GPT模型表現(xiàn)出的四大令人難以置信的能力：涌現(xiàn)、幻覺、語言遷移、邏輯增強(qiáng)。這些現(xiàn)象似乎預(yù)示著一個(gè)真正的通用人工智能時(shí)代即將來臨。很多人詬病大模型的點(diǎn)就是在問題沒有確定答案的時(shí)候，它會(huì)給你胡亂生成一段煞有介事的回答。他認(rèn)為，能否胡說八道，恰恰是智能的分水嶺，將來很多新的GPT大腦在某種程度上要保留這種幻覺的能力。

　　本文內(nèi)容節(jié)選自周鴻祎在得到直播間的分享，主題為“人工智能引領(lǐng)新工業(yè)革命”。

　　為了證明GPT是真正有智力的，我舉四個(gè)不可解釋的現(xiàn)象。就連創(chuàng)造出Transformer模型的谷歌科學(xué)家、做出ChatGPT的OpenAI的科學(xué)家們，包括微軟做測試的專家們，都只知道有這幾個(gè)結(jié)論，但無法解釋它為什么會(huì)出現(xiàn)。

　　第一叫涌現(xiàn)。就是模型的推理能力突然有了指數(shù)級(jí)提升。在小模型階段，很多人工智能公司訓(xùn)練的一些推理模型，參數(shù)太小、容量太小，你可以理解成腦子太小，只能訓(xùn)練它的搜索能力，沒有真正地把它的推理能力、形成思維鏈的能力訓(xùn)練出來。

　　但在OpenAI訓(xùn)練GPT的過程中，大家突然發(fā)現(xiàn)，在模型參數(shù)到達(dá)1000億的這個(gè)階段，整個(gè)模型的推理能力突然有了指數(shù)級(jí)的提升，可以開始解答多步推理問題：

　　比如如何把大象放在冰箱里。人類會(huì)把它分三步：第一步，把冰箱門打開；第二步，把大象塞進(jìn)去；第三步，關(guān)上冰箱。經(jīng)過多步邏輯推理才能作出回答，這是人類很重要的思維模式。這種具有強(qiáng)大思維鏈的推理能力不是靠搜索，而是靠參數(shù)。

　　從進(jìn)化論的角度看，從猿到人，人類在進(jìn)化過程中，智力出現(xiàn)了躍升，一定是因?yàn)樵谀硞€(gè)階段，人腦的神經(jīng)單元數(shù)目增加了。就像參數(shù)增加了，受到的刺激增加了。

　　當(dāng)我們在訓(xùn)練大模型的過程中，參數(shù)奇跡般增加時(shí)，人工智能產(chǎn)生了新的強(qiáng)推理能力，而且這個(gè)能力越來越強(qiáng)，就很像人類的進(jìn)化過程。

　　第二個(gè)是幻覺。實(shí)際上就是胡說八道。很多人詬病大模型的點(diǎn)就是在問題沒有確定答案的時(shí)候，它會(huì)給你胡亂生成一段煞有介事的回答。

　　從某種角度來說，在某些特定場合，它確實(shí)是個(gè)缺點(diǎn)。且由于搜索只能找到存在的事情，這個(gè)缺點(diǎn)可以通過再次搜索、知識(shí)庫的校正，從技術(shù)上得到解決。

　　但你有沒有想過它為什么會(huì)胡說八道？這不是恰恰說明它的智能性嗎？我記得《人類簡史》里面提到，在人類進(jìn)化的過程中，人類和動(dòng)物的分水嶺就是人類是能夠胡說八道的生物。

　　人類能夠描繪不存在的東西。如果你給大猩猩講三個(gè)蘋果，它能學(xué)會(huì)。但如果你描繪說，明天，我給你三個(gè)蘋果，大猩猩理解不了沒有發(fā)生的事情。正因?yàn)槿祟愑辛嘶孟氲哪芰?、預(yù)言不存在事物的能力，人類才有了社群、宗教和團(tuán)體。

　　包括人類引以為豪的創(chuàng)造力，是無中生有的嗎？其實(shí)我們?nèi)祟悇?chuàng)造的大部分產(chǎn)品都是把兩個(gè)不相關(guān)的概念在一塊融合交叉，產(chǎn)生了創(chuàng)新。當(dāng)然，可能99%的兩個(gè)不相關(guān)的概念在一起結(jié)出的東西是胡說八道，但可能有1%就是一個(gè)典型的創(chuàng)新。

　　這種幻想的能力是永遠(yuǎn)難以消除的，它跟你的訓(xùn)練資料沒有關(guān)系。就像我今天晚上決定來做直播，可能一個(gè)小時(shí)之前我還不愿意來。但一個(gè)小時(shí)以后，我又改變了主意。這就是量子糾纏，有一個(gè)隨機(jī)的色子產(chǎn)生。

　　能否胡說八道，恰恰是智能的分水嶺。我覺得將來很多新的GPT大腦在某種程度上要保留這種幻覺的能力。因?yàn)樗卮鹗聦?shí)性問題的時(shí)候，我不需要它的幻覺。但當(dāng)它給我寫小說、寫劇本的時(shí)候，我需要這種能力。

　　順便說一下，你每天晚上做夢的時(shí)候都會(huì)胡說八道。因?yàn)樵趬衾?，你的神?jīng)網(wǎng)絡(luò)會(huì)發(fā)生短路，把兩個(gè)本來白天不會(huì)碰到一起的概念碰到一起。比如昨天晚上我就夢見羅振宇在追殺我，這就是羅振宇、追殺和我這三個(gè)神經(jīng)網(wǎng)絡(luò)連接在一起，才產(chǎn)生的夢境。

　　第三個(gè)難以解釋的現(xiàn)象是語言上的能力遷移。在大模型出來之前，我們都在做人工智能翻譯，但全世界的翻譯都做得不太好。理由是各種語言的規(guī)律不一樣，比如中文有分詞，阿拉伯文是從右往左寫，拉丁語系沒法和我們象形文字互通等。

　　但是，在大模型鍛造的過程中，OpenAI的訓(xùn)練有95%使用的是拉丁文字，只用了大概5%的中文語料。結(jié)果一個(gè)奇怪的現(xiàn)象發(fā)生了，它在學(xué)英文時(shí)學(xué)到的邏輯能力、推理能力、知識(shí)能力在應(yīng)用到其他語言時(shí)，都得到了很好的體現(xiàn)。你用ChatGPT，它用中文回答，很多時(shí)候也回答得不錯(cuò)。這個(gè)現(xiàn)象也很有趣。

　　我猜測在大模型里面，雖然阿拉伯文、中文、日文、拉丁語言看起來不一樣，但它們都是人類發(fā)明的、用來描述這個(gè)世界的符號(hào)化的東西。人類不同的語言、不同的表象背后一定有一種共通的規(guī)律。我們自己學(xué)習(xí)語言的人沒有發(fā)現(xiàn)，但被ChatGPT訓(xùn)練出來了，所以它實(shí)現(xiàn)了語言能力的遷移。

　　最后一個(gè)叫邏輯增強(qiáng)。ChatGPT的一個(gè)很重要的功能是學(xué)習(xí)寫程序，這是它的擅長領(lǐng)域。因?yàn)樗緛砭褪且粋€(gè)符號(hào)系統(tǒng)、一個(gè)語言模型。

　　計(jì)算機(jī)語言是最單純的。相比之下，我們?nèi)祟惖淖匀徽Z言有歧義性、多義性，是最復(fù)雜的。在不同的語境下，基于不同的理解，都能表示不同的含義。比如，公交車報(bào)站說，“前門快到了請從后門下車”，我到底是從前門下還是從后門下？這種例子比比皆是。

　　但是大家發(fā)現(xiàn)，當(dāng)讓ChatGPT學(xué)習(xí)了幾十億行GitHub的代碼后，它在寫程序時(shí)學(xué)到的邏輯感，竟然作用到了自然語言上。它用自然語言回答問題時(shí)，邏輯性飛速提升。

　　很多家長問我說，“ChatGPT都這樣了，還要讓小孩學(xué)習(xí)嗎？”我的回答是，當(dāng)然要讓孩子學(xué)習(xí)了，你不學(xué)習(xí)，腦子就不會(huì)長出新的神經(jīng)網(wǎng)絡(luò)連接，你的大腦就是嶄新的，沒有溝回。

　　現(xiàn)在小朋友學(xué)編程，長大了可能不一定干編程，甚至程序員這個(gè)職業(yè)將來可能會(huì)發(fā)生變遷。但你通過學(xué)編程，提高的邏輯判斷力和表達(dá)能力是確定的。這一點(diǎn)在ChatGPT上也得到了驗(yàn)證。

　　用好GPT有一個(gè)很重要的環(huán)節(jié)叫提示。當(dāng)你的提示詞給得很差時(shí)，GPT可能隨便挑一段話敷衍你，但如果提示很好，有挑戰(zhàn)性、批判性，它會(huì)給出更好的結(jié)果。

　　這種給提示詞的能力也是需要培養(yǎng)的。就像我做直播的時(shí)候喜歡找一個(gè)人給我做訪談。如果我一個(gè)人滔滔不絕地講，沒有輸入和提示，我講著講著大腦皮層就不活躍了。如果有觀眾愿意給我一些很有挑戰(zhàn)性、批判性的問題，會(huì)激發(fā)我的辯論欲望，或者說激發(fā)我討論的想法，我就會(huì)講得更多。

　　總結(jié)一下，我講了很多觀點(diǎn)，就是讓大家對GPT大語言模型有一個(gè)正確的認(rèn)知。英特爾創(chuàng)始人安迪·格魯夫博士在他著名的《只有偏執(zhí)狂才能生存》里講到，任何產(chǎn)業(yè)革命都不是敲鑼打鼓地到來的，都是以微弱的噪音信號(hào)的方式出現(xiàn)的。

　　如果GPT大語言模型象征著一場巨大的革命，你一定不能判斷失誤。如果你覺得這玩意兒就是二十年前做的模型，就是貝葉斯函數(shù)的統(tǒng)計(jì)，就是無足輕重的“填空機(jī)”或者是神經(jīng)網(wǎng)絡(luò)應(yīng)用，那你可能就會(huì)在認(rèn)知上發(fā)生錯(cuò)誤。

　　GPT具體怎么用，是技術(shù)問題，但最重要的核心戰(zhàn)略問題是你認(rèn)不認(rèn)可GPT是一個(gè)強(qiáng)人工智能，甚至它的出現(xiàn)，是不是代表著一個(gè)超級(jí)人工智能時(shí)代的來臨。

　　我要補(bǔ)充的一個(gè)觀點(diǎn)，關(guān)于通用人工智能。第一，在自然語言處理過程中，基本上其他的處理方法都要被大語言模型這種以Transformer解碼器為主的模型取代。GPT-4里面加了多模態(tài)的功能，它能看懂圖片、聽見聲音。

　　過去語音識(shí)別有獨(dú)特的算法，就是圖片識(shí)別也有自己的算法。這些算法基于的深度學(xué)習(xí)網(wǎng)絡(luò)，CN、RN、DN這些，更多的是像人的視覺神經(jīng)網(wǎng)絡(luò)一樣，還停留在感知層。

　　但是，今天大語言模型模擬了人的大腦神經(jīng)元網(wǎng)絡(luò)工作原理，它已經(jīng)到了認(rèn)知層，是完全不同的層次。

　　它能理解這個(gè)世界是因?yàn)樗苷J(rèn)知。過去的人臉識(shí)別只是把一張照片ID化，就像一個(gè)人臉識(shí)別的攝像頭，認(rèn)出周鴻祎來了，無非是對數(shù)據(jù)庫里預(yù)存的周鴻祎的照片進(jìn)行了對比，只是實(shí)現(xiàn)了圖像的編碼化，并不具備理解周鴻祎背后的360公司、數(shù)字安全、人工智能等等的認(rèn)知能力。大語言模型會(huì)把這些算法都給顛覆掉。

　　OpenAI的首席科學(xué)家很意味深長地說，當(dāng)你用大語言模型對這個(gè)世界的知識(shí)建立了完整的了解之后，在這個(gè)基礎(chǔ)之上再去識(shí)別照片、物體，你的能力是完全不一樣的。這是通用人工智能的第二層意思。

　　大家知道人工智能在很多領(lǐng)域都碰到了問題，比如對機(jī)器人的控制，人形機(jī)器人的行走、動(dòng)作的操控、自動(dòng)駕駛等。

　　為什么自動(dòng)駕駛出現(xiàn)很多問題，因?yàn)樗暮芏嗨惴ㄊ怯珊芏鄠鹘y(tǒng)人工智能在垂直領(lǐng)域比較碎片的算法拼合而成的，里面有規(guī)則，有感知層的障礙識(shí)別、物體識(shí)別，它不統(tǒng)一，總有很多問題需要去學(xué)習(xí)、標(biāo)注。一旦碰上不能標(biāo)注、不能自我學(xué)習(xí)的地方，它的能力會(huì)受到很多的限制。

　　未來隨著大語言模型能力的進(jìn)一步的提升，它能真正模擬駕駛員對這個(gè)世界的認(rèn)知能力。有可能大語言模型將來都會(huì)顛覆掉今天自動(dòng)駕駛的算法，可能用大語言模型多模態(tài)的處理就能讓我們今天認(rèn)為的L4級(jí)或者L5級(jí)的真正的人工智能駕駛在幾年內(nèi)變成現(xiàn)實(shí)。

　　這也是為什么我們把今天的GPT定義成通用人工智能，就是它改變了過去這種把人工智能分成100個(gè)小任務(wù)，用100個(gè)小模型去分別解決的碎片化的打法。它用一個(gè)大的模型完整地編碼、索引、推理人類所有的知識(shí)，從而建立對這個(gè)世界完整的認(rèn)知。這就是通用人工智能的第三層。

責(zé)任編輯：張薇