正文

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

發(fā)布時(shí)間：2023-04-22 05:40:34 稿源：創(chuàng)意嶺閱讀： 67

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)有什么區(qū)別
2、人工智能，機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，到底是什么關(guān)系
3、神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)，
4、Nature 論文：探索深度神經(jīng)網(wǎng)絡(luò)之間的個(gè)體差異

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

一、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)有什么區(qū)別

找深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的不同點(diǎn)，其實(shí)主要的就是：

原來多層神經(jīng)網(wǎng)絡(luò)做的步驟是：特征映射到值。特征是人工挑選。

深度學(xué)習(xí)做的步驟是信號->特征->值。特征是由網(wǎng)絡(luò)自己選擇。

另外，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的領(lǐng)域中一個(gè)新的研究方向，在被引進(jìn)機(jī)器學(xué)習(xí)后，讓機(jī)器學(xué)習(xí)可以更加的接近最初的目標(biāo)，也就是人工智能。

深度學(xué)習(xí)主要就是對樣本數(shù)據(jù)的內(nèi)在規(guī)律還有表示層次的學(xué)習(xí)，這些學(xué)習(xí)過程中獲得的信息對諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語音和圖像識別方面取得的效果，遠(yuǎn)遠(yuǎn)超過先前相關(guān)技術(shù)。

深度學(xué)習(xí)在搜索技術(shù)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，機(jī)器翻譯，自然語言處理，多媒體學(xué)習(xí)，語音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器模仿視聽和思考等人類的活動，解決了很多復(fù)雜的模式識別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。

而神經(jīng)網(wǎng)絡(luò)則是可以分為兩種，一種是生物神經(jīng)網(wǎng)絡(luò)，而另一種則是人工神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)就是生物的大腦神經(jīng)元、主要是由細(xì)胞以及觸點(diǎn)組成的，主要的作用就是讓生物產(chǎn)生意識，或者是幫助生物實(shí)現(xiàn)思考還有行動的目的。

神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個(gè)是生物神經(jīng)網(wǎng)絡(luò)，一個(gè)是人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡稱為“神經(jīng)網(wǎng)絡(luò)”或類神經(jīng)網(wǎng)絡(luò)。

二、人工智能，機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，到底是什么關(guān)系

有人說，人工智能（AI）是未來，人工智能是科幻，人工智能也是我們?nèi)粘Ｉ钪械囊徊糠?。這些評價(jià)可以說都是正確的，就看你指的是哪一種人工智能。

今年早些時(shí)候，Google DeepMind的AlphaGo打敗了韓國的圍棋大師李世乭九段。在媒體描述DeepMind勝利的時(shí)候，將人工智能（AI）、機(jī)器學(xué)習(xí)（machine learning）和深度學(xué)習(xí)（deep learning）都用上了。這三者在AlphaGo擊敗李世乭的過程中都起了作用，但它們說的并不是一回事。

今天我們就用最簡單的方法——同心圓，可視化地展現(xiàn)出它們?nèi)叩年P(guān)系和應(yīng)用。

向左轉(zhuǎn)|向右轉(zhuǎn)

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

如上圖，人工智能是最早出現(xiàn)的，也是最大、最外側(cè)的同心圓；其次是機(jī)器學(xué)習(xí)，稍晚一點(diǎn)；最內(nèi)側(cè)，是深度學(xué)習(xí)，當(dāng)今人工智能大爆炸的核心驅(qū)動。

五十年代，人工智能曾一度被極為看好。之后，人工智能的一些較小的子集發(fā)展了起來。先是機(jī)器學(xué)習(xí)，然后是深度學(xué)習(xí)。深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的子集。深度學(xué)習(xí)造成了前所未有的巨大的影響。

從概念的提出到走向繁榮

1956年，幾個(gè)計(jì)算機(jī)科學(xué)家相聚在達(dá)特茅斯會議（Dartmouth Conferences），提出了“人工智能”的概念。其后，人工智能就一直縈繞于人們的腦海之中，并在科研實(shí)驗(yàn)室中慢慢孵化。之后的幾十年，人工智能一直在兩極反轉(zhuǎn)，或被稱作人類文明耀眼未來的預(yù)言；或者被當(dāng)成技術(shù)瘋子的狂想扔到垃圾堆里。坦白說，直到2012年之前，這兩種聲音還在同時(shí)存在。

過去幾年，尤其是2015年以來，人工智能開始大爆發(fā)。很大一部分是由于GPU的廣泛應(yīng)用，使得并行計(jì)算變得更快、更便宜、更有效。當(dāng)然，無限拓展的存儲能力和驟然爆發(fā)的數(shù)據(jù)洪流（大數(shù)據(jù)）的組合拳，也使得圖像數(shù)據(jù)、文本數(shù)據(jù)、交易數(shù)據(jù)、映射數(shù)據(jù)全面海量爆發(fā)。

讓我們慢慢梳理一下計(jì)算機(jī)科學(xué)家們是如何將人工智能從最早的一點(diǎn)點(diǎn)苗頭，發(fā)展到能夠支撐那些每天被數(shù)億用戶使用的應(yīng)用的。

| 人工智能（Artificial Intelligence）——為機(jī)器賦予人的智能

向左轉(zhuǎn)|向右轉(zhuǎn)

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

早在1956年夏天那次會議，人工智能的先驅(qū)們就夢想著用當(dāng)時(shí)剛剛出現(xiàn)的計(jì)算機(jī)來構(gòu)造復(fù)雜的、擁有與人類智慧同樣本質(zhì)特性的機(jī)器。這就是我們現(xiàn)在所說的“強(qiáng)人工智能”（General AI）。這個(gè)無所不能的機(jī)器，它有著我們所有的感知（甚至比人更多），我們所有的理性，可以像我們一樣思考。

人們在電影里也總是看到這樣的機(jī)器：友好的，像星球大戰(zhàn)中的C-3PO；邪惡的，如終結(jié)者。強(qiáng)人工智能現(xiàn)在還只存在于電影和科幻小說中，原因不難理解，我們還沒法實(shí)現(xiàn)它們，至少目前還不行。

我們目前能實(shí)現(xiàn)的，一般被稱為“弱人工智能”（Narrow AI）。弱人工智能是能夠與人一樣，甚至比人更好地執(zhí)行特定任務(wù)的技術(shù)。例如，Pinterest上的圖像分類；或者Facebook的人臉識別。

這些是弱人工智能在實(shí)踐中的例子。這些技術(shù)實(shí)現(xiàn)的是人類智能的一些具體的局部。但它們是如何實(shí)現(xiàn)的？這種智能是從何而來？這就帶我們來到同心圓的里面一層，機(jī)器學(xué)習(xí)。

| 機(jī)器學(xué)習(xí)—— 一種實(shí)現(xiàn)人工智能的方法

向左轉(zhuǎn)|向右轉(zhuǎn)

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

機(jī)器學(xué)習(xí)最基本的做法，是使用算法來解析數(shù)據(jù)、從中學(xué)習(xí)，然后對真實(shí)世界中的事件做出決策和預(yù)測。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機(jī)器學(xué)習(xí)是用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。

機(jī)器學(xué)習(xí)直接來源于早期的人工智能領(lǐng)域。傳統(tǒng)算法包括決策樹學(xué)習(xí)、推導(dǎo)邏輯規(guī)劃、聚類、強(qiáng)化學(xué)習(xí)和貝葉斯網(wǎng)絡(luò)等等。眾所周知，我們還沒有實(shí)現(xiàn)強(qiáng)人工智能。早期機(jī)器學(xué)習(xí)方法甚至都無法實(shí)現(xiàn)弱人工智能。

機(jī)器學(xué)習(xí)最成功的應(yīng)用領(lǐng)域是計(jì)算機(jī)視覺，雖然也還是需要大量的手工編碼來完成工作。人們需要手工編寫分類器、邊緣檢測濾波器，以便讓程序能識別物體從哪里開始，到哪里結(jié)束；寫形狀檢測程序來判斷檢測對象是不是有八條邊；寫分類器來識別字母“ST-O-P”。使用以上這些手工編寫的分類器，人們總算可以開發(fā)算法來感知圖像，判斷圖像是不是一個(gè)停止標(biāo)志牌。

這個(gè)結(jié)果還算不錯(cuò)，但并不是那種能讓人為之一振的成功。特別是遇到云霧天，標(biāo)志牌變得不是那么清晰可見，又或者被樹遮擋一部分，算法就難以成功了。這就是為什么前一段時(shí)間，計(jì)算機(jī)視覺的性能一直無法接近到人的能力。它太僵化，太容易受環(huán)境條件的干擾。

隨著時(shí)間的推進(jìn)，學(xué)習(xí)算法的發(fā)展改變了一切。

| 深度學(xué)習(xí)——一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)

向左轉(zhuǎn)|向右轉(zhuǎn)

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）是早期機(jī)器學(xué)習(xí)中的一個(gè)重要的算法，歷經(jīng)數(shù)十年風(fēng)風(fēng)雨雨。神經(jīng)網(wǎng)絡(luò)的原理是受我們大腦的生理結(jié)構(gòu)——互相交叉相連的神經(jīng)元啟發(fā)。但與大腦中一個(gè)神經(jīng)元可以連接一定距離內(nèi)的任意神經(jīng)元不同，人工神經(jīng)網(wǎng)絡(luò)具有離散的層、連接和數(shù)據(jù)傳播的方向。

例如，我們可以把一幅圖像切分成圖像塊，輸入到神經(jīng)網(wǎng)絡(luò)的第一層。在第一層的每一個(gè)神經(jīng)元都把數(shù)據(jù)傳遞到第二層。第二層的神經(jīng)元也是完成類似的工作，把數(shù)據(jù)傳遞到第三層，以此類推，直到最后一層，然后生成結(jié)果。

每一個(gè)神經(jīng)元都為它的輸入分配權(quán)重，這個(gè)權(quán)重的正確與否與其執(zhí)行的任務(wù)直接相關(guān)。最終的輸出由這些權(quán)重加總來決定。

我們?nèi)砸酝Ｖ梗⊿top）標(biāo)志牌為例。將一個(gè)停止標(biāo)志牌圖像的所有元素都打碎，然后用神經(jīng)元進(jìn)行“檢查”：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標(biāo)志的典型尺寸和靜止不動運(yùn)動特性等等。神經(jīng)網(wǎng)絡(luò)的任務(wù)就是給出結(jié)論，它到底是不是一個(gè)停止標(biāo)志牌。神經(jīng)網(wǎng)絡(luò)會根據(jù)所有權(quán)重，給出一個(gè)經(jīng)過深思熟慮的猜測——“概率向量”。

這個(gè)例子里，系統(tǒng)可能會給出這樣的結(jié)果：86%可能是一個(gè)停止標(biāo)志牌；7%的可能是一個(gè)限速標(biāo)志牌；5%的可能是一個(gè)風(fēng)箏掛在樹上等等。然后網(wǎng)絡(luò)結(jié)構(gòu)告知神經(jīng)網(wǎng)絡(luò)，它的結(jié)論是否正確。

即使是這個(gè)例子，也算是比較超前了。直到前不久，神經(jīng)網(wǎng)絡(luò)也還是為人工智能圈所淡忘。其實(shí)在人工智能出現(xiàn)的早期，神經(jīng)網(wǎng)絡(luò)就已經(jīng)存在了，但神經(jīng)網(wǎng)絡(luò)對于“智能”的貢獻(xiàn)微乎其微。主要問題是，即使是最基本的神經(jīng)網(wǎng)絡(luò)，也需要大量的運(yùn)算。神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算需求難以得到滿足。

不過，還是有一些虔誠的研究團(tuán)隊(duì)，以多倫多大學(xué)的Geoffrey Hinton為代表，堅(jiān)持研究，實(shí)現(xiàn)了以超算為目標(biāo)的并行算法的運(yùn)行與概念證明。但也直到GPU得到廣泛應(yīng)用，這些努力才見到成效。

我們回過頭來看這個(gè)停止標(biāo)志識別的例子。神經(jīng)網(wǎng)絡(luò)是調(diào)制、訓(xùn)練出來的，時(shí)不時(shí)還是很容易出錯(cuò)的。它最需要的，就是訓(xùn)練。需要成百上千甚至幾百萬張圖像來訓(xùn)練，直到神經(jīng)元的輸入的權(quán)值都被調(diào)制得十分精確，無論是否有霧，晴天還是雨天，每次都能得到正確的結(jié)果。

只有這個(gè)時(shí)候，我們才可以說神經(jīng)網(wǎng)絡(luò)成功地自學(xué)習(xí)到一個(gè)停止標(biāo)志的樣子；或者在Facebook的應(yīng)用里，神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)了你媽媽的臉；又或者是2012年吳恩達(dá)（Andrew Ng）教授在Google實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到貓的樣子等等。

吳教授的突破在于，把這些神經(jīng)網(wǎng)絡(luò)從基礎(chǔ)上顯著地增大了。層數(shù)非常多，神經(jīng)元也非常多，然后給系統(tǒng)輸入海量的數(shù)據(jù)，來訓(xùn)練網(wǎng)絡(luò)。在吳教授這里，數(shù)據(jù)是一千萬YouTube視頻中的圖像。吳教授為深度學(xué)習(xí)（deep learning）加入了“深度”（deep）。這里的“深度”就是說神經(jīng)網(wǎng)絡(luò)中眾多的層。

現(xiàn)在，經(jīng)過深度學(xué)習(xí)訓(xùn)練的圖像識別，在一些場景中甚至可以比人做得更好：從識別貓，到辨別血液中癌癥的早期成分，到識別核磁共振成像中的腫瘤。Google的AlphaGo先是學(xué)會了如何下圍棋，然后與它自己下棋訓(xùn)練。它訓(xùn)練自己神經(jīng)網(wǎng)絡(luò)的方法，就是不斷地與自己下棋，反復(fù)地下，永不停歇。

| 深度學(xué)習(xí)，給人工智能以璀璨的未來

深度學(xué)習(xí)使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng)用，并拓展了人工智能的領(lǐng)域范圍。深度學(xué)習(xí)摧枯拉朽般地實(shí)現(xiàn)了各種任務(wù)，使得似乎所有的機(jī)器輔助功能都變?yōu)榭赡?。無人駕駛汽車，預(yù)防性醫(yī)療保健，甚至是更好的電影推薦，都近在眼前，或者即將實(shí)現(xiàn)。

人工智能就在現(xiàn)在，就在明天。有了深度學(xué)習(xí)，人工智能甚至可以達(dá)到我們暢想的科幻小說一般。你的C-3PO我拿走了，你有你的終結(jié)者就好了。

三、神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)，

優(yōu)點(diǎn)：

（1）具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識別時(shí)，只在先把許多不同的圖像樣板和對應(yīng)的應(yīng)識別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會通過自學(xué)習(xí)功能，慢慢學(xué)會識別類似的圖像。

自學(xué)習(xí)功能對于預(yù)測有特別重要的意義。預(yù)期未來的人工神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測、市場預(yù)測、效益預(yù)測，其應(yīng)用前途是很遠(yuǎn)大的。

（2）具有聯(lián)想存儲功能。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。

（3）具有高速尋找優(yōu)化解的能力。尋找一個(gè)復(fù)雜問題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對某問題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。

缺點(diǎn)：

（1）最嚴(yán)重的問題是沒能力來解釋自己的推理過程和推理依據(jù)。

（2）不能向用戶提出必要的詢問，而且當(dāng)數(shù)據(jù)不充分的時(shí)候，神經(jīng)網(wǎng)絡(luò)就無法進(jìn)行工作。

（3）把一切問題的特征都變?yōu)閿?shù)字，把一切推理都變?yōu)閿?shù)值計(jì)算，其結(jié)果勢必是丟失信息。

（4）理論和學(xué)習(xí)算法還有待于進(jìn)一步完善和提高。

人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)關(guān)系）

擴(kuò)展資料：

神經(jīng)網(wǎng)絡(luò)發(fā)展趨勢

人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。

人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進(jìn)化機(jī)制等結(jié)合，形成計(jì)算智能，成為人工智能的一個(gè)重要方向，將在實(shí)際應(yīng)用中得到發(fā)展。

將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計(jì)算機(jī)的研究發(fā)展很快，已有產(chǎn)品進(jìn)入市場。光電結(jié)合的神經(jīng)計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。

神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已得到了很好的應(yīng)用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來的混合方法和混合系統(tǒng)，已經(jīng)成為一大研究熱點(diǎn)。

由于其他方法也有它們各自的優(yōu)點(diǎn)，所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，取長補(bǔ)短，繼而可以獲得更好的應(yīng)用效果。目前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據(jù)理論和灰色系統(tǒng)等的融合。

參考資料：百度百科-人工神經(jīng)網(wǎng)絡(luò)

四、Nature 論文：探索深度神經(jīng)網(wǎng)絡(luò)之間的個(gè)體差異

深度神經(jīng)網(wǎng)絡(luò)（DNNs）是 AI 領(lǐng)域的重要成果，但它的 “存在感” 已經(jīng)不僅僅限于該領(lǐng)域。

一些前沿生物醫(yī)學(xué)研究，也正被這一特別的概念所吸引。特別是計(jì)算神經(jīng)科學(xué)家。

在以前所未有的任務(wù)性能徹底改變計(jì)算機(jī)視覺之后，相應(yīng)的 DNNs 網(wǎng)絡(luò)很快就被用以試著解釋大腦信息處理的能力，并日益被用作靈長類動物大腦神經(jīng)計(jì)算的建模框架。經(jīng)過任務(wù)優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)，已經(jīng)成為預(yù)測靈長類動物視覺皮層多個(gè)區(qū)域活動的最佳模型類型之一。

用神經(jīng)網(wǎng)絡(luò)模擬大腦或者試圖讓神經(jīng)網(wǎng)絡(luò)更像大腦正成為主流方向的當(dāng)下，有研究小組卻選擇用神經(jīng)生物學(xué)的方法重新審視計(jì)算機(jī)學(xué)界發(fā)明的DNNs。

而他們發(fā)現(xiàn)，諸如改變初始權(quán)重等情況就能改變網(wǎng)絡(luò)的最終訓(xùn)練結(jié)果。這對使用單個(gè)網(wǎng)絡(luò)來窺得生物神經(jīng)信息處理機(jī)制的普遍做法提出了新的要求：如果沒有將具有相同功能的深度神經(jīng)網(wǎng)絡(luò)具有的差異性納入考慮的話，借助這類網(wǎng)絡(luò)進(jìn)行生物大腦運(yùn)行機(jī)制建模將有可能出現(xiàn)一些隨機(jī)的影響。要想盡量避免這種現(xiàn)象，從事 DNNs 研究的計(jì)算神經(jīng)科學(xué)家，可能需要將他們的推論建立在多個(gè)網(wǎng)絡(luò)實(shí)例組的基礎(chǔ)上，即嘗試去研究多個(gè)相同功能的神經(jīng)網(wǎng)絡(luò)的質(zhì)心，以此克服隨機(jī)影響。

而對于 AI 領(lǐng)域的研究者，團(tuán)隊(duì)也希望這種表征一致性的概念能幫助機(jī)器學(xué)習(xí)研究人員了解在不同任務(wù)性能水平下運(yùn)行的深度神經(jīng)網(wǎng)絡(luò)之間的差異。

人工神經(jīng)網(wǎng)絡(luò)由被稱為 “感知器”、相互連接的單元所建立，感知器則是生物神經(jīng)元的簡化數(shù)字模型。人工神經(jīng)網(wǎng)絡(luò)至少有兩層感知器，一層用于輸入層，另一層用于輸出層。在輸入和輸出之間夾上一個(gè)或多個(gè) “隱藏” 層，就得到了一個(gè) “深層” 神經(jīng)網(wǎng)絡(luò)，這些層越多，網(wǎng)絡(luò)越深。

深度神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練來識別數(shù)據(jù)中的特征，就比如代表貓或狗圖像的特征。訓(xùn)練包括使用一種算法來迭代地調(diào)整感知器之間的連接強(qiáng)度（權(quán)重系數(shù)），以便網(wǎng)絡(luò)學(xué)會將給定的輸入（圖像的像素）與正確的標(biāo)簽（貓或狗）相關(guān)聯(lián)。理想狀況是，一旦經(jīng)過訓(xùn)練，深度神經(jīng)網(wǎng)絡(luò)應(yīng)該能夠?qū)λ郧皼]有見過的同類型輸入進(jìn)行分類。

但在總體結(jié)構(gòu)和功能上，深度神經(jīng)網(wǎng)絡(luò)還不能說是嚴(yán)格地模仿人類大腦，其中對神經(jīng)元之間連接強(qiáng)度的調(diào)整反映了學(xué)習(xí)過程中的關(guān)聯(lián)。

一些神經(jīng)科學(xué)家常常指出深度神經(jīng)網(wǎng)絡(luò)與人腦相比存在的局限性：單個(gè)神經(jīng)元處理信息的范圍可能比 “失效” 的感知器更廣，例如，深度神經(jīng)網(wǎng)絡(luò)經(jīng)常依賴感知器之間被稱為反向傳播的通信方式，而這種通信方式似乎并不存在于人腦神經(jīng)系統(tǒng)。

然而，計(jì)算神經(jīng)科學(xué)家會持不同想法。有的時(shí)候，深度神經(jīng)網(wǎng)絡(luò)似乎是建模大腦的最佳選擇。

例如，現(xiàn)有的計(jì)算機(jī)視覺系統(tǒng)已經(jīng)受到我們所知的靈長類視覺系統(tǒng)的影響，尤其是在負(fù)責(zé)識別人、位置和事物的路徑上，借鑒了一種被稱為腹側(cè)視覺流的機(jī)制。

對人類來說，腹側(cè)神經(jīng)通路從眼睛開始，然后進(jìn)入丘腦的外側(cè)膝狀體，這是一種感覺信息的中繼站。外側(cè)膝狀體連接到初級視覺皮層中稱為 V1 的區(qū)域，在 V1 和 V4 的下游是區(qū)域 V2 和 V4，它們最終通向下顳葉皮層。非人類靈長類動物的大腦也有類似的結(jié)構(gòu)（與之相應(yīng)的背部視覺流是一條很大程度上獨(dú)立的通道，用于處理看到運(yùn)動和物體位置的信息）。

這里所體現(xiàn)的神經(jīng)科學(xué)見解是，視覺信息處理的分層、分階段推進(jìn)的：早期階段先處理視野中的低級特征（如邊緣、輪廓、顏色和形狀），而復(fù)雜的表征，如整個(gè)對象和面孔，將在之后由顳葉皮層接管。

如同人的大腦，每個(gè) DNN 都有獨(dú)特的連通性和表征特征，既然人的大腦會因?yàn)閮?nèi)部構(gòu)造上的差異而導(dǎo)致有的人可能記憶力或者數(shù)學(xué)能力更強(qiáng)，那訓(xùn)練前初始設(shè)定不同的神經(jīng)網(wǎng)絡(luò)是否也會在訓(xùn)練過程中展現(xiàn)出性能上的不同呢？

換句話說，功能相同，但起始條件不同的神經(jīng)網(wǎng)絡(luò)間究竟有沒有差異呢？

這個(gè)問題之所以關(guān)鍵，是因?yàn)樗鼪Q定著科學(xué)家們應(yīng)該在研究中怎樣使用深度神經(jīng)網(wǎng)絡(luò)。

在之前 Nature 通訊發(fā)布的一篇論文中，由英國劍橋大學(xué) MRC 認(rèn)知及腦科學(xué)研究組、美國哥倫比亞大學(xué) Zuckerman Institute 和荷蘭拉德堡大學(xué)的 Donders 腦科學(xué)及認(rèn)知與行為學(xué)研究中心的科學(xué)家組成的一支科研團(tuán)隊(duì)，正試圖回答這個(gè)問題。論文題目為《Individual differences among deep neural network models》。

根據(jù)這篇論文，初始條件不同的深度神經(jīng)網(wǎng)絡(luò)，確實(shí)會隨著訓(xùn)練進(jìn)行而在表征上表現(xiàn)出越來越大的個(gè)體差異。

此前的研究主要是采用線性典范相關(guān)性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）來比較神經(jīng)網(wǎng)絡(luò)間的內(nèi)部網(wǎng)絡(luò)表征差異。

這一次，該團(tuán)隊(duì)的研究采用的也是領(lǐng)域內(nèi)常見的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。

該分析法源于神經(jīng)科學(xué)的多變量分析方法，常被用于將計(jì)算模型生產(chǎn)的數(shù)據(jù)與真實(shí)的大腦數(shù)據(jù)進(jìn)行比較，在原理上基于通過用 “雙（或‘對’）” 反饋差異表示系統(tǒng)的內(nèi)部刺激表征（Inner stimulus representation）的表征差異矩陣（RDMs，representational dissimilarity matrices），而所有雙反饋組所組成的幾何則能被用于表示高維刺激空間的幾何排布。

兩個(gè)系統(tǒng)如果在刺激表征上的特點(diǎn)相同（即表征差異矩陣的相似度高達(dá)一定數(shù)值），就被認(rèn)為是擁有相似的系統(tǒng)表征。

表征差異矩陣的相似度計(jì)算在有不同維度和來源的源空間（source spaces）中進(jìn)行，以避開定義 “系統(tǒng)間的映射網(wǎng)絡(luò)”。本研究的在這方面上的一個(gè)特色就是，使用神經(jīng)科學(xué)研究中常用的網(wǎng)絡(luò)實(shí)例比較分析方法對網(wǎng)絡(luò)間的表征相似度進(jìn)行比較，這使得研究結(jié)果可被直接用于神經(jīng)科學(xué)研究常用的模型。

最終，對比的結(jié)果顯示，僅在起始隨機(jī)種子上存在不同的神經(jīng)網(wǎng)絡(luò)間存在明顯個(gè)體差異。

該結(jié)果在采用不同網(wǎng)絡(luò)架構(gòu)，不同訓(xùn)練集和距離測量的情況下都成立。團(tuán)隊(duì)分析認(rèn)為，這種差異的程度與 “用不同輸入訓(xùn)練神經(jīng)網(wǎng)絡(luò)” 所產(chǎn)生的差異相當(dāng)。

如上圖所示，研究團(tuán)隊(duì)通過計(jì)算對應(yīng) RDM 之間的所有成對距離，比較 all-CNN-C 在所有網(wǎng)絡(luò)實(shí)例和層、上的表示幾何。

再通過 MDS 將 a 中的數(shù)據(jù)點(diǎn)（每個(gè)點(diǎn)對應(yīng)一個(gè)層和實(shí)例）投影到二維。各個(gè)網(wǎng)絡(luò)實(shí)例的層通過灰色線連接。雖然早期的代表性幾何圖形高度相似，但隨著網(wǎng)絡(luò)深度的增加，個(gè)體差異逐漸顯現(xiàn)。

在證明了深度神經(jīng)網(wǎng)絡(luò)存在的顯著個(gè)體差異之后，團(tuán)隊(duì)繼續(xù)探索了這些差異存在的解釋。

隨后，研究者再通過在訓(xùn)練和測試階段使用 Bernoulli dropout 方法調(diào)查了網(wǎng)絡(luò)正則化（network regularization）對結(jié)果能造成的影響，但發(fā)現(xiàn)正則化雖然能在一定程度上提升 “采用不同起始隨機(jī)種子的網(wǎng)絡(luò)之表征” 的一致性，但并不能修正這些網(wǎng)絡(luò)間的個(gè)體差異。

最后，通過分析網(wǎng)絡(luò)的訓(xùn)練軌跡與個(gè)體差異出現(xiàn)的過程并將這一過程可視化，團(tuán)隊(duì)在論文中表示，神經(jīng)網(wǎng)絡(luò)的性能與表征一致性間存在強(qiáng)負(fù)相關(guān)性，即網(wǎng)絡(luò)間的個(gè)體差異會在訓(xùn)練過程中被加劇。

總而言之，這項(xiàng)研究主要調(diào)查了多個(gè)神經(jīng)網(wǎng)絡(luò)在最少的實(shí)驗(yàn)干預(yù)條件下是否存在個(gè)體差異，即在訓(xùn)練開始前為網(wǎng)絡(luò)設(shè)置不同權(quán)重的隨機(jī)種子，但保持其他條件一致，并以此拓展了此前與 “神經(jīng)網(wǎng)絡(luò)間相關(guān)性” 有關(guān)的研究。

除了這篇這篇研究以外，“深度學(xué)習(xí)三巨頭” 之一、著名 AI 學(xué)者 Hinton 也有過與之相關(guān)的研究，論文名為《Similarity of Neural Network Representations Revisited》，文章探討了測量深度神經(jīng)網(wǎng)絡(luò)表示相似性的問題，感興趣的讀者可以一并進(jìn)行閱讀。

Refrence：

[1]https://www.nature.com/articles/s41467-020-19632-w#citeas

[2]https://www.quantamagazine.org/deep-neural-networks-help-to-explain-living-brains-20201028/

以上就是關(guān)于人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。