-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當前位置：首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
人工神經(jīng)網(wǎng)絡和深度神經(jīng)網(wǎng)絡（人工神經(jīng)網(wǎng)絡和深度神經(jīng)網(wǎng)絡關系）
發(fā)布時間：2023-04-22 05:40:34
稿源：
創(chuàng)意嶺 閱讀：
67
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于人工神經(jīng)網(wǎng)絡和深度神經(jīng)網(wǎng)絡的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng)：https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008
本文目錄:
網(wǎng)絡和深度神經(jīng)網(wǎng)絡（人工神經(jīng)網(wǎng)絡和深度神經(jīng)網(wǎng)絡關系）.jpg)
一、深度學習與神經(jīng)網(wǎng)絡有什么區(qū)別
找深度學習和神經(jīng)網(wǎng)絡的不同點，其實主要的就是：
原來多層神經(jīng)網(wǎng)絡做的步驟是：特征映射到值。特征是人工挑選。
深度學習做的步驟是 信號->特征->值。 特征是由網(wǎng)絡自己選擇。
另外，深度學習作為機器學習的領域中一個新的研究方向，在被引進機器學習后，讓機器學習可以更加的接近最初的目標，也就是人工智能。
深度學習主要就是對樣本數(shù)據(jù)的內(nèi)在規(guī)律還有表示層次的學習，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。 深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。
深度學習在搜索技術，數(shù)據(jù)挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。
而神經(jīng)網(wǎng)絡則是可以分為兩種，一種是生物神經(jīng)網(wǎng)絡，而另一種則是人工神經(jīng)網(wǎng)絡。
生物神經(jīng)網(wǎng)絡就是生物的大腦神經(jīng)元、主要是由細胞以及觸點組成的，主要的作用就是讓生物產(chǎn)生意識，或者是幫助生物實現(xiàn)思考還有行動的目的。
神經(jīng)網(wǎng)絡可以指向兩種，一個是生物神經(jīng)網(wǎng)絡，一個是人工神經(jīng)網(wǎng)絡。
人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。
人工神經(jīng)網(wǎng)絡：是一種應用類似于大腦神經(jīng)突觸聯(lián)接的結構進行信息處理的數(shù)學模型。在工程與學術界也常直接簡稱為“神經(jīng)網(wǎng)絡”或類神經(jīng)網(wǎng)絡。
二、人工智能，機器學習與深度學習，到底是什么關系
有人說，人工智能（AI）是未來，人工智能是科幻，人工智能也是我們?nèi)粘Ｉ钪械囊徊糠帧＿@些評價可以說都是正確的，就看你指的是哪一種人工智能。
今年早些時候，Google DeepMind的AlphaGo打敗了韓國的圍棋大師李世乭九段。在媒體描述DeepMind勝利的時候，將人工智能（AI）、機器學習（machine learning）和深度學習（deep learning）都用上了。這三者在AlphaGo擊敗李世乭的過程中都起了作用，但它們說的并不是一回事。
今天我們就用最簡單的方法——同心圓，可視化地展現(xiàn)出它們?nèi)叩年P系和應用。
向左轉|向右轉
如上圖，人工智能是最早出現(xiàn)的，也是最大、最外側的同心圓；其次是機器學習，稍晚一點；最內(nèi)側，是深度學習，當今人工智能大爆炸的核心驅動。
五十年代，人工智能曾一度被極為看好。之后，人工智能的一些較小的子集發(fā)展了起來。先是機器學習，然后是深度學習。深度學習又是機器學習的子集。深度學習造成了前所未有的巨大的影響。
從概念的提出到走向繁榮
1956年，幾個計算機科學家相聚在達特茅斯會議（Dartmouth Conferences），提出了“人工智能”的概念。其后，人工智能就一直縈繞于人們的腦海之中，并在科研實驗室中慢慢孵化。之后的幾十年，人工智能一直在兩極反轉，或被稱作人類文明耀眼未來的預言；或者被當成技術瘋子的狂想扔到垃圾堆里。坦白說，直到2012年之前，這兩種聲音還在同時存在。
過去幾年，尤其是2015年以來，人工智能開始大爆發(fā)。很大一部分是由于GPU的廣泛應用，使得并行計算變得更快、更便宜、更有效。當然，無限拓展的存儲能力和驟然爆發(fā)的數(shù)據(jù)洪流（大數(shù)據(jù)）的組合拳，也使得圖像數(shù)據(jù)、文本數(shù)據(jù)、交易數(shù)據(jù)、映射數(shù)據(jù)全面海量爆發(fā)。
讓我們慢慢梳理一下計算機科學家們是如何將人工智能從最早的一點點苗頭，發(fā)展到能夠支撐那些每天被數(shù)億用戶使用的應用的。
| 人工智能（Artificial Intelligence）——為機器賦予人的智能
向左轉|向右轉
早在1956年夏天那次會議，人工智能的先驅們就夢想著用當時剛剛出現(xiàn)的計算機來構造復雜的、擁有與人類智慧同樣本質特性的機器。這就是我們現(xiàn)在所說的“強人工智能”（General AI）。這個無所不能的機器，它有著我們所有的感知（甚至比人更多），我們所有的理性，可以像我們一樣思考。
人們在電影里也總是看到這樣的機器：友好的，像星球大戰(zhàn)中的C-3PO；邪惡的，如終結者。強人工智能現(xiàn)在還只存在于電影和科幻小說中，原因不難理解，我們還沒法實現(xiàn)它們，至少目前還不行。
我們目前能實現(xiàn)的，一般被稱為“弱人工智能”（Narrow AI）。弱人工智能是能夠與人一樣，甚至比人更好地執(zhí)行特定任務的技術。例如，Pinterest上的圖像分類；或者Facebook的人臉識別。
這些是弱人工智能在實踐中的例子。這些技術實現(xiàn)的是人類智能的一些具體的局部。但它們是如何實現(xiàn)的？這種智能是從何而來？這就帶我們來到同心圓的里面一層，機器學習。
| 機器學習—— 一種實現(xiàn)人工智能的方法
向左轉|向右轉
機器學習最基本的做法，是使用算法來解析數(shù)據(jù)、從中學習，然后對真實世界中的事件做出決策和預測。與傳統(tǒng)的為解決特定任務、硬編碼的軟件程序不同，機器學習是用大量的數(shù)據(jù)來“訓練”，通過各種算法從數(shù)據(jù)中學習如何完成任務。
機器學習直接來源于早期的人工智能領域。傳統(tǒng)算法包括決策樹學習、推導邏輯規(guī)劃、聚類、強化學習和貝葉斯網(wǎng)絡等等。眾所周知，我們還沒有實現(xiàn)強人工智能。早期機器學習方法甚至都無法實現(xiàn)弱人工智能。
機器學習最成功的應用領域是計算機視覺，雖然也還是需要大量的手工編碼來完成工作。人們需要手工編寫分類器、邊緣檢測濾波器，以便讓程序能識別物體從哪里開始，到哪里結束；寫形狀檢測程序來判斷檢測對象是不是有八條邊；寫分類器來識別字母“ST-O-P”。使用以上這些手工編寫的分類器，人們總算可以開發(fā)算法來感知圖像，判斷圖像是不是一個停止標志牌。
這個結果還算不錯，但并不是那種能讓人為之一振的成功。特別是遇到云霧天，標志牌變得不是那么清晰可見，又或者被樹遮擋一部分，算法就難以成功了。這就是為什么前一段時間，計算機視覺的性能一直無法接近到人的能力。它太僵化，太容易受環(huán)境條件的干擾。
隨著時間的推進，學習算法的發(fā)展改變了一切。
| 深度學習——一種實現(xiàn)機器學習的技術
向左轉|向右轉
人工神經(jīng)網(wǎng)絡（Artificial Neural Networks）是早期機器學習中的一個重要的算法，歷經(jīng)數(shù)十年風風雨雨。神經(jīng)網(wǎng)絡的原理是受我們大腦的生理結構——互相交叉相連的神經(jīng)元啟發(fā)。但與大腦中一個神經(jīng)元可以連接一定距離內(nèi)的任意神經(jīng)元不同，人工神經(jīng)網(wǎng)絡具有離散的層、連接和數(shù)據(jù)傳播的方向。
例如，我們可以把一幅圖像切分成圖像塊，輸入到神經(jīng)網(wǎng)絡的第一層。在第一層的每一個神經(jīng)元都把數(shù)據(jù)傳遞到第二層。第二層的神經(jīng)元也是完成類似的工作，把數(shù)據(jù)傳遞到第三層，以此類推，直到最后一層，然后生成結果。
每一個神經(jīng)元都為它的輸入分配權重，這個權重的正確與否與其執(zhí)行的任務直接相關。最終的輸出由這些權重加總來決定。
我們?nèi)砸酝Ｖ梗⊿top）標志牌為例。將一個停止標志牌圖像的所有元素都打碎，然后用神經(jīng)元進行“檢查”：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標志的典型尺寸和靜止不動運動特性等等。神經(jīng)網(wǎng)絡的任務就是給出結論，它到底是不是一個停止標志牌。神經(jīng)網(wǎng)絡會根據(jù)所有權重，給出一個經(jīng)過深思熟慮的猜測——“概率向量”。
這個例子里，系統(tǒng)可能會給出這樣的結果：86%可能是一個停止標志牌；7%的可能是一個限速標志牌；5%的可能是一個風箏掛在樹上等等。然后網(wǎng)絡結構告知神經(jīng)網(wǎng)絡，它的結論是否正確。
即使是這個例子，也算是比較超前了。直到前不久，神經(jīng)網(wǎng)絡也還是為人工智能圈所淡忘。其實在人工智能出現(xiàn)的早期，神經(jīng)網(wǎng)絡就已經(jīng)存在了，但神經(jīng)網(wǎng)絡對于“智能”的貢獻微乎其微。主要問題是，即使是最基本的神經(jīng)網(wǎng)絡，也需要大量的運算。神經(jīng)網(wǎng)絡算法的運算需求難以得到滿足。
不過，還是有一些虔誠的研究團隊，以多倫多大學的Geoffrey Hinton為代表，堅持研究，實現(xiàn)了以超算為目標的并行算法的運行與概念證明。但也直到GPU得到廣泛應用，這些努力才見到成效。
我們回過頭來看這個停止標志識別的例子。神經(jīng)網(wǎng)絡是調(diào)制、訓練出來的，時不時還是很容易出錯的。它最需要的，就是訓練。需要成百上千甚至幾百萬張圖像來訓練，直到神經(jīng)元的輸入的權值都被調(diào)制得十分精確，無論是否有霧，晴天還是雨天，每次都能得到正確的結果。
只有這個時候，我們才可以說神經(jīng)網(wǎng)絡成功地自學習到一個停止標志的樣子；或者在Facebook的應用里，神經(jīng)網(wǎng)絡自學習了你媽媽的臉；又或者是2012年吳恩達（Andrew Ng）教授在Google實現(xiàn)了神經(jīng)網(wǎng)絡學習到貓的樣子等等。
吳教授的突破在于，把這些神經(jīng)網(wǎng)絡從基礎上顯著地增大了。層數(shù)非常多，神經(jīng)元也非常多，然后給系統(tǒng)輸入海量的數(shù)據(jù)，來訓練網(wǎng)絡。在吳教授這里，數(shù)據(jù)是一千萬YouTube視頻中的圖像。吳教授為深度學習（deep learning）加入了“深度”（deep）。這里的“深度”就是說神經(jīng)網(wǎng)絡中眾多的層。
現(xiàn)在，經(jīng)過深度學習訓練的圖像識別，在一些場景中甚至可以比人做得更好：從識別貓，到辨別血液中癌癥的早期成分，到識別核磁共振成像中的腫瘤。Google的AlphaGo先是學會了如何下圍棋，然后與它自己下棋訓練。它訓練自己神經(jīng)網(wǎng)絡的方法，就是不斷地與自己下棋，反復地下，永不停歇。
| 深度學習，給人工智能以璀璨的未來
深度學習使得機器學習能夠實現(xiàn)眾多的應用，并拓展了人工智能的領域范圍。深度學習摧枯拉朽般地實現(xiàn)了各種任務，使得似乎所有的機器輔助功能都變?yōu)榭赡堋o人駕駛汽車，預防性醫(yī)療保健，甚至是更好的電影推薦，都近在眼前，或者即將實現(xiàn)。
人工智能就在現(xiàn)在，就在明天。有了深度學習，人工智能甚至可以達到我們暢想的科幻小說一般。你的C-3PO我拿走了，你有你的終結者就好了。
三、神經(jīng)網(wǎng)絡優(yōu)缺點，
優(yōu)點：
（1）具有自學習功能。例如實現(xiàn)圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經(jīng)網(wǎng)絡，網(wǎng)絡就會通過自學習功能，慢慢學會識別類似的圖像。
自學習功能對于預測有特別重要的意義。預期未來的人工神經(jīng)網(wǎng)絡計算機將為人類提供經(jīng)濟預測、市場預測、效益預測，其應用前途是很遠大的。
（2）具有聯(lián)想存儲功能。用人工神經(jīng)網(wǎng)絡的反饋網(wǎng)絡就可以實現(xiàn)這種聯(lián)想。
（3）具有高速尋找優(yōu)化解的能力。尋找一個復雜問題的優(yōu)化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經(jīng)網(wǎng)絡，發(fā)揮計算機的高速運算能力，可能很快找到優(yōu)化解。
缺點：
（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據(jù)。
（2）不能向用戶提出必要的詢問，而且當數(shù)據(jù)不充分的時候，神經(jīng)網(wǎng)絡就無法進行工作。
（3）把一切問題的特征都變?yōu)閿?shù)字，把一切推理都變?yōu)閿?shù)值計算，其結果勢必是丟失信息。
（4）理論和學習算法還有待于進一步完善和提高。
擴展資料：
神經(jīng)網(wǎng)絡發(fā)展趨勢
人工神經(jīng)網(wǎng)絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。
人工神經(jīng)網(wǎng)絡與其它傳統(tǒng)方法相結合，將推動人工智能和信息處理技術不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發(fā)展。
將信息幾何應用于人工神經(jīng)網(wǎng)絡的研究，為人工神經(jīng)網(wǎng)絡的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡的發(fā)展提供了良好條件。
神經(jīng)網(wǎng)絡在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學習、自組織以及非線性映射等優(yōu)點的神經(jīng)網(wǎng)絡與其他技術的結合以及由此而來的混合方法和混合系統(tǒng)，已經(jīng)成為一大研究熱點。
由于其他方法也有它們各自的優(yōu)點，所以將神經(jīng)網(wǎng)絡與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經(jīng)網(wǎng)絡與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據(jù)理論和灰色系統(tǒng)等的融合。
參考資料：百度百科-人工神經(jīng)網(wǎng)絡
四、Nature 論文：探索深度神經(jīng)網(wǎng)絡之間的個體差異
深度神經(jīng)網(wǎng)絡（DNNs）是 AI 領域的重要成果，但它的 “存在感” 已經(jīng)不僅僅限于該領域。
一些前沿生物醫(yī)學研究，也正被這一特別的概念所吸引。特別是計算神經(jīng)科學家。
在以前所未有的任務性能徹底改變計算機視覺之后，相應的 DNNs 網(wǎng)絡很快就被用以試著解釋大腦信息處理的能力，并日益被用作靈長類動物大腦神經(jīng)計算的建?？蚣堋＝?jīng)過任務優(yōu)化的深度神經(jīng)網(wǎng)絡，已經(jīng)成為預測靈長類動物視覺皮層多個區(qū)域活動的最佳模型類型之一。
用神經(jīng)網(wǎng)絡模擬大腦或者試圖讓神經(jīng)網(wǎng)絡更像大腦正成為主流方向的當下，有研究小組卻選擇用神經(jīng)生物學的方法重新審視計算機學界發(fā)明的DNNs。
而他們發(fā)現(xiàn)，諸如改變初始權重等情況就能改變網(wǎng)絡的最終訓練結果。這對使用單個網(wǎng)絡來窺得生物神經(jīng)信息處理機制的普遍做法提出了新的要求：如果沒有將具有相同功能的深度神經(jīng)網(wǎng)絡具有的差異性納入考慮的話，借助這類網(wǎng)絡進行生物大腦運行機制建模將有可能出現(xiàn)一些隨機的影響。要想盡量避免這種現(xiàn)象，從事 DNNs 研究的計算神經(jīng)科學家，可能需要將他們的推論建立在多個網(wǎng)絡實例組的基礎上，即嘗試去研究多個相同功能的神經(jīng)網(wǎng)絡的質心，以此克服隨機影響。
而對于 AI 領域的研究者，團隊也希望這種表征一致性的概念能幫助機器學習研究人員了解在不同任務性能水平下運行的深度神經(jīng)網(wǎng)絡之間的差異。
人工神經(jīng)網(wǎng)絡由被稱為 “感知器”、相互連接的單元所建立，感知器則是生物神經(jīng)元的簡化數(shù)字模型。人工神經(jīng)網(wǎng)絡至少有兩層感知器，一層用于輸入層，另一層用于輸出層。在輸入和輸出之間夾上一個或多個 “隱藏” 層，就得到了一個 “深層” 神經(jīng)網(wǎng)絡，這些層越多，網(wǎng)絡越深。
深度神經(jīng)網(wǎng)絡可以通過訓練來識別數(shù)據(jù)中的特征，就比如代表貓或狗圖像的特征。訓練包括使用一種算法來迭代地調(diào)整感知器之間的連接強度（權重系數(shù)），以便網(wǎng)絡學會將給定的輸入（圖像的像素）與正確的標簽（貓或狗）相關聯(lián)。理想狀況是，一旦經(jīng)過訓練，深度神經(jīng)網(wǎng)絡應該能夠對它以前沒有見過的同類型輸入進行分類。
但在總體結構和功能上，深度神經(jīng)網(wǎng)絡還不能說是嚴格地模仿人類大腦，其中對神經(jīng)元之間連接強度的調(diào)整反映了學習過程中的關聯(lián)。
一些神經(jīng)科學家常常指出深度神經(jīng)網(wǎng)絡與人腦相比存在的局限性：單個神經(jīng)元處理信息的范圍可能比 “失效” 的感知器更廣，例如，深度神經(jīng)網(wǎng)絡經(jīng)常依賴感知器之間被稱為反向傳播的通信方式，而這種通信方式似乎并不存在于人腦神經(jīng)系統(tǒng)。
然而，計算神經(jīng)科學家會持不同想法。有的時候，深度神經(jīng)網(wǎng)絡似乎是建模大腦的最佳選擇。
例如，現(xiàn)有的計算機視覺系統(tǒng)已經(jīng)受到我們所知的靈長類視覺系統(tǒng)的影響，尤其是在負責識別人、位置和事物的路徑上，借鑒了一種被稱為腹側視覺流的機制。
對人類來說，腹側神經(jīng)通路從眼睛開始，然后進入丘腦的外側膝狀體，這是一種感覺信息的中繼站。外側膝狀體連接到初級視覺皮層中稱為 V1 的區(qū)域，在 V1 和 V4 的下游是區(qū)域 V2 和 V4，它們最終通向下顳葉皮層。非人類靈長類動物的大腦也有類似的結構（與之相應的背部視覺流是一條很大程度上獨立的通道，用于處理看到運動和物體位置的信息）。
這里所體現(xiàn)的神經(jīng)科學見解是，視覺信息處理的分層、分階段推進的：早期階段先處理視野中的低級特征（如邊緣、輪廓、顏色和形狀），而復雜的表征，如整個對象和面孔，將在之后由顳葉皮層接管。
如同人的大腦，每個 DNN 都有獨特的連通性和表征特征，既然人的大腦會因為內(nèi)部構造上的差異而導致有的人可能記憶力或者數(shù)學能力更強，那訓練前初始設定不同的神經(jīng)網(wǎng)絡是否也會在訓練過程中展現(xiàn)出性能上的不同呢？
換句話說，功能相同，但起始條件不同的神經(jīng)網(wǎng)絡間究竟有沒有差異呢？
這個問題之所以關鍵，是因為它決定著科學家們應該在研究中怎樣使用深度神經(jīng)網(wǎng)絡。
在之前 Nature 通訊發(fā)布的一篇論文中，由英國劍橋大學 MRC 認知及腦科學研究組、美國哥倫比亞大學 Zuckerman Institute 和荷蘭拉德堡大學的 Donders 腦科學及認知與行為學研究中心的科學家組成的一支科研團隊，正試圖回答這個問題。論文題目為《Individual differences among deep neural network models》。
根據(jù)這篇論文，初始條件不同的深度神經(jīng)網(wǎng)絡，確實會隨著訓練進行而在表征上表現(xiàn)出越來越大的個體差異。
此前的研究主要是采用線性典范相關性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）來比較神經(jīng)網(wǎng)絡間的內(nèi)部網(wǎng)絡表征差異。
這一次，該團隊的研究采用的也是領域內(nèi)常見的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。
該分析法源于神經(jīng)科學的多變量分析方法，常被用于將計算模型生產(chǎn)的數(shù)據(jù)與真實的大腦數(shù)據(jù)進行比較，在原理上基于通過用 “雙（或‘對’）” 反饋差異表示系統(tǒng)的內(nèi)部刺激表征（Inner stimulus representation）的表征差異矩陣（RDMs，representational dissimilarity matrices），而所有雙反饋組所組成的幾何則能被用于表示高維刺激空間的幾何排布。
兩個系統(tǒng)如果在刺激表征上的特點相同（即表征差異矩陣的相似度高達一定數(shù)值），就被認為是擁有相似的系統(tǒng)表征。
表征差異矩陣的相似度計算在有不同維度和來源的源空間（source spaces）中進行，以避開定義 “系統(tǒng)間的映射網(wǎng)絡”。本研究的在這方面上的一個特色就是，使用神經(jīng)科學研究中常用的網(wǎng)絡實例比較分析方法對網(wǎng)絡間的表征相似度進行比較，這使得研究結果可被直接用于神經(jīng)科學研究常用的模型。
最終，對比的結果顯示，僅在起始隨機種子上存在不同的神經(jīng)網(wǎng)絡間存在明顯個體差異。
該結果在采用不同網(wǎng)絡架構，不同訓練集和距離測量的情況下都成立。團隊分析認為，這種差異的程度與 “用不同輸入訓練神經(jīng)網(wǎng)絡” 所產(chǎn)生的差異相當。
如上圖所示，研究團隊通過計算對應 RDM 之間的所有成對距離，比較 all-CNN-C 在所有網(wǎng)絡實例和層、上的表示幾何。
再通過 MDS 將 a 中的數(shù)據(jù)點（每個點對應一個層和實例）投影到二維。各個網(wǎng)絡實例的層通過灰色線連接。雖然早期的代表性幾何圖形高度相似，但隨著網(wǎng)絡深度的增加，個體差異逐漸顯現(xiàn)。
在證明了深度神經(jīng)網(wǎng)絡存在的顯著個體差異之后，團隊繼續(xù)探索了這些差異存在的解釋。
隨后，研究者再通過在訓練和測試階段使用 Bernoulli dropout 方法調(diào)查了網(wǎng)絡正則化（network regularization）對結果能造成的影響，但發(fā)現(xiàn)正則化雖然能在一定程度上提升 “采用不同起始隨機種子的網(wǎng)絡之表征” 的一致性，但并不能修正這些網(wǎng)絡間的個體差異。
最后，通過分析網(wǎng)絡的訓練軌跡與個體差異出現(xiàn)的過程并將這一過程可視化，團隊在論文中表示，神經(jīng)網(wǎng)絡的性能與表征一致性間存在強負相關性，即網(wǎng)絡間的個體差異會在訓練過程中被加劇。
總而言之，這項研究主要調(diào)查了多個神經(jīng)網(wǎng)絡在最少的實驗干預條件下是否存在個體差異，即在訓練開始前為網(wǎng)絡設置不同權重的隨機種子，但保持其他條件一致，并以此拓展了此前與 “神經(jīng)網(wǎng)絡間相關性” 有關的研究。
除了這篇 這篇 研究以外，“深度學習三巨頭” 之一、著名 AI 學者 Hinton 也有過與之相關的研究，論文名為《Similarity of Neural Network Representations Revisited》，文章探討了測量深度神經(jīng)網(wǎng)絡表示相似性的問題，感興趣的讀者可以一并進行閱讀。
Refrence：
[1]https://www.nature.com/articles/s41467-020-19632-w#citeas
[2]https://www.quantamagazine.org/deep-neural-networks-help-to-explain-living-brains-20201028/
以上就是關于人工神經(jīng)網(wǎng)絡和深度神經(jīng)網(wǎng)絡相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀：
贛公網(wǎng)安備 50019002502384號
