神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)是什么（神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)是什么專業(yè)學(xué)的）

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)是什么的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、一文讀懂神經(jīng)網(wǎng)絡(luò)

• 2、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本信息

• 3、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 為什么用深層

• 4、神經(jīng)網(wǎng)絡(luò)從何而來(lái)？

一、一文讀懂神經(jīng)網(wǎng)絡(luò)

要說(shuō)近幾年最引人注目的技術(shù)，無(wú)疑的，非人工智能莫屬。無(wú)論你是否身處科技互聯(lián)網(wǎng)行業(yè)，隨處可見(jiàn)人工智能的身影：從 AlphaGo 擊敗世界圍棋冠軍，到無(wú)人駕駛概念的興起，再到科技巨頭 All in AI，以及各大高校向社會(huì)輸送海量的人工智能專業(yè)的畢業(yè)生。以至于人們開(kāi)始萌生一個(gè)想法：新的革命就要來(lái)了，我們的世界將再次發(fā)生一次巨變；而后開(kāi)始焦慮：我的工作是否會(huì)被機(jī)器取代？我該如何才能抓住這次革命？

人工智能背后的核心技術(shù)是深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network），大概是一年前這個(gè)時(shí)候，我正在回老家的高鐵上學(xué)習(xí) 3Blue1Brown 的 Neural Network 系列視頻課程，短短 4 集 60 多分鐘的時(shí)間，就把神經(jīng)網(wǎng)絡(luò)從 High Level 到推導(dǎo)細(xì)節(jié)說(shuō)得清清楚楚，當(dāng)時(shí)的我除了獲得新知的興奮之外，還有一點(diǎn)新的認(rèn)知，算是給頭腦中的革命性的技術(shù)潑了盆冷水：神經(jīng)網(wǎng)絡(luò)可以解決一些復(fù)雜的、以前很難通過(guò)寫程序來(lái)完成的任務(wù)——例如圖像、語(yǔ)音識(shí)別等，但它的實(shí)現(xiàn)機(jī)制告訴我，神經(jīng)網(wǎng)絡(luò)依然沒(méi)有達(dá)到生物級(jí)別的智能，短期內(nèi)期待它來(lái)取代人也是不可能的。

一年后的今天，依然在這個(gè)春運(yùn)的時(shí)間點(diǎn)，將我對(duì)神經(jīng)網(wǎng)絡(luò)的理解寫下來(lái)，算是對(duì)這部分知識(shí)的一個(gè)學(xué)習(xí)筆記，運(yùn)氣好的話，還可以讓不了解神經(jīng)網(wǎng)絡(luò)的同學(xué)了解起來(lái)。

維基百科這樣解釋 神經(jīng)網(wǎng)絡(luò) ：

這個(gè)定義比較寬泛，你甚至還可以用它來(lái)定義其它的機(jī)器學(xué)習(xí)算法，例如之前我們一起學(xué)習(xí)的邏輯回歸和 GBDT 決策樹(shù)。下面我們具體一點(diǎn)，下圖是一個(gè)邏輯回歸的示意圖：

其中 x1 和 x2 表示輸入，w1 和 w2 是模型的參數(shù)，z 是一個(gè)線性函數(shù)：

接著我們對(duì) z 做一個(gè) sigmod 變換（圖中藍(lán)色圓），得到輸出 y：

其實(shí)，上面的邏輯回歸就可以看成是一個(gè)只有 1 層 輸入層 ， 1 層 輸出層 的神經(jīng)網(wǎng)絡(luò)，圖中容納數(shù)字的圈兒被稱作 神經(jīng)元 ；其中，層與層之間的連接 w1、w2 以及 b，是這個(gè) 神經(jīng)網(wǎng)絡(luò)的參數(shù) ，層之間如果每個(gè)神經(jīng)元之間都保持著連接，這樣的層被稱為 全連接層 （Full Connection Layer），或 稠密層 （Dense Layer）；此外，sigmoid 函數(shù)又被稱作 激活函數(shù) （Activation Function），除了 sigmoid 外，常用的激活函數(shù)還有 ReLU、tanh 函數(shù)等，這些函數(shù)都起到將線性函數(shù)進(jìn)行非線性變換的作用。我們還剩下一個(gè)重要的概念： 隱藏層 ，它需要把 2 個(gè)以上的邏輯回歸疊加起來(lái)加以說(shuō)明：

如上圖所示，除輸入層和輸出層以外，其他的層都叫做 隱藏層 。如果我們多疊加幾層，這個(gè)神經(jīng)網(wǎng)絡(luò)又可以被稱作 深度神經(jīng)網(wǎng)絡(luò) （Deep Neural Network），有同學(xué)可能會(huì)問(wèn)多少層才算“深”呢？這個(gè)沒(méi)有絕對(duì)的定論，個(gè)人認(rèn)為 3 層以上就算吧：）

以上，便是神經(jīng)網(wǎng)絡(luò)，以及神經(jīng)網(wǎng)絡(luò)中包含的概念，可見(jiàn)，神經(jīng)網(wǎng)絡(luò)并不特別，廣義上講，它就是

可見(jiàn)，神經(jīng)網(wǎng)絡(luò)和人腦神經(jīng)也沒(méi)有任何關(guān)聯(lián)，如果我們說(shuō)起它的另一個(gè)名字—— 多層感知機(jī)（Mutilayer Perceptron） ，就更不會(huì)覺(jué)得有多么玄乎了，多層感知機(jī)創(chuàng)造于 80 年代，可為什么直到 30 年后的今天才爆發(fā)呢？你想得沒(méi)錯(cuò)，因?yàn)楦牧藗€(gè)名字……開(kāi)個(gè)玩笑；實(shí)際上深度學(xué)習(xí)這項(xiàng)技術(shù)也經(jīng)歷過(guò)很長(zhǎng)一段時(shí)間的黑暗低谷期，直到人們開(kāi)始利用 GPU 來(lái)極大的提升訓(xùn)練模型的速度，以及幾個(gè)標(biāo)志性的事件：如 AlphaGo戰(zhàn)勝李世石、Google 開(kāi)源 TensorFlow 框架等等，感興趣的同學(xué)可以翻一下這里的歷史。

就拿上圖中的 3 個(gè)邏輯回歸組成的神經(jīng)網(wǎng)絡(luò)作為例子，它和普通的邏輯回歸比起來(lái)，有什么優(yōu)勢(shì)呢？我們先來(lái)看下單邏輯回歸有什么劣勢(shì)，對(duì)于某些情況來(lái)說(shuō)，邏輯回歸可能永遠(yuǎn)無(wú)法使其分類，如下面數(shù)據(jù)：

這 4 個(gè)樣本畫在坐標(biāo)系中如下圖所示

因?yàn)檫壿嫽貧w的決策邊界（Decision Boundary）是一條直線，所以上圖中的兩個(gè)分類，無(wú)論你怎么做，都無(wú)法找到一條直線將它們分開(kāi)，但如果借助神經(jīng)網(wǎng)絡(luò)，就可以做到這一點(diǎn)。

由 3 個(gè)邏輯回歸組成的網(wǎng)絡(luò)（這里先忽略 bias）如下：

觀察整個(gè)網(wǎng)絡(luò)的計(jì)算過(guò)程，在進(jìn)入輸出層之前，該網(wǎng)絡(luò)所做的計(jì)算實(shí)際上是：

即把輸入先做了一次線性變換（Linear Transformation），得到 [z1, z2] ，再把 [z1, z2] 做了一個(gè)非線性變換（sigmoid），得到 [x1', x2'] ，（線性變換的概念可以參考 這個(gè)視頻 ）。從這里開(kāi)始，后面的操作就和一個(gè)普通的邏輯回歸沒(méi)有任何差別了，所以它們的差異在于： 我們的數(shù)據(jù)在輸入到模型之前，先做了一層特征變換處理（Feature Transformation，有時(shí)又叫做特征抽取 Feature Extraction），使之前不可能被分類的數(shù)據(jù)變得可以分類了 。

我們繼續(xù)來(lái)看下特征變換的效果，假設(shè) 為 ，帶入上述公式，算出 4 個(gè)樣本對(duì)應(yīng)的 [x1', x2'] 如下：

再將變換后的 4 個(gè)點(diǎn)繪制在坐標(biāo)系中：

顯然，在做了特征變換之后，這兩個(gè)分類就可以很容易的被一條決策邊界分開(kāi)了。

所以， 神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于，它可以幫助我們自動(dòng)的完成特征變換或特征提取 ，尤其對(duì)于聲音、圖像等復(fù)雜問(wèn)題，因?yàn)樵诿鎸?duì)這些問(wèn)題時(shí)，人們很難清晰明確的告訴你，哪些特征是有用的。

在解決特征變換的同時(shí)，神經(jīng)網(wǎng)絡(luò)也引入了新的問(wèn)題，就是我們需要設(shè)計(jì)各式各樣的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)針對(duì)性的應(yīng)對(duì)不同的場(chǎng)景，例如使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)處理圖像、使用長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）來(lái)處理序列問(wèn)題、使用生成式對(duì)抗網(wǎng)絡(luò)（GAN）來(lái)寫詩(shī)和作圖等，就連去年自然語(yǔ)言處理（NLP）中取得突破性進(jìn)展的 Transformer/Bert 也是一種特定的網(wǎng)絡(luò)結(jié)構(gòu)。所以， 學(xué)好神經(jīng)網(wǎng)絡(luò)，對(duì)理解其他更高級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)也是有幫助的 。

上面說(shuō)了，神經(jīng)網(wǎng)絡(luò)可以看作一個(gè)非線性函數(shù)，該函數(shù)的參數(shù)是連接神經(jīng)元的所有的 Weights 和 Biases，該函數(shù)可以簡(jiǎn)寫為 f(W, B) ，以手寫數(shù)字識(shí)別的任務(wù)作為例子：識(shí)別 MNIST 數(shù)據(jù)集 中的數(shù)字，數(shù)據(jù)集（MNIST 數(shù)據(jù)集是深度學(xué)習(xí)中的 HelloWorld）包含上萬(wàn)張不同的人寫的數(shù)字圖片，共有 0-9 十種數(shù)字，每張圖片為 28*28=784 個(gè)像素，我們?cè)O(shè)計(jì)一個(gè)這樣的網(wǎng)絡(luò)來(lái)完成該任務(wù)：

把該網(wǎng)絡(luò)函數(shù)所具備的屬性補(bǔ)齊：

接下來(lái)的問(wèn)題是，這個(gè)函數(shù)是如何產(chǎn)生的？這個(gè)問(wèn)題本質(zhì)上問(wèn)的是這些參數(shù)的值是怎么確定的。

在機(jī)器學(xué)習(xí)中，有另一個(gè)函數(shù) c 來(lái)衡量 f 的好壞，c 的參數(shù)是一堆數(shù)據(jù)集，你輸入給 c 一批 Weights 和 Biases，c 輸出 Bad 或 Good，當(dāng)結(jié)果是 Bad 時(shí)，你需要繼續(xù)調(diào)整 f 的 Weights 和 Biases，再次輸入給 c，如此往復(fù)，直到 c 給出 Good 為止，這個(gè) c 就是損失函數(shù) Cost Function（或 Loss Function）。在手寫數(shù)字識(shí)別的列子中，c 可以描述如下：

可見(jiàn)，要完成手寫數(shù)字識(shí)別任務(wù)，只需要調(diào)整這 12730 個(gè)參數(shù)，讓損失函數(shù)輸出一個(gè)足夠小的值即可，推而廣之，絕大部分神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)的問(wèn)題，都可以看成是定義損失函數(shù)、以及參數(shù)調(diào)優(yōu)的問(wèn)題。

在手寫識(shí)別任務(wù)中，我們既可以使用交叉熵（Cross Entropy）損失函數(shù)，也可以使用 MSE（Mean Squared Error）作為損失函數(shù)，接下來(lái)，就剩下如何調(diào)優(yōu)參數(shù)了。

神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)優(yōu)也沒(méi)有使用特別的技術(shù)，依然是大家剛接觸機(jī)器學(xué)習(xí)，就學(xué)到的梯度下降算法，梯度下降解決了上面迭代過(guò)程中的遺留問(wèn)題——當(dāng)損失函數(shù)給出 Bad 結(jié)果時(shí)，如何調(diào)整參數(shù)，能讓 Loss 減少得最快。

梯度可以理解為：

把 Loss 對(duì)應(yīng)到 H，12730 個(gè)參數(shù)對(duì)應(yīng)到 (x,y)，則 Loss 對(duì)所有參數(shù)的梯度可以表示為下面向量，該向量的長(zhǎng)度為 12730：

$$

nabla L(w,b) = left[

frac{partial L}{partial w_1},

frac{partial L}{partial w_2},...,

frac{partial L}{partial b_{26}}

right] ^top

$$

所以，每次迭代過(guò)程可以概括為

用梯度來(lái)調(diào)整參數(shù)的式子如下（為了簡(jiǎn)化，這里省略了 bias）：

上式中， 是學(xué)習(xí)率，意為每次朝下降最快的方向前進(jìn)一小步，避免優(yōu)化過(guò)頭（Overshoot）。

由于神經(jīng)網(wǎng)絡(luò)參數(shù)繁多，所以需要更高效的計(jì)算梯度的算法，于是，反向傳播算法（Backpropagation）呼之欲出。

在學(xué)習(xí)反向傳播算法之前，我們先復(fù)習(xí)一下微積分中的鏈?zhǔn)椒▌t（Chain Rule）：設(shè) g = u(h) ， h = f(x) 是兩個(gè)可導(dǎo)函數(shù)，x 的一個(gè)很小的變化 △x 會(huì)使 h 產(chǎn)生一個(gè)很小的變化 △h，從而 g 也產(chǎn)生一個(gè)較小的變化 △g，現(xiàn)要求 △g/△x，可以使用鏈?zhǔn)椒▌t：

有了以上基礎(chǔ)，理解反向傳播算法就簡(jiǎn)單了。

假設(shè)我們的演示網(wǎng)絡(luò)只有 2 層，輸入輸出都只有 2 個(gè)神經(jīng)元，如下圖所示：

其中 是輸入， 是輸出， 是樣本的目標(biāo)值，這里使用的損失函數(shù) L 為 MSE；圖中的上標(biāo) (1) 或 (2) 分別表示參數(shù)屬于第 (1) 層或第 (2) 層，下標(biāo) 1 或 2 分別表示該層的第 1 或 第 2 個(gè)神經(jīng)元。

現(xiàn)在我們來(lái)計(jì)算 和 ，掌握了這 2 個(gè)參數(shù)的偏導(dǎo)數(shù)計(jì)算之后，整個(gè)梯度的計(jì)算就掌握了。

所謂反向傳播算法，指的是從右向左來(lái)計(jì)算每個(gè)參數(shù)的偏導(dǎo)數(shù)，先計(jì)算 ，根據(jù)鏈?zhǔn)椒▌t

對(duì)左邊項(xiàng)用鏈?zhǔn)椒▌t展開(kāi)

又 是輸出值， 可以直接通過(guò) MSE 的導(dǎo)數(shù)算出：

而 ，則 就是 sigmoid 函數(shù)的導(dǎo)數(shù)在 處的值，即

于是 就算出來(lái)了：

再來(lái)看 這一項(xiàng)，因?yàn)?/p>

所以

注意：上面式子對(duì)于所有的 和 都成立，且結(jié)果非常直觀，即 對(duì) 的偏導(dǎo)為左邊的輸入 的大??；同時(shí)，這里還隱含著另一層意思：需要調(diào)整哪個(gè) 來(lái)影響 ，才能使 Loss 下降得最快，從該式子可以看出，當(dāng)然是先調(diào)整較大的 值所對(duì)應(yīng)的 ，效果才最顯著 。

于是，最后一層參數(shù) 的偏導(dǎo)數(shù)就算出來(lái)了

我們?cè)賮?lái)算上一層的 ，根據(jù)鏈?zhǔn)椒▌t ：

繼續(xù)展開(kāi)左邊這一項(xiàng)

你發(fā)現(xiàn)沒(méi)有，這幾乎和計(jì)算最后一層一摸一樣，但需要注意的是，這里的 對(duì) Loss 造成的影響有多條路徑，于是對(duì)于只有 2 個(gè)輸出的本例來(lái)說(shuō)：

上式中， 都已經(jīng)在最后一層算出，下面我們來(lái)看下 ，因?yàn)?/p>

于是

同理

注意：這里也引申出梯度下降的調(diào)參直覺(jué)：即要使 Loss 下降得最快，優(yōu)先調(diào)整 weight 值比較大的 weight。

至此， 也算出來(lái)了

觀察上式， 所謂每個(gè)參數(shù)的偏導(dǎo)數(shù)，通過(guò)反向傳播算法，都可以轉(zhuǎn)換成線性加權(quán)（Weighted Sum）計(jì)算 ，歸納如下：

式子中 n 代表分類數(shù)，(l) 表示第 l 層，i 表示第 l 層的第 i 個(gè)神經(jīng)元。 既然反向傳播就是一個(gè)線性加權(quán)，那整個(gè)神經(jīng)網(wǎng)絡(luò)就可以借助于 GPU 的矩陣并行計(jì)算了 。

最后，當(dāng)你明白了神經(jīng)網(wǎng)絡(luò)的原理，是不是越發(fā)的認(rèn)為，它就是在做一堆的微積分運(yùn)算，當(dāng)然，作為能證明一個(gè)人是否學(xué)過(guò)微積分，神經(jīng)網(wǎng)絡(luò)還是值得學(xué)一下的。Just kidding ..

本文我們通過(guò)

這四點(diǎn)，全面的學(xué)習(xí)了神經(jīng)網(wǎng)絡(luò)這個(gè)知識(shí)點(diǎn)，希望本文能給你帶來(lái)幫助。

參考：

二、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本信息

英文名: Neural Network Design

作者: [美] 哈根等

譯者: 戴葵等

定價(jià): 49.00

三、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 為什么用深層

你說(shuō)的是深度學(xué)習(xí)吧？深度學(xué)習(xí)的深層是用來(lái)提取特征用的。而普通的神經(jīng)網(wǎng)絡(luò)其實(shí)只需要一層隱藏層，就可以到達(dá)任意的效果。

四、神經(jīng)網(wǎng)絡(luò)從何而來(lái)？

【嵌牛導(dǎo)讀】神經(jīng)網(wǎng)絡(luò)從何而來(lái)？這里說(shuō)的『從何而來(lái)』，并不僅僅是從技術(shù)上去介紹一個(gè)方法的創(chuàng)造或發(fā)展，而更想探討方法背后所蘊(yùn)含的思想基礎(chǔ)與演變之路。

【嵌牛鼻子】神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)

【嵌牛提問(wèn)】神經(jīng)網(wǎng)絡(luò)的由來(lái)？

【嵌牛正文】深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)是近幾年來(lái)計(jì)算機(jī)與人工智能領(lǐng)域最炙手可熱的話題了。為了蹭這波熱度，博主也打算分享一些自己的經(jīng)驗(yàn)與思考。第一篇文章想探討一個(gè)非?；A(chǔ)的問(wèn)題：神經(jīng)網(wǎng)絡(luò)從何而來(lái)？這里說(shuō)的『從何而來(lái)』，并不僅僅是從技術(shù)上去介紹一個(gè)方法的創(chuàng)造或發(fā)展，而更想探討方法背后所蘊(yùn)含的思想基礎(chǔ)與演變之路。

首先，需要為『神經(jīng)網(wǎng)絡(luò)』正一下名。在人工智能領(lǐng)域，我們通常所說(shuō)的神經(jīng)網(wǎng)絡(luò)（Neural Networks）全稱是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network），與之對(duì)應(yīng)的是我們用肉長(zhǎng)成的生物神經(jīng)網(wǎng)絡(luò)（Biology Neural Network）。眾所周知，人工神經(jīng)網(wǎng)絡(luò)受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而產(chǎn)生，并在幾十年間不斷進(jìn)步演化?？梢撊祟悓?duì)人工智能的探索歷史，卻遠(yuǎn)遠(yuǎn)長(zhǎng)于這幾十年。為了深刻了解神經(jīng)網(wǎng)絡(luò)出現(xiàn)的背景，我們有必要從更早的歷史開(kāi)始說(shuō)起。

簡(jiǎn)單說(shuō)，人工智能想做的事情就是去總結(jié)和提煉人類思考的過(guò)程，使之能夠機(jī)械化、可重復(fù)。從各種神話、傳說(shuō)來(lái)看，我們的祖先在幾千年前就對(duì)這件事兒充滿了好奇與遐想。到兩千多年前，一大批偉大的哲學(xué)家在希臘、中國(guó)和印度相繼誕生，并將人類對(duì)這一問(wèn)題的認(rèn)識(shí)推向了新的高度。為避免本文成為枯燥的哲學(xué)史，這里不想舉太多的例子。偉大的希臘哲學(xué)家亞里士多德在他的《前分析篇》中提出了著名的三段論（sollygism），類似于：

所有希臘人是人

所有人終有一死

因此所有希臘人終有一死

雖然這是我們現(xiàn)在已經(jīng)無(wú)比熟悉的推理模式，但是要在2000年前從無(wú)到有系統(tǒng)總結(jié)出一系列這樣的命題與推理模式，卻著實(shí)不易。有了『三段論』這種的武器，人們對(duì)問(wèn)題的認(rèn)識(shí)與決策就能從感性真正走向理性，做到可以重復(fù)。此外，我們熟悉的歐式幾何也是當(dāng)時(shí)這種邏輯推理學(xué)派的代表。歐式幾何以一系列的公理為基礎(chǔ)，基于一套嚴(yán)密的邏輯推理體系，最終得到結(jié)論的證明，現(xiàn)在仍然是每個(gè)學(xué)生需要反復(fù)訓(xùn)練的思維體操。

隨著時(shí)間的演進(jìn)，認(rèn)知哲學(xué)與邏輯學(xué)也在不斷的發(fā)展。在17世紀(jì)時(shí)，以笛卡爾、萊布尼茨為代表的哲學(xué)家進(jìn)一步提出通過(guò)數(shù)學(xué)的方式對(duì)邏輯推演進(jìn)行標(biāo)準(zhǔn)化，這也是對(duì)人腦推理與思考的再次抽象，為后續(xù)以后基于數(shù)字電路的人工智能打下了基礎(chǔ)。之后，數(shù)理邏輯進(jìn)一步發(fā)展，而到了20世紀(jì)中期，數(shù)理邏輯又一次取得了巨大的突破，哥德?tīng)柌煌陚淅碚摗D靈機(jī)模型等的相繼提出，科學(xué)家們既認(rèn)識(shí)到了數(shù)理邏輯的局限性，也看到了將推理機(jī)械化的無(wú)限可能性，一種新的計(jì)算方式呼之欲出。

在圖靈機(jī)的思想指導(dǎo)下，第一臺(tái)電子計(jì)算機(jī)很快被設(shè)計(jì)出來(lái)，為人工智能的真正實(shí)現(xiàn)提供了物質(zhì)上的基礎(chǔ)。其實(shí)回望人工智能歷史上的歷次重大飛躍，硬件技術(shù)的發(fā)展無(wú)不扮演者重要的作用。很多看似有效的算法都苦于沒(méi)有足夠強(qiáng)大的計(jì)算平臺(tái)支持無(wú)疾而終，而計(jì)算能力的提升也可以促進(jìn)科學(xué)家們們擺脫束縛，在算法的研究道路上天馬行空。深度學(xué)習(xí)這些年的迅猛發(fā)展，很大程度就是得益于大規(guī)模集群和圖形處理器等技術(shù)的成熟，使得用復(fù)雜模型快速處理大規(guī)模數(shù)據(jù)成為可能。

1956年達(dá)特茅斯會(huì)議上，斯坦福大學(xué)科學(xué)家約翰·麥卡錫（John McCarthy）正式提出了『人工智能』這一概念， 標(biāo)志著一個(gè)學(xué)科的正式誕生，也標(biāo)志著人工智能的發(fā)展開(kāi)始進(jìn)入了快車道。如果說(shuō)邏輯符號(hào)操作是對(duì)人類思維的本質(zhì)的抽象，那么利用電子計(jì)算機(jī)技術(shù)來(lái)模擬人類的符號(hào)推理計(jì)算也是一個(gè)自然而然的想法。在艾倫·紐威爾（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大師的推動(dòng)下，以邏輯推演為核心符號(hào)主義（symbolicism）流派很快占據(jù)了人工智能領(lǐng)域的重要地位。符號(hào)主義在很多領(lǐng)域取得了成功，比如在80年代風(fēng)靡一時(shí)的專家系統(tǒng)，通過(guò)知識(shí)庫(kù)和基于知識(shí)庫(kù)的推理系統(tǒng)模擬專家進(jìn)行決策，得到了廣泛的應(yīng)用。而本世紀(jì)初熱炒的語(yǔ)義網(wǎng)絡(luò)以及當(dāng)下最流行的知識(shí)圖譜，也可以看做這一流派的延續(xù)與發(fā)展。

符號(hào)主義最大的特點(diǎn)是知識(shí)的表示直觀，推理的過(guò)程清晰，但是也存在著許多局限性。除去在計(jì)算能力方面的困擾，一個(gè)很大的問(wèn)題就在于雖然我們可以通過(guò)邏輯推理解決一些復(fù)雜的問(wèn)題，但是對(duì)一些看似簡(jiǎn)單的問(wèn)題，比如人臉識(shí)別，卻無(wú)能為力。當(dāng)看到一張人臉的照片，我們可以毫不費(fèi)力的識(shí)別出這個(gè)人是誰(shuí)，可這個(gè)過(guò)程并不需要做什么復(fù)雜的推理，它在我們的大腦中瞬間完成，以至于我們對(duì)這個(gè)過(guò)程的細(xì)節(jié)卻一無(wú)所知?？雌饋?lái)想通過(guò)挖掘一系列嚴(yán)密的推理規(guī)則解決這類問(wèn)題是相對(duì)困難的，這也促使很多人去探索與人腦工作更加貼合的解決方案。實(shí)際上在符號(hào)主義出現(xiàn)的同時(shí)，人工智能的另一重要學(xué)派聯(lián)結(jié)主義（Connectionism）也開(kāi)始蓬勃發(fā)展，本文的『主角』神經(jīng)網(wǎng)絡(luò)終于可以登場(chǎng)了。

在文章的一開(kāi)始就提到，我們現(xiàn)在所說(shuō)的人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計(jì)出來(lái)的。在1890年，實(shí)驗(yàn)心理學(xué)先驅(qū)William James在他的巨著《心理學(xué)原理》中第一次詳細(xì)論述人腦結(jié)構(gòu)及功能。其中提到神經(jīng)細(xì)胞受到刺激激活后可以把刺激傳播到另一個(gè)神經(jīng)細(xì)胞，并且神經(jīng)細(xì)胞激活是細(xì)胞所有輸入疊加的結(jié)果。這一后來(lái)得到驗(yàn)證的假說(shuō)也成為了人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的生物學(xué)基礎(chǔ)?；谶@一假說(shuō)，一系列模擬人腦神經(jīng)計(jì)算的模型被相繼提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等，他們與現(xiàn)在通用的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)非常相似，例如在Hebbian Learning模型中，已經(jīng)可以支持神經(jīng)元之間權(quán)重的自動(dòng)學(xué)習(xí)。而在1958年，Rosenblatt將這些模型付諸于實(shí)施，利用電子設(shè)備構(gòu)建了真正意義上的第一個(gè)神經(jīng)網(wǎng)絡(luò)模型：感知機(jī)（Perceptron）。Rosenblatt現(xiàn)場(chǎng)演示了其學(xué)習(xí)識(shí)別簡(jiǎn)單圖像的過(guò)程，在當(dāng)時(shí)的社會(huì)引起了轟動(dòng)，并帶來(lái)了神經(jīng)網(wǎng)絡(luò)的第一次大繁榮。此后的幾十年里，神經(jīng)網(wǎng)絡(luò)又經(jīng)歷了數(shù)次起起伏伏，既有春風(fēng)得意一統(tǒng)天下的歲月，也有被打入冷宮無(wú)人問(wèn)津的日子，當(dāng)然，這些都是后話了。

本文更想討論這樣一個(gè)問(wèn)題：神經(jīng)網(wǎng)絡(luò)產(chǎn)生的動(dòng)機(jī)僅僅是對(duì)生物學(xué)中對(duì)神經(jīng)機(jī)制的模仿嗎？在神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背后，還蘊(yùn)含著一代代科學(xué)家怎么樣的思想與情懷呢？事實(shí)上，在神經(jīng)網(wǎng)絡(luò)為代表的一類方法在人工智能中又被稱為聯(lián)結(jié)主義（Connectionism）。關(guān)于聯(lián)結(jié)主義的歷史，一般的文獻(xiàn)介紹按照慣例會(huì)追溯到希臘時(shí)期哲學(xué)家們對(duì)關(guān)聯(lián)性的定義與研究，例如我們的老朋友亞里士多德等等。然而當(dāng)時(shí)哲學(xué)家研究的關(guān)聯(lián)其實(shí)并不特指神經(jīng)元之間的這種關(guān)聯(lián)，比如前文提到的符號(hào)推理本身也是一種形式關(guān)聯(lián)，在希臘哲學(xué)中并沒(méi)有對(duì)這兩者進(jìn)行專門的區(qū)分。所以硬要把這些說(shuō)成是連接主義的思想起源略微有一些牽強(qiáng)。

前文提到，在數(shù)理邏輯發(fā)展過(guò)程中，17世紀(jì)的歐陸理性主義起到了重要的作用。以笛卡爾、萊布尼茨等為代表的哲學(xué)家，主張?jiān)诶硇灾写嬖谥熨x觀念，以此為原則并嚴(yán)格按照邏輯必然性進(jìn)行推理就可以得到普遍必然的知識(shí)。與此同時(shí)，以洛克、休謨等哲學(xué)家為代表的英國(guó)經(jīng)驗(yàn)主義，則強(qiáng)調(diào)人類的知識(shí)來(lái)自于對(duì)感知和經(jīng)驗(yàn)歸納。這一定程度上是對(duì)絕對(duì)的真理的一種否定，人類的認(rèn)識(shí)是存在主觀的，隨經(jīng)驗(yàn)而變化的部分的。如果在這個(gè)思想的指導(dǎo)下，我們與其去尋找一套普世且完備的推理系統(tǒng)，不如去構(gòu)造一套雖不完美但能夠隨著經(jīng)驗(yàn)積累不斷完善的學(xué)習(xí)系統(tǒng)。而休謨甚至提出了放棄揭示自然界的因果聯(lián)系和必然規(guī)律，而是依據(jù)“習(xí)慣性聯(lián)想”去描繪一連串的感覺(jué)印象。這其實(shí)和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的初衷是非常類似的：重視經(jīng)驗(yàn)的獲得與歸納（通過(guò)樣本進(jìn)行學(xué)習(xí)），但對(duì)模型本身的嚴(yán)謹(jǐn)性與可解釋行則沒(méi)有那么關(guān)注，正如有時(shí)候我們?cè)敢獍焉窠?jīng)網(wǎng)絡(luò)模型看做是一個(gè)『黑箱』。

然而單單一個(gè)『黑箱』是不能成為經(jīng)驗(yàn)的學(xué)習(xí)與整理的系統(tǒng)的，我們還需要去尋找構(gòu)建『黑箱』的一種方法論?，F(xiàn)代哲學(xué)發(fā)展到20世紀(jì)初期時(shí)，在維特根斯坦和羅素等哲學(xué)家的倡導(dǎo)下，產(chǎn)生了邏輯經(jīng)驗(yàn)主義學(xué)派。依托當(dāng)時(shí)邏輯學(xué)的迅猛發(fā)展，這一主義既強(qiáng)調(diào)經(jīng)驗(yàn)的作用，也重視通過(guò)嚴(yán)密的邏輯推理來(lái)得到結(jié)論，而非簡(jiǎn)單的歸納。在數(shù)理邏輯領(lǐng)域頗有建樹(shù)的羅素有一位大名鼎鼎的學(xué)生諾伯特·維納，他創(chuàng)立的控制論與系統(tǒng)論、信息論一道，為信息科學(xué)的發(fā)展提供了堅(jiān)實(shí)的理論基礎(chǔ)。而神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)立也深受這『三論』的影響。前文提到MCP神經(jīng)元模型的兩位創(chuàng)始人分別是羅素和維納的學(xué)生。作為一個(gè)系統(tǒng)，神經(jīng)網(wǎng)絡(luò)接受外部的輸入，得到輸出，并根據(jù)環(huán)境進(jìn)行反饋，對(duì)系統(tǒng)進(jìn)行更新，直到達(dá)到穩(wěn)定狀態(tài)。這個(gè)過(guò)程，同樣也是神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境信息傳遞的接受和重新編碼的過(guò)程。如果如果把神經(jīng)網(wǎng)絡(luò)當(dāng)做一個(gè)『黑盒』，那么我們首先關(guān)心該是這個(gè)黑盒的輸入與輸出，以及如何根據(jù)環(huán)境給黑盒一個(gè)合理的反饋，使之能夠進(jìn)行調(diào)整。而黑盒內(nèi)部的結(jié)構(gòu)，則更多的成為了形式的問(wèn)題。我們借鑒生物神經(jīng)網(wǎng)絡(luò)構(gòu)造這個(gè)黑盒，恰好是一個(gè)好的解決方案，但這未必是唯一的解決方案或者說(shuō)與人類大腦的神經(jīng)元結(jié)構(gòu)存在必然的聯(lián)系。比如在統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域中最著名的支持向量機(jī)（Support Vector Machines），最終是作為一種特殊的神經(jīng)網(wǎng)絡(luò)而提出的?？僧?dāng)其羽翼豐滿之后，則和神經(jīng)網(wǎng)絡(luò)逐漸脫離關(guān)系，開(kāi)啟了機(jī)器學(xué)習(xí)的另一個(gè)門派。不同的模型形式之間可以互相轉(zhuǎn)化，但是重視經(jīng)驗(yàn)（樣本），強(qiáng)調(diào)反饋的思想?yún)s一直保留下來(lái)。

前面說(shuō)了這些，到底神經(jīng)網(wǎng)絡(luò)從何而來(lái)呢？總結(jié)下來(lái)就是三個(gè)方面吧：1.對(duì)理性邏輯的追求，對(duì)樣本實(shí)證的重視，為神經(jīng)網(wǎng)絡(luò)的誕生提供了思想的基礎(chǔ)。2.生物學(xué)與神經(jīng)科學(xué)的發(fā)展為神經(jīng)網(wǎng)絡(luò)形式的出現(xiàn)提供了啟發(fā)。3.計(jì)算機(jī)硬件的發(fā)展與計(jì)算能力的提升使神經(jīng)網(wǎng)絡(luò)從理想變成了現(xiàn)實(shí)。而這三方面的發(fā)展也催生著神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展與深度學(xué)習(xí)的成熟：更大規(guī)模的數(shù)據(jù)，更完善的優(yōu)化算法使網(wǎng)絡(luò)能夠?qū)W習(xí)到更多更準(zhǔn)確的信息；對(duì)人腦的認(rèn)識(shí)的提升啟發(fā)設(shè)計(jì)出層次更深，結(jié)構(gòu)更高效的網(wǎng)絡(luò)結(jié)構(gòu)；硬件存儲(chǔ)與計(jì)算能力提升使海量數(shù)據(jù)的高效訓(xùn)練成為可能。而未來(lái)神經(jīng)網(wǎng)絡(luò)給我們帶來(lái)的更多驚喜，也很大可能源自于這三個(gè)方面，讓我們不妨多一些期待吧。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)是什么相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

在線評(píng)論分析神經(jīng)網(wǎng)絡(luò)營(yíng)銷（神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型）

高燒42度一天人死了（高燒后神經(jīng)受損的表現(xiàn)）

神經(jīng)性頭痛和偏頭痛哪個(gè)嚴(yán)重（神經(jīng)性頭痛和偏頭痛哪個(gè)嚴(yán)重些）

如何制定銷售計(jì)劃和方案（如何制定銷售計(jì)劃和方案和計(jì)劃）

自己做的logo被別人用了（自己做的logo被別人用了）